tl;dr * Le Lean Startup nous a permis d'affiner / de découvrir les problèmes des utilisateurs, et de construire un MVP après une phase de customer discovery * Il est indispensable d'accélérer le cycle Build Measure Learn pour construire le produit * Les patterns des Géant du Web sont puissants pour maîtriser et accélérer le build (Feature Flipping, TDD, Continuous Integration, DevOps, Monitoring, Usine de Développement, Pizza Team) * L'obsession de la mesure implique des changements organisationnels (le backlog évolue, les DODs contiennent des validations sur les mesures, les décisions sont pilotées par les mesures) * Les apprentissages doivent être rigoureux, en prenant attention de ne pas polluer certaines mesures par des tests sur plusieurs hypothèses simultanément Lien vers la vidéo : http://tv.octo.com/videos/lean-startup-applique-elcurator/ (Son de mauvaise qualité)

1. 1
Tél : +33 (0)1 58 56 10 00
Fax : +33 (0)1 58 56 10 01
www.octo.com© OCTO 2012
50, avenue des Champs-Elysées
75008 Paris - FRANCE
Christopher Parola
@chrisparola
18/07/2013
Lean Startup appliqué - elCurator

2. 2
Rappel : Construire un produit Lean Startup
Build - comme des Géants
L’obsession de la mesure
Learn
Agenda

3. 3
Rappel : Construire un produit Lean Startup

4. 4
Les gains du Lean Startup
De 17 lecteurs par semaine à 90
en deux mois de test et 20 nuits/homme
Grâce aux apprentissages réalisés
Grâce à la meilleur compréhension de nos
« clients »

5. 5
« A startup is a
human institution
designed
to create a new product
or service under conditions of
extreme uncertainty »
elCurator est une startup
The Lean Startup - Eric Ries

6. 6
Accélérer la veille des Octos
Vision

7. 7
Sélectionner du contenu pour les Octos
Désengorger les boîtes mails sur le partage
d’articles
Donner une vision large des sujets OCTO à
l’ensemble des consultants/RH/…
Objectifs liés à cette vision

8. 8
Il est nécessaire de minimiser le temps de ce cycle

9. 9
Il est nécessaire de minimiser le temps de ce cycle

10. 10
MVP : première ébauche de produit

11. 11
Après le MVP, les MVF
Minimum Viable Feature
Passe par le même cycle de Build-Measure-Learn
Permet d’apprendre au plus vite
Prendre des décisions stop ou encore
Les MVF, suite du MVP

12. 12
Build : Réalisation du MVP
Measure :
Cas concret du cycle Build-Measure-Learn
Learn : les utilisateurs ne reviennent pas après la
première interaction et ne lisent pas d’autre article

13. 13
Build : Mise en place de la récupération du contenu
du site pour conserver les utilisateurs
Measure :
Cas concret du cycle Build-Measure-Learn
Learn : En conservant les utilisateurs sur la
plateforme, leur nombre d’interaction et de lecture
augmente

14. 14
Build – Comme des géants

15. 15
On a mis en place les recettes Octos / GdW
Oui
Oui
Oui
Oui
Oui
Oui
Oui
Oui
Oui

16. 16
Une pizza team
Communication, transparence, alignement

17. 17
Le MVP
Pourquoi ?
Tester immédiatement l’intérêt du produit
Avoir des feedbacks au plus vite
Comment on l’a fait ?
Désignation du feature set minimal
Implémentation rapide et mise en production
Ce que ça nous a apporté
10 early adopters
Stratégie d’acquisition autour de la lecture et non le
partage

18. 18
Continuous Integration
Pourquoi on l’a fait ?
Accélérer notre Time To Market
Comment on l’a fait ?
Passage en flux (Trello avec des DOD)
Jenkins
TDD avec une couverture très élevée >= 80%
Ce que ça nous a apporté
On a confiance dans notre système, et dans nos MEP
Ce qui nous manque :
Continuous deployement : l’IHM change très souvent, donc très
couteux de mettre en place des tests sur cette couche

19. 19
Feature Flipping
Pourquoi on l’a fait ?
Pouvoir pousser en production des features non terminées
Pouvoir activer à chaud certaines features (cf mesure)
Comment on l’a fait ?
Simple if/else dans le code
FF sur mobile !
Utilisation d’un fichier de configuration distant sur mobile
Ce que ça nous a apporté
MEP au fil de l’eau, tous les soirs
Ce qui nous manque
Aller plus loin et faire de l’A/B Testing

20. 20
L’application des patterns des Géants
du Web sur elCurator nous a permis
d’accélérer notre cycle Build-Measure-
Learn…
…surtout quand l’équipe est délocalisée
Conclusion

21. 21
L’obsession de la mesure

22. 22
On ne dit plus
« Je pense que »
mais
« Je vais mesurer que »
L’obsession de la mesure est un changement de culture

23. 23
Les mesures sont dans les DOD

24. 24
La colonne « Validation d’hypothèse » est ajoutée au backlog

25. 25
Outil de bootstrap de la politique de mesure
Permet de valider la présence d’utilisateurs (38 vu)
Permet de constater leur flux au sein du site
Meilleur outil pour les données mobiles
Mais très rapidement
On n’a pas accès à des « vrais » visiteurs uniques
Il est complexe de suivre le parcourt d’un seul utilisateur
Step 1 – Google analytics

26. 26
Il a été nécessaire de mettre en place des logs
customisés et multicanal.
Usage mobile ou web ?
Pour ce faire
Module applicatif dédié aux logs
Web
Stockage dédié en base
Mobile (offline)
Step 2 – Logs customisés

27. 27
0
10
20
30
40
50
60
70
80
90
100
Utilisateursuniques
Nombre de lecteurs
On a pu analyser des utilisateurs uniques par semaine

28. 28
Des Octos font des insomnies
WON à 2h22 et 52 secondes sur son mobile
BLA à 01h58 et 28 secondes sur son mobile
PGA a consulté 15 articles sur le web, dont le dernier
le 11/07/2013
On peut avoir des informations très précises

29. 29
Industrialiser le suivi de métriques avec une page dédiée
elcurator.octo.com/metrics
Step 3 – Quand le PO ne peut plus dépiler les logs

30. 30
Beta test
Exemple :
Test d’une feature d’envoie de mail quand un nouvel article est
publié
Step 4 – Le feature flipping

31. 31
Sur elCurator, la mesure est au cœur du projet
On ne doit pas développer une fonctionnalité sans
penser à ce qu’elle doit valider
On pense que c’est la bonne façon de faire, donc
Industrialisation
Test sur des populations ciblées
Mise en place de rappels dans les DOD et le backlog
Conclusion - Conviction

32. 32
Learn

33. 33
Pattern de mesure utilisé systématiquement
Hypothèse : Cette feature va amener x actions
Apprentissage : OUI => Action
NON => Action
Mesure : Graphe, courbes, …

34. 34
Plus d’usage sur mobile que sur le web
Hypothèse : le mobile va générer des usages supérieurs à
ceux du web
Mesures :
Nombre de lectures sur web
Nombre de lectures sur mobile
ratio mobile/web
Apprentissage : Oui => on investi sur mobile
Non => on reste en web desktop

35. 35
Plus d’usage sur mobile que sur le web
0
200
400
600
800
1000
2/17/13 2/24/13 3/3/13 3/10/13 3/17/13
Part des affichages des articles sur mobiles et web
Curatorability web
Curatorability mobile
Hypothèse : le mobile va générer des usages supérieurs à
ceux du web
Apprentissage : Oui => on investi sur mobile

36. 36
L’application mobile doit gérer le hors ligne
Hypothèse : l’usage mobile se produit dans les transports
Courbe typique d’une journée d’usage
Apprentissage : Oui => Le mode hors connexion est
essentiel

37. 37
elCurator ne retient pas naturellement les utilisateurs
Hypothèse : sans communication « manuelle », on perd
des visiteurs uniques
Communications
Apprentissage : Oui => Travailler sur la rétention

38. 38
elCurator ne retient pas naturellement les utilisateurs
Hypothèse : sans communication « manuelle », on perd
des visiteurs uniques
Communications Débat sur tech
Apprentissage : Lancer des débats sur le produit ;)

39. 39
On réalise une première version et on mesure
Hypothèse : les filtres par catégories seront régulièrement
utilisés
Attendu : 50 clics par semaine
Réalisé : 50 clics en deux mois
Apprentissage : Non => On investit encore car on pense à un
problème d’ergonomie

40. 40
On reconstruit une page avec mise en avant des catégories

41. 41
On mesure l’impact de la seconde version
Hypothèse : les filtres par catégories seront régulièrement
utilisés
Attendu : 50 clics par semaine
Réalisé : 46 clics en un mois
Apprentissage : Non => Réflexion sur la suppression des
catégories

42. 42
Plus d’usage sur mobile que sur le web
Hypothèse : le vote négatif va diminuer le nombre de
publications
Apprentissage : Oui => on supprime le vote négatif
0
5
10
15
20
25
30
35
40
45
Nombre d'article
publié
Nombre de
votes négatifs

43. 43
Plus d’usage sur mobile que sur le web
Hypothèse : le vote négatif va diminuer le nombre de
publications
Apprentissage : ?
0
10
20
30
40
50
60
70
80
90
Nombre d'article
publié
Nombre de
votes négatifs
Nombre de
lecteurs uniques

44. 44
Plus d’usage sur mobile que sur le web
Hypothèse : le vote négatif va diminuer le nombre de
publications
Apprentissage : Non => on conserve le vote négatif
0
10
20
30
40
50
60
70
80
90
Nombre d'article
publié
Nombre de
votes négatifs
Nombre de
lecteurs uniques

45. 45
Utiliser les outils de feedback
Mailing list
Uservoice / OTFeedback
Mener des entretiens
Problème et solution interview
Comprendre les douleurs derrière les demandes de
feature
L’apprentissage par les feedbacks

46. 46
Conclusion

47. 47
Mettre en place les patterns indispensables pour
accélérer le Build
Penser à la mesure quand tu penses à la feature
Industrialiser la mesure et l’apprentissage
Accepter les fails sans tenter de forcer le destin
Comprendre les douleurs derrière les feedbacks
Conclusions - Convictions

48. 48
Des questions ?
Merci de votre attention

49. 49
Une dernière validation
Hypothèse : la BOF elCurator va intéresser les Octos
Attendu : >= 3 en ROTI
Réalisé : ?
Apprentissage :
Oui => J’en referais
Non => Je me désinscris d’elCurator

50. 50
Pour toutes
questions, idées, suggestions, n’hésitez pas
à me contacter :
cparola@octo.com
@chrisparola
Votre avis est important

51. 51
Personnification des curators
Page profile, statistiques, classement
Focus sur le mobile
Application Android
Compléter les fonctionnalité iOS
Partage
Simplifier la discussion en commentaire
Améliorer le partage depuis elCurator vers les réseaux sociaux
Ventes
2 touches sérieuses
Essayer de re-signer avec des clients
What is next ?