Mesurer votre idée
L’A/B testing, outil d’entrepreneur
par @OlivierLafontan
Mercredi 10 juin 2015
Parlons Expériences #1
Sommaire
a. Aux entrepreneurs
b. King, une histoire d’entrepreneurs
c. Exploration
d. Optimisation
e. Optimiser grâce aux ...
Aux entrepreneurs !
Une définition pour ce soir
« L'usage courant l'assimile à un chef d'entreprise, tantôt porteur d'un
projet d'entreprise e...
Entreprendre : des intuitions
Produire des idées
Les concrétiser
Parlons expériences #1
5/10
Entreprendre : mais où est la science ?
Expérimenter
Collecter du feedback qualitatif & des métriques
Apprendre pour valid...
Un test, pour quoi ?
Découverte de clients ?
Validation d’une hypothèse problème / solution ?
Optimisation ?
…
Parlons exp...
C’est quoi, un test ?
Parlons expériences #1
8/10
A/B A/Z Multivariés Multipages
C’est quoi, un test ?
Parlons expériences #1
9/10
A/B
Protocole qui
permet de
comparer la
performance de 2
versions d’un
m...
King,
une histoire d’entrepreneur
Les leaders de l’app store
Parlons expériences #1
11/10
…sont des jeux gratuits proposant des achats
intégrés.
Les leaders de l’app store
Parlons expériences #1
12/10
Parmi des jeux de stratégie, on retrouve les jeux
‘casual’ et grat...
Parlons expériences #1
13/10
: Historique et quelques chiffres
2003
Création
de la
société
2015
185 jeux
200 pays
1er
trim...
Exploration
explore à travers
Parlons expériences #1
15/10
Royal Games
Un bac à sable :
Différents prototypes de jeux
Tests multivariés, pas A/B Testing
Des métriques identiques
Par...
Optimisation
Payer reste une option
Parlons expériences #1
18/10
Entre plaisir et frustration…
Parlons expériences #1
19/10
Entre plaisir et frustration…
Parlons expériences #1
20/10
Entre plaisir et frustration…
Parlons expériences #1
21/10
Entre plaisir et frustration…
Parlons expériences #1
22/10
Rapport financier
Parlons expériences #1
23/10
Source: http://investor.king.com/investors/news/financial-releases/Press-Re...
Rapport financier
Parlons expériences #1
24/10
Source: http://investor.king.com/investors/news/financial-releases/Press-Re...
Optimiser grâce aux tests
Impact Mapping pour
Parlons expériences #1
26/10
1/ Le nombre de
joueurs actifs, uniques
et leur fidélité
2/ Le nombre de
...
Impact Mapping pour
Parlons expériences #1
27/10
1/ Le nombre de
joueurs actifs, uniques
et leur fidélité
2/ Le nombre de
...
Hypothèses à valider, effets à mieux comprendre
Parlons expériences #1
28/10
Exemple
Attente pour récupérer des
vies : aug...
Mise en place du test : le produit
Parlons expériences #1
29/10
Version A : recharge en 30 minutes
Version B : recharge en...
Mise en place du test : les cohortes
Parlons expériences #1
30/10
Version A : recharge en 30 minutes
Version B : recharge ...
Mise en place du test : les données
Parlons expériences #1
31/10
Version A
30 minutes
Version B
20 minutes
Version C
10 mi...
Exécution : capture sur des longues périodes
Parlons expériences #1
32/10
Version A
30 minutes
Version B
20 minutes
Versio...
Analyse des données et prises de décisions
• Quelle version du jeu doit-on garder ?
• Pendant combien de temps ?
• Ces rés...
Mettre en place des
pratiques similaires
Mise en place chez
Parlons expériences #1
35/10
Business
Performance
Managers
Data Scientists
Product Owner
+ Equipe de
Dé...
Un cercle vertueux d’apprentissage
Parlons expériences #1
36/10
1/ Définitions des axes de mesure
Parlons expériences #1
37/10
Réaliser un impact mapping de votre
activité est une façon ...
2/ Définition des tests et implémentation
Parlons expériences #1
38/10
• En phase de startup, les tests le plus
simples à ...
2/ Définition des tests et implémentation
Parlons expériences #1
39/10
http://www.evanmiller.org/ab-testing/sample-size.ht...
2/ Définition des tests et implémentation
Parlons expériences #1
40/10
26 000 échantillons pour un test A/B
39 000 échanti...
2/ Définition des tests et implémentation
Parlons expériences #1
41/10
Le principal problème de l’A/B testing pour les sta...
3/ Capturer et conserver les données
Parlons expériences #1
42/10
• Il est important de capturer les données
dans un forma...
4/ Pouvoir analyser les données
Parlons expériences #1
43/10
• Être en mesure de donner du sens
statistique aux données ré...
5/ Capitaliser sur les connaissances acquises
Parlons expériences #1
44/10
• Tester pour apprendre le plus
rapidement poss...
Pense bête
A faire :
Bien savoir ce que l’on veut mesurer à
chaque fois
Calibrer la taille et le nombre
d’échantillons
...
Des questions ?
Prochain SlideShare
Chargement dans…5
×

Meetup #1 - Mesurer votre idée L’A/B testing, outil d’entrepreneur

370 vues

Publié le

Présentation du premier meetup "Parlons expérience" de Servebox et Leanpizza, juin 2015 par Olivier Lafontan

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
370
Sur SlideShare
0
Issues des intégrations
0
Intégrations
13
Actions
Partages
0
Téléchargements
8
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Meetup #1 - Mesurer votre idée L’A/B testing, outil d’entrepreneur

  1. 1. Mesurer votre idée L’A/B testing, outil d’entrepreneur par @OlivierLafontan Mercredi 10 juin 2015 Parlons Expériences #1
  2. 2. Sommaire a. Aux entrepreneurs b. King, une histoire d’entrepreneurs c. Exploration d. Optimisation e. Optimiser grâce aux tests f. Mettre en place des pratiques similaires Parlons expériences #1 2/10
  3. 3. Aux entrepreneurs !
  4. 4. Une définition pour ce soir « L'usage courant l'assimile à un chef d'entreprise, tantôt porteur d'un projet d'entreprise en phase de démarrage, tantôt dirigeant d'une entreprise davantage établie, à laquelle le plus souvent il s'identifie étroitement et personnellement » Peter Drucker dans son ouvrage Les Entrepreneurs (1985), insiste sur l'innovation et l'esprit d'entreprise (entrepreneurship). Source : Wikipedia.fr 4/10 L’A/B testing, outil d’entrepreneur – 10 juin 2015Parlons expériences #1
  5. 5. Entreprendre : des intuitions Produire des idées Les concrétiser Parlons expériences #1 5/10
  6. 6. Entreprendre : mais où est la science ? Expérimenter Collecter du feedback qualitatif & des métriques Apprendre pour valider ou pivoter Parlons expériences #1 6/10
  7. 7. Un test, pour quoi ? Découverte de clients ? Validation d’une hypothèse problème / solution ? Optimisation ? … Parlons expériences #1 7/10
  8. 8. C’est quoi, un test ? Parlons expériences #1 8/10 A/B A/Z Multivariés Multipages
  9. 9. C’est quoi, un test ? Parlons expériences #1 9/10 A/B Protocole qui permet de comparer la performance de 2 versions d’un même élément. A/Z Protocole qui permet de comparer la performance de X>2 versions d’un même élément. Multivariés Protocole qui permet de comparer la performance de X versions de N éléments différents. Multipages Protocole qui permet de comparer la performance de X versions de N éléments différents sur plusieurs pages.
  10. 10. King, une histoire d’entrepreneur
  11. 11. Les leaders de l’app store Parlons expériences #1 11/10 …sont des jeux gratuits proposant des achats intégrés.
  12. 12. Les leaders de l’app store Parlons expériences #1 12/10 Parmi des jeux de stratégie, on retrouve les jeux ‘casual’ et gratuits de l’éditeur
  13. 13. Parlons expériences #1 13/10 : Historique et quelques chiffres 2003 Création de la société 2015 185 jeux 200 pays 1er trimestre >550 MAUs >150 DAUs >8,5 MUPs (en millions) MAU: Monthly Active Users DAU: Daily Active Users MUP: Monthly Unique Payers 2005 2 Lancements importants 2011 $62M CA 2013 $1.8 Md CA 2014 $2.6 Md CA IPO:$7Md 2012 : une année charnière 2012
  14. 14. Exploration
  15. 15. explore à travers Parlons expériences #1 15/10
  16. 16. Royal Games Un bac à sable : Différents prototypes de jeux Tests multivariés, pas A/B Testing Des métriques identiques Parlons expériences #1 16/10
  17. 17. Optimisation
  18. 18. Payer reste une option Parlons expériences #1 18/10
  19. 19. Entre plaisir et frustration… Parlons expériences #1 19/10
  20. 20. Entre plaisir et frustration… Parlons expériences #1 20/10
  21. 21. Entre plaisir et frustration… Parlons expériences #1 21/10
  22. 22. Entre plaisir et frustration… Parlons expériences #1 22/10
  23. 23. Rapport financier Parlons expériences #1 23/10 Source: http://investor.king.com/investors/news/financial-releases/Press-Release-Details/2015/King-Reports-First-Quarter-2015-Results/default.aspx
  24. 24. Rapport financier Parlons expériences #1 24/10 Source: http://investor.king.com/investors/news/financial-releases/Press-Release-Details/2015/King-Reports-First-Quarter-2015-Results/default.aspx Les résultats de l’entreprise…
  25. 25. Optimiser grâce aux tests
  26. 26. Impact Mapping pour Parlons expériences #1 26/10 1/ Le nombre de joueurs actifs, uniques et leur fidélité 2/ Le nombre de joueurs payants et la moyenne de leurs achats par période 3/ Le nombre de nouveaux joueurs recrutés et leur comportement Les résultats de l’entreprise… Comment influencer ces axes ? ? ? ?
  27. 27. Impact Mapping pour Parlons expériences #1 27/10 1/ Le nombre de joueurs actifs, uniques et leur fidélité 2/ Le nombre de joueurs payants et la moyenne de leurs achats par période 3/ Le nombre de nouveaux joueurs recrutés et leur comportement Les résultats de l’entreprise… Comment influencer ces axes ? • Difficulté du jeux : augmenter / réduire • Notifications : augmenter fréquence, changer contenu • Cadeaux : offrir barres d’or, offrir des vies, offrir des boosters • Attente pour récupérer des vies : augmenter / réduire • Prix des barres d’or : augmenter / réduire • Durée de recharge des booster : augmenter / réduire • Prix des boosters : augmenter / réduire • Offres promotionnelles : oui / non, augmenter : réduire fréquence • In game notifications : augmenter fréquence, changer contenu • Partage d’infos sur réseaux sociaux : on / off, proposer, fréquence • Ask for lives : on / off, across titles • Promo d’un titre dans un autre titre : on / off, fréquence, placement
  28. 28. Hypothèses à valider, effets à mieux comprendre Parlons expériences #1 28/10 Exemple Attente pour récupérer des vies : augmenter / réduire influence « Si nous réduisons la durée de recharge des vies,  les joueurs reviendront plus souvent les utiliser, ce  qui augmente leur chance d’acheter des boosters. »  1/ Le nombre de joueurs actifs, uniques et leur fidélité
  29. 29. Mise en place du test : le produit Parlons expériences #1 29/10 Version A : recharge en 30 minutes Version B : recharge en 20 minutes Version C : recharge en 10 minutes Version D : recharge en 5 minutes
  30. 30. Mise en place du test : les cohortes Parlons expériences #1 30/10 Version A : recharge en 30 minutes Version B : recharge en 20 minutes Version C : recharge en 10 minutes Version D : recharge en 5 minutes Cohorte 1 Cohorte 2 Cohorte 3 Cohorte 4
  31. 31. Mise en place du test : les données Parlons expériences #1 31/10 Version A 30 minutes Version B 20 minutes Version C 10 minutes Version D 5 minutes Cohorte 1 Cohorte 2 Cohorte 3 Cohorte 4 Version Actuelle 25 minutes Cohorte 0 1/ Le nombre de joueurs actifs, uniques et leur fidélité 2/ Le nombre de joueurs payants et la moyenne de leurs achats par période 3/ Le nombre de nouveaux joueurs recrutés et leur comportement
  32. 32. Exécution : capture sur des longues périodes Parlons expériences #1 32/10 Version A 30 minutes Version B 20 minutes Version C 10 minutes Version D 5 minutes Cohorte 1 Cohorte 2 Cohorte 3 Cohorte 4 Version Actuelle 25 minutes Cohorte 0 1 semaine 2 semaines 1 mois 3 mois 6 mois
  33. 33. Analyse des données et prises de décisions • Quelle version du jeu doit-on garder ? • Pendant combien de temps ? • Ces résultats sont-ils consommables pour les autres titres ? • Ces résultats sont-ils consommables dans d’autres pays ? • Quels sont les prochains tests à faire ? • … Parlons expériences #1 33/10
  34. 34. Mettre en place des pratiques similaires
  35. 35. Mise en place chez Parlons expériences #1 35/10 Business Performance Managers Data Scientists Product Owner + Equipe de Développement Agile:ScrumAgile:Scrum
  36. 36. Un cercle vertueux d’apprentissage Parlons expériences #1 36/10
  37. 37. 1/ Définitions des axes de mesure Parlons expériences #1 37/10 Réaliser un impact mapping de votre activité est une façon simple et rapide de mettre le doigt sur les axes que vous pourriez vouloir suivre. ? ? ? 1 2 34 5
  38. 38. 2/ Définition des tests et implémentation Parlons expériences #1 38/10 • En phase de startup, les tests le plus simples à mettre en place sont les tests A/B et A/Z. • Les multivariés et multipages sont excellents pour de l’exploratoire mais sont plus durs à mettre en place et à mesurer. 1 2 34 5
  39. 39. 2/ Définition des tests et implémentation Parlons expériences #1 39/10 http://www.evanmiller.org/ab-testing/sample-size.html
  40. 40. 2/ Définition des tests et implémentation Parlons expériences #1 40/10 26 000 échantillons pour un test A/B 39 000 échantillons pour un test A/B/C …
  41. 41. 2/ Définition des tests et implémentation Parlons expériences #1 41/10 Le principal problème de l’A/B testing pour les startups : le nombre d’échantillons nécessaires Commencez le recrutement le plus tôt possible ! Investissez dans les sources d’acquisition de trafic (métriques = valeur)
  42. 42. 3/ Capturer et conserver les données Parlons expériences #1 42/10 • Il est important de capturer les données dans un format exploitable pour qu’un traitement statistique puisse avoir lieu. • L’utilisation des cohortes comme unité de comparaison est une bonne pratique si possible. 1 2 34 5
  43. 43. 4/ Pouvoir analyser les données Parlons expériences #1 43/10 • Être en mesure de donner du sens statistique aux données récoltées n’est pas toujours aisé. • Pas la peine de s’entourer de Data Scientist dès le départ, mais de bonnes connaissances sont requises, surtout pour les tests multivariés et multipages. 1 2 34 5
  44. 44. 5/ Capitaliser sur les connaissances acquises Parlons expériences #1 44/10 • Tester pour apprendre le plus rapidement possible est un des piliers du Lean Startup, • Une façon de tester des hypothèses ‘business’ de manière systématique et itérative. 1 2 34 5
  45. 45. Pense bête A faire : Bien savoir ce que l’on veut mesurer à chaque fois Calibrer la taille et le nombre d’échantillons S’accorder sur la durée de l’expérimentation Anticiper la génération de trafic Ne pas oublier le groupe de contrôle (ou cohorte 0) Capitaliser sur les nouvelles connaissances Ecouter les résultats des tests quand ils sont forts Parlons expériences #1 45/10 A ne pas faire : Essayer de tout mesurer en même temps (interférences) Tout analyser en Data Mining Comparer deux branches sur des critères différents Ne pas essayer parce qu’on est « nul en maths » Abandonner l’hypothèse quand c’est la méthode de test qui pose problème Prendre des décisions risquées après des résultats mitigés Ne pas chercher le pivot quand il est flagrant qu’un test est négatif
  46. 46. Des questions ?

×