SlideShare une entreprise Scribd logo
Mesurer votre idée
L’A/B testing, outil d’entrepreneur
par @OlivierLafontan
Mercredi 10 juin 2015
Parlons Expériences #1
Sommaire
a. Aux entrepreneurs
b. King, une histoire d’entrepreneurs
c. Exploration
d. Optimisation
e. Optimiser grâce aux tests
f. Mettre en place des pratiques similaires
Parlons expériences #1
2/10
Aux entrepreneurs !
Une définition pour ce soir
« L'usage courant l'assimile à un chef d'entreprise, tantôt porteur d'un
projet d'entreprise en phase de démarrage, tantôt dirigeant d'une
entreprise davantage établie, à laquelle le plus souvent il s'identifie
étroitement et personnellement »
Peter Drucker dans son ouvrage Les Entrepreneurs (1985), insiste sur
l'innovation et l'esprit d'entreprise (entrepreneurship).
Source : Wikipedia.fr
4/10
L’A/B testing, outil d’entrepreneur – 10 juin 2015Parlons expériences #1
Entreprendre : des intuitions
Produire des idées
Les concrétiser
Parlons expériences #1
5/10
Entreprendre : mais où est la science ?
Expérimenter
Collecter du feedback qualitatif & des métriques
Apprendre pour valider ou pivoter
Parlons expériences #1
6/10
Un test, pour quoi ?
Découverte de clients ?
Validation d’une hypothèse problème / solution ?
Optimisation ?
…
Parlons expériences #1
7/10
C’est quoi, un test ?
Parlons expériences #1
8/10
A/B A/Z Multivariés Multipages
C’est quoi, un test ?
Parlons expériences #1
9/10
A/B
Protocole qui
permet de
comparer la
performance de 2
versions d’un
même élément.
A/Z
Protocole qui
permet de
comparer la
performance de
X>2 versions d’un
même élément.
Multivariés
Protocole qui
permet de
comparer la
performance de X
versions de N
éléments
différents.
Multipages
Protocole qui
permet de
comparer la
performance de X
versions de N
éléments
différents sur
plusieurs pages.
King,
une histoire d’entrepreneur
Les leaders de l’app store
Parlons expériences #1
11/10
…sont des jeux gratuits proposant des achats
intégrés.
Les leaders de l’app store
Parlons expériences #1
12/10
Parmi des jeux de stratégie, on retrouve les jeux
‘casual’ et gratuits de l’éditeur
Parlons expériences #1
13/10
: Historique et quelques chiffres
2003
Création
de la
société
2015
185 jeux
200 pays
1er
trimestre
>550 MAUs
>150 DAUs
>8,5 MUPs
(en millions)
MAU: Monthly Active Users
DAU: Daily Active Users
MUP: Monthly Unique Payers
2005
2 Lancements importants 2011
$62M CA
2013
$1.8 Md CA
2014
$2.6 Md CA
IPO:$7Md
2012 : une année charnière
2012
Exploration
explore à travers
Parlons expériences #1
15/10
Royal Games
Un bac à sable :
Différents prototypes de jeux
Tests multivariés, pas A/B Testing
Des métriques identiques
Parlons expériences #1
16/10
Optimisation
Payer reste une option
Parlons expériences #1
18/10
Entre plaisir et frustration…
Parlons expériences #1
19/10
Entre plaisir et frustration…
Parlons expériences #1
20/10
Entre plaisir et frustration…
Parlons expériences #1
21/10
Entre plaisir et frustration…
Parlons expériences #1
22/10
Rapport financier
Parlons expériences #1
23/10
Source: http://investor.king.com/investors/news/financial-releases/Press-Release-Details/2015/King-Reports-First-Quarter-2015-Results/default.aspx
Rapport financier
Parlons expériences #1
24/10
Source: http://investor.king.com/investors/news/financial-releases/Press-Release-Details/2015/King-Reports-First-Quarter-2015-Results/default.aspx
Les résultats de
l’entreprise…
Optimiser grâce aux tests
Impact Mapping pour
Parlons expériences #1
26/10
1/ Le nombre de
joueurs actifs, uniques
et leur fidélité
2/ Le nombre de
joueurs payants et la
moyenne de leurs
achats par période
3/ Le nombre de
nouveaux joueurs
recrutés et leur
comportement
Les résultats
de
l’entreprise…
Comment influencer ces axes ?
?
?
?
Impact Mapping pour
Parlons expériences #1
27/10
1/ Le nombre de
joueurs actifs, uniques
et leur fidélité
2/ Le nombre de
joueurs payants et la
moyenne de leurs
achats par période
3/ Le nombre de
nouveaux joueurs
recrutés et leur
comportement
Les résultats
de
l’entreprise…
Comment influencer ces axes ?
• Difficulté du jeux : augmenter / réduire
• Notifications : augmenter fréquence, changer contenu
• Cadeaux : offrir barres d’or, offrir des vies, offrir des
boosters
• Attente pour récupérer des vies : augmenter / réduire
• Prix des barres d’or : augmenter / réduire
• Durée de recharge des booster : augmenter / réduire
• Prix des boosters : augmenter / réduire
• Offres promotionnelles : oui / non, augmenter :
réduire fréquence
• In game notifications : augmenter fréquence, changer
contenu
• Partage d’infos sur réseaux sociaux : on / off,
proposer, fréquence
• Ask for lives : on / off, across titles
• Promo d’un titre dans un autre titre : on / off,
fréquence, placement
Hypothèses à valider, effets à mieux comprendre
Parlons expériences #1
28/10
Exemple
Attente pour récupérer des
vies : augmenter / réduire
influence
« Si nous réduisons la durée de recharge des vies, 
les joueurs reviendront plus souvent les utiliser, ce 
qui augmente leur chance d’acheter des boosters. » 
1/ Le nombre de
joueurs actifs,
uniques et leur
fidélité
Mise en place du test : le produit
Parlons expériences #1
29/10
Version A : recharge en 30 minutes
Version B : recharge en 20 minutes
Version C : recharge en 10 minutes
Version D : recharge en 5 minutes
Mise en place du test : les cohortes
Parlons expériences #1
30/10
Version A : recharge en 30 minutes
Version B : recharge en 20 minutes
Version C : recharge en 10 minutes
Version D : recharge en 5 minutes
Cohorte 1
Cohorte 2
Cohorte 3
Cohorte 4
Mise en place du test : les données
Parlons expériences #1
31/10
Version A
30 minutes
Version B
20 minutes
Version C
10 minutes
Version D
5 minutes
Cohorte 1
Cohorte 2
Cohorte 3
Cohorte 4
Version Actuelle
25 minutes
Cohorte 0
1/ Le nombre de joueurs
actifs, uniques et leur
fidélité
2/ Le nombre de joueurs
payants et la moyenne
de leurs achats par
période
3/ Le nombre de
nouveaux joueurs
recrutés et leur
comportement
Exécution : capture sur des longues périodes
Parlons expériences #1
32/10
Version A
30 minutes
Version B
20 minutes
Version C
10 minutes
Version D
5 minutes
Cohorte 1
Cohorte 2
Cohorte 3
Cohorte 4
Version Actuelle
25 minutes
Cohorte 0
1 semaine
2 semaines
1 mois
3 mois
6 mois
Analyse des données et prises de décisions
• Quelle version du jeu doit-on garder ?
• Pendant combien de temps ?
• Ces résultats sont-ils consommables pour les autres titres ?
• Ces résultats sont-ils consommables dans d’autres pays ?
• Quels sont les prochains tests à faire ?
• …
Parlons expériences #1
33/10
Mettre en place des
pratiques similaires
Mise en place chez
Parlons expériences #1
35/10
Business
Performance
Managers
Data Scientists
Product Owner
+ Equipe de
Développement
Agile:ScrumAgile:Scrum
Un cercle vertueux d’apprentissage
Parlons expériences #1
36/10
1/ Définitions des axes de mesure
Parlons expériences #1
37/10
Réaliser un impact mapping de votre
activité est une façon simple et rapide de
mettre le doigt sur les axes que vous
pourriez vouloir suivre.
?
?
?
1
2
34
5
2/ Définition des tests et implémentation
Parlons expériences #1
38/10
• En phase de startup, les tests le plus
simples à mettre en place sont les tests
A/B et A/Z.
• Les multivariés et multipages sont
excellents pour de l’exploratoire mais
sont plus durs à mettre en place et à
mesurer.
1
2
34
5
2/ Définition des tests et implémentation
Parlons expériences #1
39/10
http://www.evanmiller.org/ab-testing/sample-size.html
2/ Définition des tests et implémentation
Parlons expériences #1
40/10
26 000 échantillons pour un test A/B
39 000 échantillons pour un test A/B/C
…
2/ Définition des tests et implémentation
Parlons expériences #1
41/10
Le principal problème de l’A/B testing pour les startups :
le nombre d’échantillons nécessaires
Commencez le recrutement le plus tôt possible !
Investissez dans les sources d’acquisition de trafic (métriques = valeur)
3/ Capturer et conserver les données
Parlons expériences #1
42/10
• Il est important de capturer les données
dans un format exploitable pour qu’un
traitement statistique puisse avoir lieu.
• L’utilisation des cohortes comme unité
de comparaison est une bonne pratique
si possible.
1
2
34
5
4/ Pouvoir analyser les données
Parlons expériences #1
43/10
• Être en mesure de donner du sens
statistique aux données récoltées
n’est pas toujours aisé.
• Pas la peine de s’entourer de Data
Scientist dès le départ, mais de
bonnes connaissances sont requises,
surtout pour les tests multivariés et
multipages.
1
2
34
5
5/ Capitaliser sur les connaissances acquises
Parlons expériences #1
44/10
• Tester pour apprendre le plus
rapidement possible est un des piliers
du Lean Startup,
• Une façon de tester des hypothèses
‘business’ de manière systématique et
itérative.
1
2
34
5
Pense bête
A faire :
Bien savoir ce que l’on veut mesurer à
chaque fois
Calibrer la taille et le nombre
d’échantillons
S’accorder sur la durée de
l’expérimentation
Anticiper la génération de trafic
Ne pas oublier le groupe de contrôle (ou
cohorte 0)
Capitaliser sur les nouvelles
connaissances
Ecouter les résultats des tests quand ils
sont forts
Parlons expériences #1
45/10
A ne pas faire :
Essayer de tout mesurer en même
temps (interférences)
Tout analyser en Data Mining
Comparer deux branches sur des
critères différents
Ne pas essayer parce qu’on est « nul en
maths »
Abandonner l’hypothèse quand c’est la
méthode de test qui pose problème
Prendre des décisions risquées après
des résultats mitigés
Ne pas chercher le pivot quand il est
flagrant qu’un test est négatif
Des questions ?

Contenu connexe

En vedette

Indemnités, facilités, avantages... Ce que gagnent vraiment nos élus
Indemnités, facilités, avantages... Ce que gagnent vraiment nos élusIndemnités, facilités, avantages... Ce que gagnent vraiment nos élus
Indemnités, facilités, avantages... Ce que gagnent vraiment nos élus
Contribuables associés
 
Hackers
HackersHackers
Comunicación y enseñanza
Comunicación y enseñanzaComunicación y enseñanza
Comunicación y enseñanza
Ely Rojas
 
Graffiti.mónica
Graffiti.mónicaGraffiti.mónica
Graffiti.mónica
Monica Dellacqua
 
LOS CARBOHIDRATOS
LOS CARBOHIDRATOSLOS CARBOHIDRATOS
LOS CARBOHIDRATOS
Edgar Raúl Celis Becerra
 
Les Rencontres de M. de Bréot
Les Rencontres de M. de BréotLes Rencontres de M. de Bréot
Les Rencontres de M. de BréotMaestro Saladin
 
Presentacion equipo!!
Presentacion equipo!!Presentacion equipo!!
Presentacion equipo!!
Ana Lis
 
4 generacion
4 generacion4 generacion
4 generacion
luisqvargas
 
REGLAMENTO UNIVERSIDAD POPULAR DE CESAR
REGLAMENTO UNIVERSIDAD POPULAR DE CESAR REGLAMENTO UNIVERSIDAD POPULAR DE CESAR
REGLAMENTO UNIVERSIDAD POPULAR DE CESAR
Carlos Guardias Osorio
 
Comunicacion
ComunicacionComunicacion
Las tics
Las ticsLas tics
Resellers Popularidadweb.com
Resellers Popularidadweb.comResellers Popularidadweb.com
Resellers Popularidadweb.com
linkbuilding-es
 
Capitulo 1
Capitulo   1Capitulo   1
Capitulo 1
Miguel Eleuterio
 
Juan pablo ii ejemplo de liderazgo
Juan pablo ii ejemplo de liderazgoJuan pablo ii ejemplo de liderazgo
Juan pablo ii ejemplo de liderazgo
C-organizacional
 
4º A
4º A4º A
Presentación didactica accion tutorial
Presentación didactica accion tutorialPresentación didactica accion tutorial
Presentación didactica accion tutorial
Yusra Abderrazak
 

En vedette (20)

Rapa nui
Rapa nuiRapa nui
Rapa nui
 
Indemnités, facilités, avantages... Ce que gagnent vraiment nos élus
Indemnités, facilités, avantages... Ce que gagnent vraiment nos élusIndemnités, facilités, avantages... Ce que gagnent vraiment nos élus
Indemnités, facilités, avantages... Ce que gagnent vraiment nos élus
 
Bulletin n°4 non compressé
Bulletin n°4 non compresséBulletin n°4 non compressé
Bulletin n°4 non compressé
 
Hackers
HackersHackers
Hackers
 
Comunicación y enseñanza
Comunicación y enseñanzaComunicación y enseñanza
Comunicación y enseñanza
 
Graffiti.mónica
Graffiti.mónicaGraffiti.mónica
Graffiti.mónica
 
LOS CARBOHIDRATOS
LOS CARBOHIDRATOSLOS CARBOHIDRATOS
LOS CARBOHIDRATOS
 
Les Rencontres de M. de Bréot
Les Rencontres de M. de BréotLes Rencontres de M. de Bréot
Les Rencontres de M. de Bréot
 
Presentacion equipo!!
Presentacion equipo!!Presentacion equipo!!
Presentacion equipo!!
 
4 generacion
4 generacion4 generacion
4 generacion
 
REGLAMENTO UNIVERSIDAD POPULAR DE CESAR
REGLAMENTO UNIVERSIDAD POPULAR DE CESAR REGLAMENTO UNIVERSIDAD POPULAR DE CESAR
REGLAMENTO UNIVERSIDAD POPULAR DE CESAR
 
Comunicacion
ComunicacionComunicacion
Comunicacion
 
Las tics
Las ticsLas tics
Las tics
 
Resellers Popularidadweb.com
Resellers Popularidadweb.comResellers Popularidadweb.com
Resellers Popularidadweb.com
 
Capitulo 1
Capitulo   1Capitulo   1
Capitulo 1
 
Pwp info 2
Pwp info 2Pwp info 2
Pwp info 2
 
Juan pablo ii ejemplo de liderazgo
Juan pablo ii ejemplo de liderazgoJuan pablo ii ejemplo de liderazgo
Juan pablo ii ejemplo de liderazgo
 
240513 discours à l'ihedn
240513 discours à l'ihedn240513 discours à l'ihedn
240513 discours à l'ihedn
 
4º A
4º A4º A
4º A
 
Presentación didactica accion tutorial
Presentación didactica accion tutorialPresentación didactica accion tutorial
Presentación didactica accion tutorial
 

Similaire à Meetup #1 - Mesurer votre idée L’A/B testing, outil d’entrepreneur

Star d'ux bordeaux #3 - Recherche utilisateurs et autres merveilles
Star d'ux bordeaux #3 - Recherche utilisateurs et autres merveillesStar d'ux bordeaux #3 - Recherche utilisateurs et autres merveilles
Star d'ux bordeaux #3 - Recherche utilisateurs et autres merveilles
Anne PEDRO
 
Star d'UX bordeaux #3 - recherche utilisateurs et autres merveilles
Star d'UX bordeaux #3 - recherche utilisateurs et autres merveillesStar d'UX bordeaux #3 - recherche utilisateurs et autres merveilles
Star d'UX bordeaux #3 - recherche utilisateurs et autres merveilles
UX Republic Bordeaux
 
Comment créer de la croissance en faisant circuler les bonnes pratiques d'org...
Comment créer de la croissance en faisant circuler les bonnes pratiques d'org...Comment créer de la croissance en faisant circuler les bonnes pratiques d'org...
Comment créer de la croissance en faisant circuler les bonnes pratiques d'org...
Jacinthe Busson
 
Crash Test Your Idea Meetup Valtech 13/09/2016
Crash Test Your Idea Meetup Valtech 13/09/2016Crash Test Your Idea Meetup Valtech 13/09/2016
Crash Test Your Idea Meetup Valtech 13/09/2016
André De Sousa
 
Value Driven Development / Agile with GUTS - Présentation Agile Tour Strasbourg
Value Driven Development / Agile with GUTS - Présentation Agile Tour StrasbourgValue Driven Development / Agile with GUTS - Présentation Agile Tour Strasbourg
Value Driven Development / Agile with GUTS - Présentation Agile Tour Strasbourg
Pierrick REVOL
 
Meet up - qu'on me donne l'envie de Groomer
Meet up - qu'on me donne l'envie de GroomerMeet up - qu'on me donne l'envie de Groomer
Meet up - qu'on me donne l'envie de Groomer
Alexandre Quach
 
Présentation aux investisseurs Exo B2B, Chambre de Commerce du Montréal Métr...
Présentation aux investisseurs Exo B2B, Chambre de Commerce du Montréal Métr...Présentation aux investisseurs Exo B2B, Chambre de Commerce du Montréal Métr...
Présentation aux investisseurs Exo B2B, Chambre de Commerce du Montréal Métr...
Exo -B2B
 
Le Growth Hacking: Optimisez votre croissance
Le Growth Hacking: Optimisez votre croissanceLe Growth Hacking: Optimisez votre croissance
Le Growth Hacking: Optimisez votre croissance
CleverToday
 
Faire son prototype : Préciser sa proposition de valeur
Faire son prototype : Préciser sa proposition de valeurFaire son prototype : Préciser sa proposition de valeur
Faire son prototype : Préciser sa proposition de valeur
EnactusFrance
 
Le Continuous Delivery souffle sur mon bateau Agilité. Ca va secouer ! Rex ag...
Le Continuous Delivery souffle sur mon bateau Agilité. Ca va secouer ! Rex ag...Le Continuous Delivery souffle sur mon bateau Agilité. Ca va secouer ! Rex ag...
Le Continuous Delivery souffle sur mon bateau Agilité. Ca va secouer ! Rex ag...
Jérôme Froville
 
14 Conseils d'experts pour optimiser vos conversions
14 Conseils d'experts pour optimiser vos conversions14 Conseils d'experts pour optimiser vos conversions
14 Conseils d'experts pour optimiser vos conversions
Scandola SA
 
Agile France 2014 - Projets Agiles : Arrêtez les dérives !
Agile France 2014 - Projets Agiles : Arrêtez les dérives !Agile France 2014 - Projets Agiles : Arrêtez les dérives !
Agile France 2014 - Projets Agiles : Arrêtez les dérives !
Cyrille Deruel
 
Savoir pivoter fie 2014
Savoir pivoter fie 2014Savoir pivoter fie 2014
Savoir pivoter fie 2014
Sebastien Chaillot
 
Rapport_dactivite_TFTP_annee_2022.pdf
Rapport_dactivite_TFTP_annee_2022.pdfRapport_dactivite_TFTP_annee_2022.pdf
Rapport_dactivite_TFTP_annee_2022.pdf
EmilieGirerd1
 
Ecrire de bonnes user stories - en 5 minutes - scrum wine v1.0
Ecrire de bonnes user stories - en 5 minutes -  scrum wine v1.0Ecrire de bonnes user stories - en 5 minutes -  scrum wine v1.0
Ecrire de bonnes user stories - en 5 minutes - scrum wine v1.0
Olivier Patou
 
Agile With Guts, Agile Tour Montpellier 2013, Lean-Design, Value Driven Devel...
Agile With Guts, Agile Tour Montpellier 2013, Lean-Design, Value Driven Devel...Agile With Guts, Agile Tour Montpellier 2013, Lean-Design, Value Driven Devel...
Agile With Guts, Agile Tour Montpellier 2013, Lean-Design, Value Driven Devel...
Laurent Carbonnaux
 
Acquisition de trafic web B to B
Acquisition de trafic web B to B Acquisition de trafic web B to B
Acquisition de trafic web B to B
Indépendant
 
Démarche orientée client pour enchanter le consommateur
Démarche orientée client pour enchanter le consommateurDémarche orientée client pour enchanter le consommateur
Démarche orientée client pour enchanter le consommateur
Corinne Péron-magnan
 
Le Bootstrapping : Ou comment monter un MVP fonctionnel en quelques heures - ...
Le Bootstrapping : Ou comment monter un MVP fonctionnel en quelques heures - ...Le Bootstrapping : Ou comment monter un MVP fonctionnel en quelques heures - ...
Le Bootstrapping : Ou comment monter un MVP fonctionnel en quelques heures - ...
André De Sousa
 

Similaire à Meetup #1 - Mesurer votre idée L’A/B testing, outil d’entrepreneur (20)

Star d'ux bordeaux #3 - Recherche utilisateurs et autres merveilles
Star d'ux bordeaux #3 - Recherche utilisateurs et autres merveillesStar d'ux bordeaux #3 - Recherche utilisateurs et autres merveilles
Star d'ux bordeaux #3 - Recherche utilisateurs et autres merveilles
 
Star d'UX bordeaux #3 - recherche utilisateurs et autres merveilles
Star d'UX bordeaux #3 - recherche utilisateurs et autres merveillesStar d'UX bordeaux #3 - recherche utilisateurs et autres merveilles
Star d'UX bordeaux #3 - recherche utilisateurs et autres merveilles
 
Comment créer de la croissance en faisant circuler les bonnes pratiques d'org...
Comment créer de la croissance en faisant circuler les bonnes pratiques d'org...Comment créer de la croissance en faisant circuler les bonnes pratiques d'org...
Comment créer de la croissance en faisant circuler les bonnes pratiques d'org...
 
Crash Test Your Idea Meetup Valtech 13/09/2016
Crash Test Your Idea Meetup Valtech 13/09/2016Crash Test Your Idea Meetup Valtech 13/09/2016
Crash Test Your Idea Meetup Valtech 13/09/2016
 
Value Driven Development / Agile with GUTS - Présentation Agile Tour Strasbourg
Value Driven Development / Agile with GUTS - Présentation Agile Tour StrasbourgValue Driven Development / Agile with GUTS - Présentation Agile Tour Strasbourg
Value Driven Development / Agile with GUTS - Présentation Agile Tour Strasbourg
 
Meet up - qu'on me donne l'envie de Groomer
Meet up - qu'on me donne l'envie de GroomerMeet up - qu'on me donne l'envie de Groomer
Meet up - qu'on me donne l'envie de Groomer
 
Présentation aux investisseurs Exo B2B, Chambre de Commerce du Montréal Métr...
Présentation aux investisseurs Exo B2B, Chambre de Commerce du Montréal Métr...Présentation aux investisseurs Exo B2B, Chambre de Commerce du Montréal Métr...
Présentation aux investisseurs Exo B2B, Chambre de Commerce du Montréal Métr...
 
Le Growth Hacking: Optimisez votre croissance
Le Growth Hacking: Optimisez votre croissanceLe Growth Hacking: Optimisez votre croissance
Le Growth Hacking: Optimisez votre croissance
 
Faire son prototype : Préciser sa proposition de valeur
Faire son prototype : Préciser sa proposition de valeurFaire son prototype : Préciser sa proposition de valeur
Faire son prototype : Préciser sa proposition de valeur
 
Le Continuous Delivery souffle sur mon bateau Agilité. Ca va secouer ! Rex ag...
Le Continuous Delivery souffle sur mon bateau Agilité. Ca va secouer ! Rex ag...Le Continuous Delivery souffle sur mon bateau Agilité. Ca va secouer ! Rex ag...
Le Continuous Delivery souffle sur mon bateau Agilité. Ca va secouer ! Rex ag...
 
14 Conseils d'experts pour optimiser vos conversions
14 Conseils d'experts pour optimiser vos conversions14 Conseils d'experts pour optimiser vos conversions
14 Conseils d'experts pour optimiser vos conversions
 
Agile France 2014 - Projets Agiles : Arrêtez les dérives !
Agile France 2014 - Projets Agiles : Arrêtez les dérives !Agile France 2014 - Projets Agiles : Arrêtez les dérives !
Agile France 2014 - Projets Agiles : Arrêtez les dérives !
 
Savoir pivoter fie 2014
Savoir pivoter fie 2014Savoir pivoter fie 2014
Savoir pivoter fie 2014
 
Rapport_dactivite_TFTP_annee_2022.pdf
Rapport_dactivite_TFTP_annee_2022.pdfRapport_dactivite_TFTP_annee_2022.pdf
Rapport_dactivite_TFTP_annee_2022.pdf
 
Ecrire de bonnes user stories - en 5 minutes - scrum wine v1.0
Ecrire de bonnes user stories - en 5 minutes -  scrum wine v1.0Ecrire de bonnes user stories - en 5 minutes -  scrum wine v1.0
Ecrire de bonnes user stories - en 5 minutes - scrum wine v1.0
 
Agile With Guts, Agile Tour Montpellier 2013, Lean-Design, Value Driven Devel...
Agile With Guts, Agile Tour Montpellier 2013, Lean-Design, Value Driven Devel...Agile With Guts, Agile Tour Montpellier 2013, Lean-Design, Value Driven Devel...
Agile With Guts, Agile Tour Montpellier 2013, Lean-Design, Value Driven Devel...
 
Et si on jouait au tdd 20131017
Et si on jouait au tdd 20131017Et si on jouait au tdd 20131017
Et si on jouait au tdd 20131017
 
Acquisition de trafic web B to B
Acquisition de trafic web B to B Acquisition de trafic web B to B
Acquisition de trafic web B to B
 
Démarche orientée client pour enchanter le consommateur
Démarche orientée client pour enchanter le consommateurDémarche orientée client pour enchanter le consommateur
Démarche orientée client pour enchanter le consommateur
 
Le Bootstrapping : Ou comment monter un MVP fonctionnel en quelques heures - ...
Le Bootstrapping : Ou comment monter un MVP fonctionnel en quelques heures - ...Le Bootstrapping : Ou comment monter un MVP fonctionnel en quelques heures - ...
Le Bootstrapping : Ou comment monter un MVP fonctionnel en quelques heures - ...
 

Plus de Olivier Lafontan

LES OKRs FACTEUR D ALIGNEMENT.pptx
LES OKRs FACTEUR D ALIGNEMENT.pptxLES OKRs FACTEUR D ALIGNEMENT.pptx
LES OKRs FACTEUR D ALIGNEMENT.pptx
Olivier Lafontan
 
LES INDICATEURS AU SERVICE DE LA PERFORMANCE AGILE DE VOTRE TRANSFORMATION.pptx
LES INDICATEURS AU SERVICE DE LA PERFORMANCE AGILE DE VOTRE TRANSFORMATION.pptxLES INDICATEURS AU SERVICE DE LA PERFORMANCE AGILE DE VOTRE TRANSFORMATION.pptx
LES INDICATEURS AU SERVICE DE LA PERFORMANCE AGILE DE VOTRE TRANSFORMATION.pptx
Olivier Lafontan
 
Agile en Seine - LACE A L ECHELLE.pptx
Agile en Seine - LACE A L ECHELLE.pptxAgile en Seine - LACE A L ECHELLE.pptx
Agile en Seine - LACE A L ECHELLE.pptx
Olivier Lafontan
 
REX Lab Innovation Lean Startup chez Alliance Expert
REX Lab Innovation Lean Startup chez Alliance ExpertREX Lab Innovation Lean Startup chez Alliance Expert
REX Lab Innovation Lean Startup chez Alliance Expert
Olivier Lafontan
 
Atelier lean canvas atam2016
Atelier lean canvas atam2016Atelier lean canvas atam2016
Atelier lean canvas atam2016
Olivier Lafontan
 
Meetup#5 kanban servebox et leanpizza
Meetup#5 kanban servebox et leanpizzaMeetup#5 kanban servebox et leanpizza
Meetup#5 kanban servebox et leanpizza
Olivier Lafontan
 
Keynote Agile tour Aix Marseille 2015
Keynote Agile tour Aix Marseille 2015Keynote Agile tour Aix Marseille 2015
Keynote Agile tour Aix Marseille 2015
Olivier Lafontan
 
Meetup #2 - L'innovation continue grace au lean startup
Meetup #2 - L'innovation continue grace au lean startupMeetup #2 - L'innovation continue grace au lean startup
Meetup #2 - L'innovation continue grace au lean startup
Olivier Lafontan
 
Xp day 2004 e xtreme analysis v0.1
Xp day 2004 e xtreme analysis v0.1Xp day 2004 e xtreme analysis v0.1
Xp day 2004 e xtreme analysis v0.1
Olivier Lafontan
 
Boostez scrum avec le lean startup
Boostez scrum avec le lean startupBoostez scrum avec le lean startup
Boostez scrum avec le lean startup
Olivier Lafontan
 

Plus de Olivier Lafontan (10)

LES OKRs FACTEUR D ALIGNEMENT.pptx
LES OKRs FACTEUR D ALIGNEMENT.pptxLES OKRs FACTEUR D ALIGNEMENT.pptx
LES OKRs FACTEUR D ALIGNEMENT.pptx
 
LES INDICATEURS AU SERVICE DE LA PERFORMANCE AGILE DE VOTRE TRANSFORMATION.pptx
LES INDICATEURS AU SERVICE DE LA PERFORMANCE AGILE DE VOTRE TRANSFORMATION.pptxLES INDICATEURS AU SERVICE DE LA PERFORMANCE AGILE DE VOTRE TRANSFORMATION.pptx
LES INDICATEURS AU SERVICE DE LA PERFORMANCE AGILE DE VOTRE TRANSFORMATION.pptx
 
Agile en Seine - LACE A L ECHELLE.pptx
Agile en Seine - LACE A L ECHELLE.pptxAgile en Seine - LACE A L ECHELLE.pptx
Agile en Seine - LACE A L ECHELLE.pptx
 
REX Lab Innovation Lean Startup chez Alliance Expert
REX Lab Innovation Lean Startup chez Alliance ExpertREX Lab Innovation Lean Startup chez Alliance Expert
REX Lab Innovation Lean Startup chez Alliance Expert
 
Atelier lean canvas atam2016
Atelier lean canvas atam2016Atelier lean canvas atam2016
Atelier lean canvas atam2016
 
Meetup#5 kanban servebox et leanpizza
Meetup#5 kanban servebox et leanpizzaMeetup#5 kanban servebox et leanpizza
Meetup#5 kanban servebox et leanpizza
 
Keynote Agile tour Aix Marseille 2015
Keynote Agile tour Aix Marseille 2015Keynote Agile tour Aix Marseille 2015
Keynote Agile tour Aix Marseille 2015
 
Meetup #2 - L'innovation continue grace au lean startup
Meetup #2 - L'innovation continue grace au lean startupMeetup #2 - L'innovation continue grace au lean startup
Meetup #2 - L'innovation continue grace au lean startup
 
Xp day 2004 e xtreme analysis v0.1
Xp day 2004 e xtreme analysis v0.1Xp day 2004 e xtreme analysis v0.1
Xp day 2004 e xtreme analysis v0.1
 
Boostez scrum avec le lean startup
Boostez scrum avec le lean startupBoostez scrum avec le lean startup
Boostez scrum avec le lean startup
 

Meetup #1 - Mesurer votre idée L’A/B testing, outil d’entrepreneur

  • 1. Mesurer votre idée L’A/B testing, outil d’entrepreneur par @OlivierLafontan Mercredi 10 juin 2015 Parlons Expériences #1
  • 2. Sommaire a. Aux entrepreneurs b. King, une histoire d’entrepreneurs c. Exploration d. Optimisation e. Optimiser grâce aux tests f. Mettre en place des pratiques similaires Parlons expériences #1 2/10
  • 4. Une définition pour ce soir « L'usage courant l'assimile à un chef d'entreprise, tantôt porteur d'un projet d'entreprise en phase de démarrage, tantôt dirigeant d'une entreprise davantage établie, à laquelle le plus souvent il s'identifie étroitement et personnellement » Peter Drucker dans son ouvrage Les Entrepreneurs (1985), insiste sur l'innovation et l'esprit d'entreprise (entrepreneurship). Source : Wikipedia.fr 4/10 L’A/B testing, outil d’entrepreneur – 10 juin 2015Parlons expériences #1
  • 5. Entreprendre : des intuitions Produire des idées Les concrétiser Parlons expériences #1 5/10
  • 6. Entreprendre : mais où est la science ? Expérimenter Collecter du feedback qualitatif & des métriques Apprendre pour valider ou pivoter Parlons expériences #1 6/10
  • 7. Un test, pour quoi ? Découverte de clients ? Validation d’une hypothèse problème / solution ? Optimisation ? … Parlons expériences #1 7/10
  • 8. C’est quoi, un test ? Parlons expériences #1 8/10 A/B A/Z Multivariés Multipages
  • 9. C’est quoi, un test ? Parlons expériences #1 9/10 A/B Protocole qui permet de comparer la performance de 2 versions d’un même élément. A/Z Protocole qui permet de comparer la performance de X>2 versions d’un même élément. Multivariés Protocole qui permet de comparer la performance de X versions de N éléments différents. Multipages Protocole qui permet de comparer la performance de X versions de N éléments différents sur plusieurs pages.
  • 11. Les leaders de l’app store Parlons expériences #1 11/10 …sont des jeux gratuits proposant des achats intégrés.
  • 12. Les leaders de l’app store Parlons expériences #1 12/10 Parmi des jeux de stratégie, on retrouve les jeux ‘casual’ et gratuits de l’éditeur
  • 13. Parlons expériences #1 13/10 : Historique et quelques chiffres 2003 Création de la société 2015 185 jeux 200 pays 1er trimestre >550 MAUs >150 DAUs >8,5 MUPs (en millions) MAU: Monthly Active Users DAU: Daily Active Users MUP: Monthly Unique Payers 2005 2 Lancements importants 2011 $62M CA 2013 $1.8 Md CA 2014 $2.6 Md CA IPO:$7Md 2012 : une année charnière 2012
  • 15. explore à travers Parlons expériences #1 15/10
  • 16. Royal Games Un bac à sable : Différents prototypes de jeux Tests multivariés, pas A/B Testing Des métriques identiques Parlons expériences #1 16/10
  • 18. Payer reste une option Parlons expériences #1 18/10
  • 19. Entre plaisir et frustration… Parlons expériences #1 19/10
  • 20. Entre plaisir et frustration… Parlons expériences #1 20/10
  • 21. Entre plaisir et frustration… Parlons expériences #1 21/10
  • 22. Entre plaisir et frustration… Parlons expériences #1 22/10
  • 23. Rapport financier Parlons expériences #1 23/10 Source: http://investor.king.com/investors/news/financial-releases/Press-Release-Details/2015/King-Reports-First-Quarter-2015-Results/default.aspx
  • 24. Rapport financier Parlons expériences #1 24/10 Source: http://investor.king.com/investors/news/financial-releases/Press-Release-Details/2015/King-Reports-First-Quarter-2015-Results/default.aspx Les résultats de l’entreprise…
  • 26. Impact Mapping pour Parlons expériences #1 26/10 1/ Le nombre de joueurs actifs, uniques et leur fidélité 2/ Le nombre de joueurs payants et la moyenne de leurs achats par période 3/ Le nombre de nouveaux joueurs recrutés et leur comportement Les résultats de l’entreprise… Comment influencer ces axes ? ? ? ?
  • 27. Impact Mapping pour Parlons expériences #1 27/10 1/ Le nombre de joueurs actifs, uniques et leur fidélité 2/ Le nombre de joueurs payants et la moyenne de leurs achats par période 3/ Le nombre de nouveaux joueurs recrutés et leur comportement Les résultats de l’entreprise… Comment influencer ces axes ? • Difficulté du jeux : augmenter / réduire • Notifications : augmenter fréquence, changer contenu • Cadeaux : offrir barres d’or, offrir des vies, offrir des boosters • Attente pour récupérer des vies : augmenter / réduire • Prix des barres d’or : augmenter / réduire • Durée de recharge des booster : augmenter / réduire • Prix des boosters : augmenter / réduire • Offres promotionnelles : oui / non, augmenter : réduire fréquence • In game notifications : augmenter fréquence, changer contenu • Partage d’infos sur réseaux sociaux : on / off, proposer, fréquence • Ask for lives : on / off, across titles • Promo d’un titre dans un autre titre : on / off, fréquence, placement
  • 28. Hypothèses à valider, effets à mieux comprendre Parlons expériences #1 28/10 Exemple Attente pour récupérer des vies : augmenter / réduire influence « Si nous réduisons la durée de recharge des vies,  les joueurs reviendront plus souvent les utiliser, ce  qui augmente leur chance d’acheter des boosters. »  1/ Le nombre de joueurs actifs, uniques et leur fidélité
  • 29. Mise en place du test : le produit Parlons expériences #1 29/10 Version A : recharge en 30 minutes Version B : recharge en 20 minutes Version C : recharge en 10 minutes Version D : recharge en 5 minutes
  • 30. Mise en place du test : les cohortes Parlons expériences #1 30/10 Version A : recharge en 30 minutes Version B : recharge en 20 minutes Version C : recharge en 10 minutes Version D : recharge en 5 minutes Cohorte 1 Cohorte 2 Cohorte 3 Cohorte 4
  • 31. Mise en place du test : les données Parlons expériences #1 31/10 Version A 30 minutes Version B 20 minutes Version C 10 minutes Version D 5 minutes Cohorte 1 Cohorte 2 Cohorte 3 Cohorte 4 Version Actuelle 25 minutes Cohorte 0 1/ Le nombre de joueurs actifs, uniques et leur fidélité 2/ Le nombre de joueurs payants et la moyenne de leurs achats par période 3/ Le nombre de nouveaux joueurs recrutés et leur comportement
  • 32. Exécution : capture sur des longues périodes Parlons expériences #1 32/10 Version A 30 minutes Version B 20 minutes Version C 10 minutes Version D 5 minutes Cohorte 1 Cohorte 2 Cohorte 3 Cohorte 4 Version Actuelle 25 minutes Cohorte 0 1 semaine 2 semaines 1 mois 3 mois 6 mois
  • 33. Analyse des données et prises de décisions • Quelle version du jeu doit-on garder ? • Pendant combien de temps ? • Ces résultats sont-ils consommables pour les autres titres ? • Ces résultats sont-ils consommables dans d’autres pays ? • Quels sont les prochains tests à faire ? • … Parlons expériences #1 33/10
  • 34. Mettre en place des pratiques similaires
  • 35. Mise en place chez Parlons expériences #1 35/10 Business Performance Managers Data Scientists Product Owner + Equipe de Développement Agile:ScrumAgile:Scrum
  • 36. Un cercle vertueux d’apprentissage Parlons expériences #1 36/10
  • 37. 1/ Définitions des axes de mesure Parlons expériences #1 37/10 Réaliser un impact mapping de votre activité est une façon simple et rapide de mettre le doigt sur les axes que vous pourriez vouloir suivre. ? ? ? 1 2 34 5
  • 38. 2/ Définition des tests et implémentation Parlons expériences #1 38/10 • En phase de startup, les tests le plus simples à mettre en place sont les tests A/B et A/Z. • Les multivariés et multipages sont excellents pour de l’exploratoire mais sont plus durs à mettre en place et à mesurer. 1 2 34 5
  • 39. 2/ Définition des tests et implémentation Parlons expériences #1 39/10 http://www.evanmiller.org/ab-testing/sample-size.html
  • 40. 2/ Définition des tests et implémentation Parlons expériences #1 40/10 26 000 échantillons pour un test A/B 39 000 échantillons pour un test A/B/C …
  • 41. 2/ Définition des tests et implémentation Parlons expériences #1 41/10 Le principal problème de l’A/B testing pour les startups : le nombre d’échantillons nécessaires Commencez le recrutement le plus tôt possible ! Investissez dans les sources d’acquisition de trafic (métriques = valeur)
  • 42. 3/ Capturer et conserver les données Parlons expériences #1 42/10 • Il est important de capturer les données dans un format exploitable pour qu’un traitement statistique puisse avoir lieu. • L’utilisation des cohortes comme unité de comparaison est une bonne pratique si possible. 1 2 34 5
  • 43. 4/ Pouvoir analyser les données Parlons expériences #1 43/10 • Être en mesure de donner du sens statistique aux données récoltées n’est pas toujours aisé. • Pas la peine de s’entourer de Data Scientist dès le départ, mais de bonnes connaissances sont requises, surtout pour les tests multivariés et multipages. 1 2 34 5
  • 44. 5/ Capitaliser sur les connaissances acquises Parlons expériences #1 44/10 • Tester pour apprendre le plus rapidement possible est un des piliers du Lean Startup, • Une façon de tester des hypothèses ‘business’ de manière systématique et itérative. 1 2 34 5
  • 45. Pense bête A faire : Bien savoir ce que l’on veut mesurer à chaque fois Calibrer la taille et le nombre d’échantillons S’accorder sur la durée de l’expérimentation Anticiper la génération de trafic Ne pas oublier le groupe de contrôle (ou cohorte 0) Capitaliser sur les nouvelles connaissances Ecouter les résultats des tests quand ils sont forts Parlons expériences #1 45/10 A ne pas faire : Essayer de tout mesurer en même temps (interférences) Tout analyser en Data Mining Comparer deux branches sur des critères différents Ne pas essayer parce qu’on est « nul en maths » Abandonner l’hypothèse quand c’est la méthode de test qui pose problème Prendre des décisions risquées après des résultats mitigés Ne pas chercher le pivot quand il est flagrant qu’un test est négatif