Par Nastasia Saby (@saby_nastasia) et Fabien de Saint pern (@fabdsp)
Retour d’expérience sur notre solution d’AB testing utilisée sur 6play pour expérimenter de nouvelles fonctionnalités, telles que la recommandation et la personnalisation à la maille utilisateur. Nous parlerons également de canary-testing pour l’optimisation et la mise en production. Nous montrerons la mise en place sur une architecture en micro-services déjà existante, utilisée dans un environnement multiplateforme (Web, Mobile, IPTV). Nous aborderons le monitoring et tracking des tests, ainsi que le suivi de cohorte. Nous parlerons Symfony 3, Apcu, Redis, Varnish… mais aussi Kafka, Cassandra, Elasticsearch, Hadoop.
Climbing the Abstract Syntax Tree (Forum PHP 2017)James Titcumb
The new Abstract Syntax Tree (AST) in PHP 7 means the way our PHP code is being executed has changed. Understanding this new fundamental compilation step is key to understanding how our code is being run.
To demonstrate, James will show how a basic compiler works and how introducing an AST simplifies this process. We’ll look into how these magical time-warp techniques* can also be used in your code to introspect, analyse and modify code in a way that was never possible before.
After seeing this talk, you’ll have a great insight as to the wonders of an AST, and how it can be applied to both compilers and userland code.
(*actual magic or time-warp not guaranteed)
The document provides guidance on test-driven development and unit testing. It discusses the goals of testing such as finding bugs, enabling refactoring, documenting code behavior, and detecting design issues. It also covers best practices for tests, including keeping them independent of implementation, predictable, fast, and simple to implement. Specific testing tools and frameworks mentioned include PHPUnit and Prophecy. The anatomy of a test is explained as Arrange, Act, Assert (or Given, When, Then). Examples are given of unit tests for a Serveur class using these concepts and frameworks.
ABTest : un outil indispensable pour être « data-driven » ? par Laurent VIONLa Cuisine du Web
Quand on pense data, on a souvent une vision très « produit » de la chose au travers de concepts très abstraits tels que « l’expérience client personnalisée », « l’analyse prédictive », voir même « l’intelligence artificielle ».Mais bien avant d’influer sur notre business, si l’organisation même de nos entreprises et nos méthodes de travail étaient en réalité les premières victimes de la révolution « data » ?
Focus sur un outil indispensable pour toute entreprise « data-driven » : l’ABTestUne présentation en 3 temps :
1 – Rappel assez général sur le sujet : Qu’est-ce qu’un ABTest ? Quand faire un ABTest ? Comment faire un ABTest ? Comment analyser un ABTest ?
2 – Retour d’expérience sur notre outil d’ABTest interne chez M6Web.
3 – Conséquences sur nos méthodes de travail et notre organisation.
IA et Test - MeetUp MoT - Julien Van Quackebeke - CEO All4TestMimoun Kissi 🤖
Comment intégrer l'IA dans les tests logiciels ?
Julien Van Quackebeke (CEO All4Test) nous a fait le plaisir de répondre à cette question lors d'un meetup organisé par Nicolas Canseco (Ministry Of Testing) et acceuilli par Publicis.Sapient
Climbing the Abstract Syntax Tree (Forum PHP 2017)James Titcumb
The new Abstract Syntax Tree (AST) in PHP 7 means the way our PHP code is being executed has changed. Understanding this new fundamental compilation step is key to understanding how our code is being run.
To demonstrate, James will show how a basic compiler works and how introducing an AST simplifies this process. We’ll look into how these magical time-warp techniques* can also be used in your code to introspect, analyse and modify code in a way that was never possible before.
After seeing this talk, you’ll have a great insight as to the wonders of an AST, and how it can be applied to both compilers and userland code.
(*actual magic or time-warp not guaranteed)
The document provides guidance on test-driven development and unit testing. It discusses the goals of testing such as finding bugs, enabling refactoring, documenting code behavior, and detecting design issues. It also covers best practices for tests, including keeping them independent of implementation, predictable, fast, and simple to implement. Specific testing tools and frameworks mentioned include PHPUnit and Prophecy. The anatomy of a test is explained as Arrange, Act, Assert (or Given, When, Then). Examples are given of unit tests for a Serveur class using these concepts and frameworks.
ABTest : un outil indispensable pour être « data-driven » ? par Laurent VIONLa Cuisine du Web
Quand on pense data, on a souvent une vision très « produit » de la chose au travers de concepts très abstraits tels que « l’expérience client personnalisée », « l’analyse prédictive », voir même « l’intelligence artificielle ».Mais bien avant d’influer sur notre business, si l’organisation même de nos entreprises et nos méthodes de travail étaient en réalité les premières victimes de la révolution « data » ?
Focus sur un outil indispensable pour toute entreprise « data-driven » : l’ABTestUne présentation en 3 temps :
1 – Rappel assez général sur le sujet : Qu’est-ce qu’un ABTest ? Quand faire un ABTest ? Comment faire un ABTest ? Comment analyser un ABTest ?
2 – Retour d’expérience sur notre outil d’ABTest interne chez M6Web.
3 – Conséquences sur nos méthodes de travail et notre organisation.
IA et Test - MeetUp MoT - Julien Van Quackebeke - CEO All4TestMimoun Kissi 🤖
Comment intégrer l'IA dans les tests logiciels ?
Julien Van Quackebeke (CEO All4Test) nous a fait le plaisir de répondre à cette question lors d'un meetup organisé par Nicolas Canseco (Ministry Of Testing) et acceuilli par Publicis.Sapient
Optimiser son site grâce au testing A/B ou multivarié et au ciblageRaphaël Fétique
Pratique encore peu répandue en France, le testing reste l'apanage malheureusement des acteurs les plus matures - il devient indispensable à partir d'1 million d'euros de CA - alors que son coût le met à la portée de tous !
Plus que d’autres méthodes d’optimisations, le testing requiert une méthodologie stricte et rigoureuse pour pouvoir être utilisée efficacement.
Cette conférence a pour objectif de :
- Introduire le concept de testing ainsi que les différents types de tests : A/B, multivarié, ciblage
- Fournir les bases et la méthodologie pour se lancer sereinement dans une démarche de testing (choix des variantes, outils, méthodes statistiques, liens avec les solutions de webanalytics, organisation générale, ...)
- Présenter les best-practices ainsi que les principaux pièges à éviter
La boite a_outils_de_l_excellence_operationnelle_presentation minitabMinitab, LLC
La résolution de problème est au cœur de l'amélioration continue, de l'efficacité et de la satisfaction client
Les phases Six Sigma : Définir, Mesurer, Analyser, Innover et Contrôler constituent une méthode de résolution de problèmes structurée pas à pas avec des techniques et outils éprouvés.
Dans cette présentation, notre formateur Bruno Scibilia traite un cas inspiré de l'industrie chimique, il montre :
Quelques outils Lean classiques comme la cartographie du procédé, la cartographie de la chaîne de valeur (VSM) avec le logiciel d’exécution de projets Companion by Minitab.
L'analyse des données du projet avec les statistiques descriptives, l'analyse de capabilité, une carte de contrôle dans le logiciel de statistiques Minitab 19.
L'utilisation d'un arbre de décision pour envisager d'autres solutions dans le logiciel d'analyse prédictive et de Machine Learning Minitab Salford Predictive Modeler.
Avec cette présentation, découvrez comment dynamiser vos projets d'amélioration et l'analyse de données grâce aux meilleures méthodes appliquées associées aux outils logiciels les plus adaptés.
Ce document est un rapport sur mon travail pour l'application des algorithmes de 'Machine Learning' par RapidMiner sur une base de données de e-bay en Allemagne.
git: https://github.com/hannachiMajdi/Machine-learning-avec-RapidMiner
email: majdi_hannachi@outlook.fr
Webinar de Philippe Yonnet, CEO du Groupe Neper sur l'AB testing SEO.
Comment effectuer des tests A/B pour vérifier l'impact des optimisations SEO en utilisant les bonnes méthodes statistiques pour y parvenir.
Resolution de probleme conduite de projet et analyse de donnees webinaire-min...Minitab, LLC
Dans ce webinaire, explorez une feuille de route de projet étape par étape pour étudier, améliorer et mettre sous contrôle efficacement un processus.
Vous suivez un exemple de projet traitant les plaintes des clients concernant la qualité du signal des téléphones mobiles et découvrez comment exploiter efficacement les techniques de résolution de problèmes structurées de Lean Six Sigma.
Tracer la voie vers le BigData et l'analyse prédictive avec Talend et Amazon AWS.
Peut-on se passer du Big Data, de l’analyse prédictive, ou du machine learning depuis qu’ils ont démontré leur capacité à transformer l’entreprise et à ouvrir les portes de vos marchés à de nouveaux acteurs ? Et sinon, comment s’approprier au plus vite toute cette panoplie technologique, à première vue complexe, coûteuse et en perpétuelle mutation ?
Cette présentation démontre comment s’approprier et orchestrer les plates-formes cloud telles qu’Amazon AWS, pour tirer partie de la puissance de traitements de Hadoop et de Spark dans le cadre d’applications analytiques de nouvelle génération.
Statistiques 101 - Gilles Barbier, Partner chez TheFamilyTheFamily
Dans l'aventure entrepreneuriale, les statistiques sont des données clés. En effet, c'est avec les statistiques que tu pourras mettre en place une stratégie pertinente. Gilles Barbier explique ici comment les comprendre et les analyser : déterminer ce qu'il faut améliorer, en formulant des hypothèses et mettre en place le test.
La vidéo : https://www.youtube.com/watch?v=XYzs-DjfRW0
At TheFamily, we believe that anyone can become a great entrepreneur. Find more info here: http://www.thefamily.co/
Crash Test Your Idea Meetup Valtech 13/09/2016André De Sousa
Généralement, lorsque l'on lance un nouveau produit avec en tête de créer une startup, la plupart du temps, on reste la tête baissée dans sa "cave" sans regarder le marché, ni ses clients.
Etes-vous sûr que vous êtes en train de créer le bon produit ?
Durant cette journée de passage à l'acte, notre objectif est de démontrer comment expérimenter, voir même d'aller jusqu'à produire un MVP Lean Startup fonctionnel en quelques heures avec des ressources que je présente et que j'encourage à utiliser.
La journée va se partager en 2 parties distinctes: Une partie théorique ou je présente les outils pour expérimenter et valider très vite son idée. Une seconde partie mise en pratique durant laquelle vous passez à la réalisation de votre Prétotype ou MVP et pendant laquelle je serais à votre disposition pour vous aider.
A l'issue de cette journée vous serez en mesure d'aller confronter votre idée à la réalité du marché et ainsi valider qu'il existe ou non un problème qui vaut la peine d'être résolu.
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...Peak Ace
Un tour d’horizon des dernières actualités et changements survenus dans le Search Marketing ces dernières semaines.
Intervenant : Romain Lepesqueux – Consultant SEO – Search Foresight
Optimisez votre site en alliant Web Analytics & A/B TestingOptimizely
Augmentez encore la performance de votre site grâce à l'interconnexion entre les outils AB Testing d'Optimizely et Web Analytics d'AT Internet.
- Pourquoi AT Internet est l'un des outils web analytics les plus utilisés
- Comment le A/B Testing s'exerce avec Optimizely
- Comment créer une vague de A/B Test en quelques minutes seulement
- Comment s'intègrent en un clic les plateformes AT internet et Optimizely
- Pourquoi centraliser, croiser les résultats des tests avec les données comportementales et enfin comment exploiter au mieux ces résultats
https://www.youtube.com/watch?v=F6izekOdyhM&feature=youtu.be
https://www.optimizely.fr
http://www.atinternet.com/
http://blog.optimizely.com/
Extrait du Benchmark Cloud IaaS par Gekko GekkoSAS
Gekko a testé et comparé les offres des grands Cloud Service Providers disponibles depuis la France : AWS, Azure, Google Engine, iKoula, OVH et Outscale. Des résultats instructifs : l'offre IaaS est riche, mais on constate des différences en termes de performances et de prix non négligeables entre les fournisseurs.
Optimisez le parcours client de votre application mobileAdjust
Découvrez comment analyser le comportement de vos utilisateurs et créer des parcours clients plus efficaces et optimisés.
Ce webinar est illustré par des cas clients Azetone et Adjust.
Optimiser son site grâce au testing A/B ou multivarié et au ciblageRaphaël Fétique
Pratique encore peu répandue en France, le testing reste l'apanage malheureusement des acteurs les plus matures - il devient indispensable à partir d'1 million d'euros de CA - alors que son coût le met à la portée de tous !
Plus que d’autres méthodes d’optimisations, le testing requiert une méthodologie stricte et rigoureuse pour pouvoir être utilisée efficacement.
Cette conférence a pour objectif de :
- Introduire le concept de testing ainsi que les différents types de tests : A/B, multivarié, ciblage
- Fournir les bases et la méthodologie pour se lancer sereinement dans une démarche de testing (choix des variantes, outils, méthodes statistiques, liens avec les solutions de webanalytics, organisation générale, ...)
- Présenter les best-practices ainsi que les principaux pièges à éviter
La boite a_outils_de_l_excellence_operationnelle_presentation minitabMinitab, LLC
La résolution de problème est au cœur de l'amélioration continue, de l'efficacité et de la satisfaction client
Les phases Six Sigma : Définir, Mesurer, Analyser, Innover et Contrôler constituent une méthode de résolution de problèmes structurée pas à pas avec des techniques et outils éprouvés.
Dans cette présentation, notre formateur Bruno Scibilia traite un cas inspiré de l'industrie chimique, il montre :
Quelques outils Lean classiques comme la cartographie du procédé, la cartographie de la chaîne de valeur (VSM) avec le logiciel d’exécution de projets Companion by Minitab.
L'analyse des données du projet avec les statistiques descriptives, l'analyse de capabilité, une carte de contrôle dans le logiciel de statistiques Minitab 19.
L'utilisation d'un arbre de décision pour envisager d'autres solutions dans le logiciel d'analyse prédictive et de Machine Learning Minitab Salford Predictive Modeler.
Avec cette présentation, découvrez comment dynamiser vos projets d'amélioration et l'analyse de données grâce aux meilleures méthodes appliquées associées aux outils logiciels les plus adaptés.
Ce document est un rapport sur mon travail pour l'application des algorithmes de 'Machine Learning' par RapidMiner sur une base de données de e-bay en Allemagne.
git: https://github.com/hannachiMajdi/Machine-learning-avec-RapidMiner
email: majdi_hannachi@outlook.fr
Webinar de Philippe Yonnet, CEO du Groupe Neper sur l'AB testing SEO.
Comment effectuer des tests A/B pour vérifier l'impact des optimisations SEO en utilisant les bonnes méthodes statistiques pour y parvenir.
Resolution de probleme conduite de projet et analyse de donnees webinaire-min...Minitab, LLC
Dans ce webinaire, explorez une feuille de route de projet étape par étape pour étudier, améliorer et mettre sous contrôle efficacement un processus.
Vous suivez un exemple de projet traitant les plaintes des clients concernant la qualité du signal des téléphones mobiles et découvrez comment exploiter efficacement les techniques de résolution de problèmes structurées de Lean Six Sigma.
Tracer la voie vers le BigData et l'analyse prédictive avec Talend et Amazon AWS.
Peut-on se passer du Big Data, de l’analyse prédictive, ou du machine learning depuis qu’ils ont démontré leur capacité à transformer l’entreprise et à ouvrir les portes de vos marchés à de nouveaux acteurs ? Et sinon, comment s’approprier au plus vite toute cette panoplie technologique, à première vue complexe, coûteuse et en perpétuelle mutation ?
Cette présentation démontre comment s’approprier et orchestrer les plates-formes cloud telles qu’Amazon AWS, pour tirer partie de la puissance de traitements de Hadoop et de Spark dans le cadre d’applications analytiques de nouvelle génération.
Statistiques 101 - Gilles Barbier, Partner chez TheFamilyTheFamily
Dans l'aventure entrepreneuriale, les statistiques sont des données clés. En effet, c'est avec les statistiques que tu pourras mettre en place une stratégie pertinente. Gilles Barbier explique ici comment les comprendre et les analyser : déterminer ce qu'il faut améliorer, en formulant des hypothèses et mettre en place le test.
La vidéo : https://www.youtube.com/watch?v=XYzs-DjfRW0
At TheFamily, we believe that anyone can become a great entrepreneur. Find more info here: http://www.thefamily.co/
Crash Test Your Idea Meetup Valtech 13/09/2016André De Sousa
Généralement, lorsque l'on lance un nouveau produit avec en tête de créer une startup, la plupart du temps, on reste la tête baissée dans sa "cave" sans regarder le marché, ni ses clients.
Etes-vous sûr que vous êtes en train de créer le bon produit ?
Durant cette journée de passage à l'acte, notre objectif est de démontrer comment expérimenter, voir même d'aller jusqu'à produire un MVP Lean Startup fonctionnel en quelques heures avec des ressources que je présente et que j'encourage à utiliser.
La journée va se partager en 2 parties distinctes: Une partie théorique ou je présente les outils pour expérimenter et valider très vite son idée. Une seconde partie mise en pratique durant laquelle vous passez à la réalisation de votre Prétotype ou MVP et pendant laquelle je serais à votre disposition pour vous aider.
A l'issue de cette journée vous serez en mesure d'aller confronter votre idée à la réalité du marché et ainsi valider qu'il existe ou non un problème qui vaut la peine d'être résolu.
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...Peak Ace
Un tour d’horizon des dernières actualités et changements survenus dans le Search Marketing ces dernières semaines.
Intervenant : Romain Lepesqueux – Consultant SEO – Search Foresight
Optimisez votre site en alliant Web Analytics & A/B TestingOptimizely
Augmentez encore la performance de votre site grâce à l'interconnexion entre les outils AB Testing d'Optimizely et Web Analytics d'AT Internet.
- Pourquoi AT Internet est l'un des outils web analytics les plus utilisés
- Comment le A/B Testing s'exerce avec Optimizely
- Comment créer une vague de A/B Test en quelques minutes seulement
- Comment s'intègrent en un clic les plateformes AT internet et Optimizely
- Pourquoi centraliser, croiser les résultats des tests avec les données comportementales et enfin comment exploiter au mieux ces résultats
https://www.youtube.com/watch?v=F6izekOdyhM&feature=youtu.be
https://www.optimizely.fr
http://www.atinternet.com/
http://blog.optimizely.com/
Extrait du Benchmark Cloud IaaS par Gekko GekkoSAS
Gekko a testé et comparé les offres des grands Cloud Service Providers disponibles depuis la France : AWS, Azure, Google Engine, iKoula, OVH et Outscale. Des résultats instructifs : l'offre IaaS est riche, mais on constate des différences en termes de performances et de prix non négligeables entre les fournisseurs.
Optimisez le parcours client de votre application mobileAdjust
Découvrez comment analyser le comportement de vos utilisateurs et créer des parcours clients plus efficaces et optimisés.
Ce webinar est illustré par des cas clients Azetone et Adjust.
Leviers d’adaptation au changement climatique, qualité du lait et des produit...
AB Testing chez M6Web
1. AB testing chez M6Web
« Tester c’est douter, mais le doute c’est le début de la sagesse »
Nastasia Saby
@saby_nastasia
Fabien de Saint pern
@fabdspM6Web & Zenika
Octobre 2017
3. Existe depuis 2008
18 Millions de comptes utilisateurs
+90k videos publiés - 4 millions vidéos vues par jour
Disponible sur plus de 10 plateformes (Web, Apps, IPTV)
Offre gratuite (revenus publicitaires) - Offre payante récente
5. Une expérience
L’AB testing
Procédure utilisée en marketing et
qui permet de mesurer l’impact d’un
changement de version d’une
variable sur l’atteinte d’un objectif
(clic, validation, remplissage
formulaire, …)
● AB test = 2 versions
● ABC test = 3 versions
● AAB test = 3 versions (2 ident.)
6. Exemple d’AB testing avec la page d’inscription
25%
de conversion
17%
de conversion
X
X
7. L’AB testing pour être
«data driven»
Dorénavant, il ne suffit pas d’avoir
une bonne idée, mais faut-il encore
vérifier si elle est vraiment bonne.
Exemple de l’Infinite scrolling
chez Etsy (2013)
8. Choix de la population
inconnue ou connue ?
Stratégies d’
échantillonnage
● Aléatoire simple
● Stratifié
● En grappes
Toujours une notion d’aléatoire
10. Utilisation de l’AB testing
pour personnaliser
● Test de différents algorithmes
de personnalisation
Exemples :
● Recommandation de
programmes par rubrique
12. ● Objectifs : programmes recommandés personnalisés par utilisateur
Recommandation de programmes en détail
Résultats : C le meilleur mais...
● Tests de différents algorithmes :
○ A : Contribution manuelle quotidienne (version legacy)
○ B : Selon les dernières consommations de la personne
○ C & D : Selon les consommations de tous les utilisateurs (2
méthodes)
● Test AABCD
○ AA : deux variantes identiques.
○ Permet d’analyser la divergence des populations.
○ Calcul du biais d'échantillonnage.
13. Tests avec 5 variantes de 20 % (sur 80% total)
Activation
du test
14. Utilisation de l’AB testing
pour sa communication
● Campagne d'emailing
● Notifications via les apps
Résultats inattendus
15. AB testing sur des
populations déterminées
● Fan d’une émission, éléments
socio-démographiques...
● Test complet sur une
population ou filtrage
Ex : Pression pub selon les
segments
Résultats ?
17. Utilisation de l’AB testing
pour faire du Canary
testing
● Nouveau player
● Lancement progressif d’un
nouvel adserver
18. Utilisation de l’AB testing
pour la performance
● Tests de performance entre
deux versions
● Taux d’abandon au
chargement
● Scalabilité d’une architecture
● Vidéos : rapport débit / qualité /
erreurs / temps de chargement
Prouver que votre idée est la
meilleure par les chiffres
19. Utilisation de l’AB testing
pour de la « prod cachée »
● Fonctionnalités disponibles
pour les équipes produits
uniquement
● Lancement d’un service pour un
groupe d’utilisateurs restreint
24. L’Applaunch pour les paramétrer tous
Fronts 6play
(Apps Mobiles, IPTV, Web …)
CacheAPCu
Fichiers Json
statiques de
configuration
des apps /
services
Back-office de
configuration
“Applaunch”
Ecritures
Lectures
Micro-Services / API
Middleware
Images
Users
Workers
Advertising
...
29. Applaunch et le système des variantes
Fichier json principal Fichier des variantes
{
Test_Theme_Variante_Sea:
color : blue,
deco : fishes
Test_Theme_Variante_Earth:
color : brown,
deco : trees
}
Test_Theme_Variante_Sea
Test_Theme_Variante_Earth
Pas de variante
30. Création des tests et des variantes
Métadonnées sur l’AB test
Nom du test : Thème
Description : Description
Type de test : Realtime
Pourcentage de la population: 10%
Variante Pourcentage Clef
Variante Earth 50% color: blue
deco: fishes
Variante Sea 50% color: brown
deco : tree
32. Customizer : applaunch personnalisé
Fichiers Json
principal
Services
Fichiers Json des
variantes
Users
Middleware
Fronts 6play
(Apps, IPTV, Web…)
Advertising
Customizer
2. Par utilisateur
1. Par application
...
API
AB Tests
33. Customizer en détail
Request
Applaunch
personnalisé ?
● User
● App
● Version
Api
des tests
Applaunch
fichiers Json des
variantes
API :
● Tests actifs (APCu)
● Variantes par utilisateur (Cassandra)
● Config applaunch des variantes de
l’application (Redis)
Génération du cache APCU :
● Toutes les 5 min ou sur cache vide
● Précalcul tests & variantes actifs
5 ms de temps
de réponse
35. Typologie des tests chez M6Web
Deux types de répartition des utilisateurs :
● Realtime
○ Répartition aléatoire : utilisation d’un crc32(id_users/ id test)
○ Répartition homogène et déterministe
○ Recalculable à l’analyse des résultats
● Batch
○ Échantillonnage par segmentation
○ Socio-démo / consommation - Ex : H/F, 15-25, Fan de Capital ...
○ Importés dans Cassandra (performance)
37. Une plateforme big data à la rescousse
HiveQL
Hive :
requêtage
CLI
Dataviz
HDFS :
stockage
Hadoop
Jupyter
38. La construction d’un
data lake
● Collecte et agrégation de
données M6
● Batch spark
HDFS :
stockage
Logs des
AdServer
39. Collecte et analyse de données avec des KPIS
KPIS
● Nombre de vidéos vues
par utilisateur par jour
● Nombre de secondes de
vidéos vues par utilisateur
par jour
● Nombre de pubs
consommés par utilisateur
par jour
● Nombre de visites
KPIS par AB test
Pas de formule magique
40. Les pièges
● Effets de saisonnalité
● Nouvelle
fonctionnalité peut
avoir un fort impact
● Résultats parfois
difficiles à voir à l’oeil
nu
41. Trouver la vérité au
milieu du bruit
Fluctuation due au hasard des
échantillons ou à la variation ?
Hypothèse d’homogénéité
A/A - Avant/Après
● Valeur P = Si plus de 5%, on
ne peut imputer les fluctuations
à l’introduction d’une variante
● Intervalle de confiance =
Appui de la p-value
=> Avons-nous des résultats
significatifs ?
43. Agrégation des données de différentes plateformes M6Web
Croisement des segments
de population avec
d’autres sources M6
44. Quels types de données ?
Données déclaratives
● Age - Sexe
● Centres d’intérêts
Données déduites
Consommation vidéo :
● Quoi ?
● Combien de fois ?
● Combien de temps ?
● Quand ? Où ?
Consommation sur les sites
M6 :
● Pages vues ?
● Combien de fois ?
● Quand ? Où ?
45. Définition de segments
Segments :
● Fan des Marseillais, séries américaines, …
● Segments comportementaux : nocturnes, uniques, ...
46. Le comportement prime
La supériorité des données
comportementales par
rapport aux données
déclaratives