France Télévisions a mis en place un processus novateur pour choisir un moteur de recommandations vidéo pour son service de télévisions de rattrapage Pluzz (maintenant france.tv). Afin de mener à bien ce projet, nous avons A/B tester 3 moteurs de recommandation en live auprès de nos utilisateurs sur notre application Pluzz iOS. Nous revenons sur cette "mise à l'épreuve" unique avec un retour d'expérience.

1. Notre utilisation de l’AB testing pour
choisir un moteur de recommandation

2. France Télévisions : Qui sommes nous ?
DROITS
PUBLICITE
PRODUCTION
CINEMA
PRODUCTION TV
216 Novembre 2017

3. France Télévisions : l’offre numérique
INFORMER DÉVELOPPER LA CONSO VIDÉO APPRENDRE
316 Novembre 2017

4. Personnaliser
Automatiser
Une ambition forte autour de la
recommandation
Pourquoi des algorithmes de
recommandation ?
Renouveler un système de recommandation fixe et peu
évolutif et adopter une démarche user-centric
Comment s’y prendre ?
Plusieurs possibilités envisagées
Nous appuyer sur des moteurs de
recommandation du marché
Faire nous-mêmes
Faire découvrir
Transformer l’approche de recommandation
vidéo actuelle basée sur des règles de
gestion

ou

16 Novembre 2017 4

5. Processus de décision
? 1 • Définition
• Analyse de l’existant
• Rédaction CdC
• Appel d’Offre
Expression du besoin
2
Sélection de moteurs
3• AB testing des moteurs
de recommandation
• Mesure des résultats
Mise à l’épreuve
4 • Contractualisation
• Mise en production
Choix final
16 Novembre 2017 5

6. La mise à l’épreuve
Pas un Proof of Concept ou un Test
Des choses que l’on ne veut pas
Des points d’attention importants sur ce que la mise à
l’épreuve n’est pas
 Mettre en production
Ce que l’on souhaite accomplir
Des croyances fortes
 Plusieurs moteurs de recommandations
 Auprès de nos utilisateurs finaux
 Avec de l’AB testing pour la fiabilité
On ne souhaite pas valider une hypothèse ou partir
dans un chantier complexe autour d’un moteur de
recommandation sans comprendre son
fonctionnement ni son apport business.
 Sur un périmètre produit et temps maîtrisé
16 Novembre 2017 6

7. Notre objectif
Prendre la meilleure décision en mettant tous les
moyens de notre côté pour choisir le moteur qui
répond le mieux à nos enjeux d’expérience client.
AB test des solutions
Optimiser les moteurs de recommandation Baser notre décision sur des résultats tangibles
Tester auprès d’utilisateurs finaux
Mettre en concurrence dans un environnement et
des conditions similaires plusieurs moteurs de
recommandation et avoir une démarche agile.
Améliorer le fonctionnement des moteurs de
recommandation, optimiser l’engagement en
comprenant leur paramétrages et les
optimisations possibles pour en tirer le meilleur
parti.
Choisir le moteur de recommandation le plus
performant dans notre contextesur un ensemble
d’indicateurs de performance simples et définis
au préalable.
Eprouver le fonctionnement des moteurs de
recommandation auprès d’un ensemble
d’utilisateurs finaux bien réels sur un produit
vidéo existant et largement utilisé.
‘’
16 Novembre 2017 7

8. Se fier au « Best pitch »
Les pièges à éviter
Ne pas anticiper
Ne pas maîtriser
Le prestataire de moteur de recommandation qui a la meilleure
présentation n’est pas forcément le meilleur dans les faits ni ne
correspond à nos besoins
 Les incompatibilités d’intégration avec notre écosystème
 Les paramétrages nécessaires à une recommandation effective
 Les règles métier qui répondent à nos besoins
 L’attribution du trafic via le moteur d’AB test
16 Novembre 2017 8

9. Une feuille de route ambitieuse
?
1
2
3• AB testing des moteurs
de recommandation
• Mesure des résultats
Mise à l’épreuve
4
 Implémentation AB testing
 Architecture technique
 Tracking analytique
Préparation
 Nouvelle app release
 Paramétrage des moteurs
 Run et optimisation
 Résultats
Lancement live
1 mois
1 mois
Mise à l’épreuve
La préparation de la mise à l’épreuve, l’alignement sur les
éléments techniques, le périmètre du test ainsi que nos
critères de succès sont fondamentaux pour sa réussite.
‘’
16 Novembre 2017 9

10. Et parsemées de défis
 Développement d’un proxy dédié à la
recommandation
Technique
Créer une infrastructure pour gérer les différents
moteurs de façon unifiée
Analytique
Définir à l’avance des critères de succès avec des
indicateurs simples et transverses
 Performance marketing
Opérationnel
Mettre en place une mise à l’épreuve qui fait
intervenir beaucoup d’équipes
 Mise en place de l’AB test
 Performance technique
 Performance éditoriale
 De 3 moteurs de recommandation
 Dans l’application Pluzz
 Auprès de notre parc d’utilisateurs iOS
16 Novembre 2017 10

11. Set-up technique : AB test et Proxy
Moteur
d’AB Test
1. Envoi de
l’information
utilisateur
2. Renvoi du
moteur affecté
Proxy
Moteur 1
Moteur 2
Moteur 3
Règles de
gestion
internes
6. Normage et envoi des
vidéos à recommander
3.Demande de reco
Catalogue
de contenus
5. Retour des moteurs avec :
• Contenus à recommander pour la vidéo et
l’utilisateur concernés
4. Demande reco avec envoi d’informations :
• Contenu (genre vidéo, id, durée, …)
• Evenements (temps passé, complétion)
• Identifiant unique
• Demande la reco
Technos : node.js, Redis
16 Novembre 2017 11

12. Indicateurs de performance
Marketing
 Vidéos vues reco
 Temps passé reco
Techniques
 Temps de réponse des moteurs
 Disponibilité des moteurs
Editoriaux
 Maîtrise du catalogue de données
 Ajustement des paramétrages de la reco
 Qualité perçue de la recommandation
Mesurer l’incrément généré par
chaque moteur de
recommandation
Monitorer et mesurer la
disponibilité et temps de
réponse de chaque moteur
Se faire une idée de la qualité
perçue par les utilisateurs et
l’adaptabilité du moteur
16 Novembre 2017 12

13. Répartir le trafic équitablement
Tirer parti de l’AB testing
Affecter le moteur de façon pérenne
sur la durée du test
Assurer la fiabilité statistique du test
25% 25% 25% 25%
J1
Moteur 1 Moteur 2 Moteur 3 Moteur 4
Règles gestion internes
Moteur 1
J30
Moteur 1
Indice de fiabilité
supérieur à 95%
16 Novembre 2017 13

14. Les moteurs de recommandation reposent sur des
algorithmes auto-apprenants qui nécessitent une diversité
de contenus visualisés et d’utilisateurs pour s’optimiser et
livrer le maximum de leurs capacités.
Laisser les moteurs de recommandation s’optimiser
S’affranchir de problématiques
opérationnelles
Obtenir un volume de visites conséquent
Un test AB est considéré fiable lorsque l’on atteint 95% de
l’indice de fiabilité. Il se mesure sur des critères de volume
et variations de résultats entre les moteurs ainsi que la
durée du test.
Atteindre l’indice de fiabilité suffisant
Optimisation du temps passé par utilisateur
Optimisation du nombre de vidéos vues
issues de la reco
16 Novembre 2017 14

15. Les algorithmes de la recommandation
User based
Des contenus qui se basent sur l’historique de
consommation de l’utilisateur
Content based
Des contenus qui se basent sur le contenu en
cours de lecture
Collaborative filtering
Des contenus déjà vus par les utilisateurs qui
ressemblent à l’utilisateur en cours et qui sont
fortement susceptibles de lui plaire
Ont vu
A B C
A vu
A B C
Va aimer
16 Novembre 2017 15

16. Un périmètre spécifique
Home Page Page vidéo
Smartphones /
Tablets
iOS
4 vignettes situées :
 sous la vignette principale
 Au-dessus de la ligne de
flottaison
20 vignettes situées dans
l’onglet « voir aussi » sous la
vidéo
16 Novembre 2017
16

17. Des résultats pour prendre une décision
21%
De vidéos vues issues de la
recommandation pour le
moteur 1, soit 3 points de
plus que les règles de gestion
interne (moteur 4)
+ 3%
De vidéos vues en plus pour le
moteur 1 par rapport aux
règles de gestion internes
(moteur 4)
-0,3%
moteur 2 par rapport
aux règles de gestion
internes
3
semaines
Durée effective du test à
périmètre constant
16 Novembre 2017 17

18. Les enseignements de la mise à l’épreuve
 France Télévisions est montée en compétences sur les fonctionnement et paramétrages des moteurs de recommandation
 Nous avons créé l’architecture technique pour faire fonctionner la recommandation
 Nous avons travaillé et compris l’importance de métadonnées de qualité et structurées dans notre catalogue de contenus
 Nous avons défriché et mis à jour des règles de gestion spécifiques nécessaires à la qualité éditoriale du contenu dans un
contexte de recommandation.
Gain de temps Efficacité éditorialeGain de performance Alignement transverse
16 Novembre 2017 18

19. La recommandation vidéo aujourd’hui
Un service de recommandation
sur univers web, web mobile,
application iOS et Android
Une expérience plus riche pour
les utilisateurs connectés avec
de la recommandation
transverse
Optimisation continue de la
recommandation
Des équipes mobilisées pour
valoriser le service auprès de
l’utilisateur final
16 Novembre 2017 19

20. Et maintenant,
à vous de tester la recommandation sur
16 Novembre 2017 20