Talk on automatic topic annotation for videos using metadata (text & images). English content : https://medium.com/dailymotion/topic-annotation-automatic-algorithms-data-377079d27936

1. © 2018 Confidential
Comment extraire des topics à partir de vidéos ?
21/02/2019
Axel de Romblay

2. © 2018 Confidential
Introduction

3. © 2018 Confidential
Contexte
Dailymotion est une plateforme qui héberge des
millions de vidéos dans plus de 20 langages.
Nos projets au sein de l’équipe Data:
• La recommandation de vidéos et de sections
• La détection de fraude (bots)
• La caractérisation du contenu de nos vidéos

4. © 2018 Confidential
Identifier le sujet principal d’une vidéo
pour une meilleur recommandation et découverte du contenu
Objectif

5. © 2018 Confidential
Quels défis techniques pour une annotation pertinente ?
Pertinence/précision des topics
Ex : « 2018 FIFA World Cup » vs « Football »
Critères de
performance
Couverture du catalogue vidéo
On souhaiter tagguer le maximum de vidéos
avec au moins un topic.
Mise à jour rapide
Ex : « Juventus » pour une vidéo sur
CR vs « Real Madrid »
Multi-langues
Ex : FR, EN, Coréen, Turc, …

6. © 2018 Confidential
Présentation du pipeline

7. © 2018 Confidential
gilet de haute visibilité Mouvement des Gilets jaunes

8. © 2018 Confidential
• Signaux
• Knowledge graph
• Pipeline
Agenda

9. © 2018 Confidential
• Signaux
• Knowledge graph
• Pipeline
Agenda

10. © 2018 Confidential
Signaux
description
frames
audio
embed context co-watching

11. © 2018 Confidential
Signaux
description
frames
audio
embed context co-watching
Google Speech API
Très cher
Nécessite des
premières vues /
pas assez robuste
Disponible
immédiatement
Pas assez précis

12. © 2018 Confidential
• Signaux
• Knowledge graph
• Pipeline
Agenda

13. © 2018 Confidential
Knowledge Graph
Wikipedia: « pour les humains »

14. © 2018 Confidential
Knowledge Graph
Wikipedia: « pour les humains »

15. © 2018 Confidential
Wikidata: « pour les machines »
Knowledge Graph

16. © 2018 Confidential
Wikidata: « pour les machines »
Knowledge Graph
Une base de connaissance
open source
Collaborative et mise a jour
Toutes les semaines
Multi-lingues
Chaque entité de Wikidata est
identifiée par Qid unique.
Interconnectée
50M d’entitées
4k type de relations
160M de relations

17. © 2018 Confidential
• Signaux
• Knowledge graph
• Pipeline
Agenda

18. © 2018 Confidential
Pipeline
Gilet jaune
(Q1585082
)
Europe
(Q46)
Mouvement
des gilets
jaunes
(Q58805164)
CENTRAL
OFF
Vidéo Metadata Générateur
de topics Topics
candidats
TopicsFiltre
21 3

19. © 2018 Confidential
Pipeline 1 Détection du language et extraction de la
description
• Détection du langage :
Pour l’instant, on travaille essentiellement
sur les vidéos FR et EN.
• Extraction:
 Titre
 description
 tags

20. © 2018 Confidential
Pipeline 2 Générateurs de topics candidats
NEL (Named Entity Linking) : on map un ensemble
non ordonné de mots à des entités wikidata
• Preprocessing
• Désambigüisation: on map le mot avec la bonne entité Wikidata.
 La probabilité que le mot pointe vers l’entité wikidata (commonness)
 Le score d’adéquation entre le mot et l’entité wikidata en fonction des mots de la même phrase
Ex: le mot « gilet jaune » pointe-t-il vers l’entité wikidata « mouvement de gilets jaunes » OU vers « gilet de haute visibilité » ?
• Pruning: on garde les entités wikidata qui sont pertinentes
 La probabilité que le mot soit un lien Wikipedia
 La cohérence de l’entité wikidata au sein de la description
mot
Entités
wikidata

21. © 2018 Confidential
Disambiguation
description
Title: Interview d'une manifestante
"Gilet Jaune" - Appel au Hold-Up sur
les Européennes
Desc: Marie-Rose (de Cleebourg)
s'exprime sur le marché de Noêl de
Haguenau en lançant un appel au
"Hold-Up sur les Européennes".
Gilet Jaune
58805164
Mouvement de gilets jaunes
Appel
Q3000944
Cour d’appel
Hold-up
Q5711091
Attaque à main armée
Européennes
Q46
Europe
…
Topics
candidats
2 Générateurs de topics candidats

22. © 2018 Confidential
Pipeline 3 Sélection de topics (centraux)
Feature engineering: on quantifie chacun des topics candidats
Match
(occurrence
, position,
…)
Cohérence
avec la
chaine
Popularité
du topic
Cohérence
avec les
autres topics
candidats
Q3000944
Cour d’appel
Q5711091
Attaque à main
armée
Q46
Europe
Q58805164
Mouvement de gilets jaunes

23. © 2018 Confidential
Pipeline 3 Sélection de topics (centraux)
Apprentissage supervisé: on set un seuil de précision de nos topics
et on fit un modèle de classification (central/off) sur une base
annotée.
Q58805164
Mouvement de gilets jaunes
Training Set
8k vidéos annotées par
des humains
Topics candidats
Features
Machine Learning

24. © 2018 Confidential
Pipeline
Gilet Jaune
Appel
Hold-up
Européennes
description
Q3000944
Cour d’appel
Q5711091
Attaque à main
armée
Q46
Europe
…
topic(s)
centraux
Vidéo associée au
topic:
« Mouvement de
gilets jaunes »
58805164
Mouvement de gilets jaunes

25. © 2018 Confidential
gilet de haute visibilité Mouvement des Gilets jaunes

26. © 2018 Confidential
Pistes futures

27. © 2018 Confidential
Catégorisation de
topics
Mouvement de
Gilets Jaunes
(Q58805164)
France (Q142) Société (Q8425)
Comportement (Q9332)
Niveau 1
Niveau 2
Niveau 3
Mouvement social (Q49773)

28. © 2018 Confidential
Catégorisation de
vidéos
Mouvement de
Gilets Jaunes
(Q58805164)
France (Q142) Société (Q8425)
Comportement (Q9332)
Niveau 1
Niveau 2
Niveau 3
Mouvement social (Q49773)

29. © 2018 Confidential
Team
Silèye Ba
Senior data scientist
Silèye Ba
Senior data scientist
Axel de Romblay
Data scientist
Sharone Dayan
Data scientist
GermainTanguy
Senior Data Engineer
François Milhem
Data Engineer
Alexandre Cormerais
Data Analyst
Damien Bazard
Squad Master
email: axel.deromblay@dailymotion
Medium: https://medium.com/dailymotion/topic-annotation-
automatic-algorithms-data-377079d27936

30. © 2018 Confidential
Merci ! Questions ?