SlideShare une entreprise Scribd logo
1  sur  28
Télécharger pour lire hors ligne
PLDAC
2018-2019
Classification d’albums musicaux à partir de traces de diffusion
spatio temporelle
Réalisé par : Encadrant :
Abdelraouf KESKES Sylvain LAMPRIER
Tony GOSSE-DUMESNIL
Sommaire
● Etat de l’art
● Analyse des données
● Protocole expérimental
● Discussion des résultats
● Problèmes et difficultés
● Conclusion
Deezer et la data science
Lancé en 2007 par Daniel Marhely et Jonathan Benassaya
● Clustering des utilisateurs
● Détections d’émotions
● Extraction d’instruments
● Systèmes de recommandations
● Business intelligence et KPI
Etat de l’art
Le machine learning au sein de la musique !
● Détection de tempo, pulsation, tonalité ...
● Identification de l’artiste
● Reconnaissance des instruments
● Classification d’humeur, sentiments
● Génération de musique (GAN’s)
Etat de l’art
Apprentissage avec des données spatio-temporelles
● Météorologie: Prédiction de la vitesse du vent, de la température
● Route: Prédiction de la circulation routière
● etc…
RNN => prédiction de séquences STNN => RNN + Aspect spatial
Etat de l’art
Classification à partir de données audio
- +70% de précision avec 15 genres
- Précision humaine !
Etat de l’art
Les données (1)
Analyse des données
Analyse des données
Quelques chiffres . . .
● 1557 albums dont 1543 étiquetés
● 2 348 509 traces de diffusions
● 2683 villes internationales majoritairement françaises
● 51 genres musicaux
● 48% des données viennent de Paris
● 39% des auditeurs sont des jeunes de 18 à 24 ans
● 358 jours de données de diffusion au maximum pour un album et 60 jours au
minimum
● 351 390 valeurs manquantes dans la colonne âge
Analyse des données
Statistiques sur les genres
musicaux
● Unbalanced data
● Le genre “Rap/Hip-Hop” prédomine
le dataset
● Certains genres ont très peu
d’albums voire même un seul
Analyse des données
Statistiques sur la population
Analyse des données
Statistiques sur les villes
Protocole expérimental
Données après
preprocessing
785956 traces de diffusion au total ...
Labels
X un tenseur
Xi représente un
album de taille
(nbsteps,2683)
Y est de taille
(nombre albums
, 27 genres)
dataset
Protocole expérimental
Visualisation
en agrégeant chaque album avec un nbSteps=1 on obtient un vecteur de dimension (1,2683 ) …
PCA TSNE
Protocole expérimental
Métriques d’évaluations basées sur les labels
● Precision
● Recall
● F1-measure
● AvgP
● MAP
Protocole expérimental
Métriques d’évaluations basé sur les
exemples
● Hamming score
● Exact Match Ratio
● Soft accuracy
● Confusion Matrix ( One vs All )
Protocole expérimental
Réseau de neurones Fully Connected
Architecture :
● Couche d’entrée: nbSteps x 2683 => ReLu
● Couche cachée: nbSteps x 100 => ReLu
● Sortie: 27 => Sigmoid => (Threshold = 0.2)
=> Résultat final : Y =
Paramètres :
● batch size : 20
● Learning rate : 0.001
● Loss Function : BCE
● Epochs : 50
0 1 0 . . . . . 1
Protocole expérimental
Split (Train 80 % | Test 20%) nbSteps=1
Label-Based
Metric
result Example-Based
metric
result
MAP 0.34 Soft Accuracy 0.53
Précision
(Macro)
0.44 Hamming Score 0.43
Recall
(Macro)
0.24 Exact Match 0.28
F1(Macro) 0.27 Hamming Loss 0.06
Problème de “unbalanced data”
● Suppression de données (under sampling)
● Réplication de données (over sampling)
Protocole expérimental
● pondération inverse proportionnelle à la distribution des classes
(Examples,Loss function, … )
Exploration de l’aspect temporel dans la classification
Protocole expérimental
Exemple de diffusion d’un album à
travers le temps La valeur MAP en augmentant le
nbStep (temps)
Exploration de l’aspect temporel (2)
Protocole expérimental
Precision Recall F1-measure
Exploration de l’aspect temporel (3)
Protocole expérimental
Exact Match
Ratio
Hamming
Score
Soft Accuracy
Threshold Tuning
varier le paramètre threshold de 0 à 1 avec un saut de 0.1
Protocole expérimental
Precision Recall F1-measure
Protocole expérimental
Threshold Tuning (2)
Exact Match
Ratio
Hamming
Score
Récapitulatif des résultats
Protocole expérimental
Label-Based Metric résultat Example-Based metric résultat
MAP 0.68 (+0.34) Soft Accuracy 0.59 (+0.06)
Precision(Macro) 0.72 (+0.34) Hamming Score 0.53 (+0.1)
Recall(Macro) 0.66 (+0.42) Exact Match 0.47 (+0.19)
F1(Macro) 0.68 (+0.41) Hamming Loss 0.03 (-0.03)
● Meilleur compromis => nbSteps=28 , Threshold=0.3
● Matrices de confusion nettement améliorées avec moins de FP , FN .
Réseau de neurones convolutif
Protocole expérimental
⇒ Pas d’amélioration . . .
PROBLEME DE DE DEBORDEMENT MEMOIRE ?
● Passage DataFrame => Matrice X
● Représentation de la matrice X
Solutions:
● Ne pas utiliser les fonctions prédéfinies qui créent des copies
● Typage des données ( 64 bits => 16bits )
● Utiliser les représentations sparses
● Transformer le DataFrames en dictionnaire pour faciliter les agrégations
● Supprimer les variables inutiles et lancer le “Garbage collector” entre bouts de
code
Problèmes et difficultés
Conclusion
Les traces spatio-temporelles sont des données moins lourdes que les fichiers
audio , images haute résolution , …
Elles peuvent donner des résultats impressionnants dans plusieurs domaines ou
tâches .
Améliorations futures:
● Résoudre le problème de mémoire pour traiter le cas nbSteps=358
● Utilisation de RNN et ses variantes LSTM, GRU… et essayer de l’adapter à
notre problème
Conclusion et améliorations futures
Merci de nous avoir écouté
avez vous des questions ?

Contenu connexe

En vedette

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by HubspotMarius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTExpeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 

En vedette (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

Multi Label Deezer Streaming Classification

  • 1. PLDAC 2018-2019 Classification d’albums musicaux à partir de traces de diffusion spatio temporelle Réalisé par : Encadrant : Abdelraouf KESKES Sylvain LAMPRIER Tony GOSSE-DUMESNIL
  • 2. Sommaire ● Etat de l’art ● Analyse des données ● Protocole expérimental ● Discussion des résultats ● Problèmes et difficultés ● Conclusion
  • 3. Deezer et la data science Lancé en 2007 par Daniel Marhely et Jonathan Benassaya ● Clustering des utilisateurs ● Détections d’émotions ● Extraction d’instruments ● Systèmes de recommandations ● Business intelligence et KPI Etat de l’art
  • 4. Le machine learning au sein de la musique ! ● Détection de tempo, pulsation, tonalité ... ● Identification de l’artiste ● Reconnaissance des instruments ● Classification d’humeur, sentiments ● Génération de musique (GAN’s) Etat de l’art
  • 5. Apprentissage avec des données spatio-temporelles ● Météorologie: Prédiction de la vitesse du vent, de la température ● Route: Prédiction de la circulation routière ● etc… RNN => prédiction de séquences STNN => RNN + Aspect spatial Etat de l’art
  • 6. Classification à partir de données audio - +70% de précision avec 15 genres - Précision humaine ! Etat de l’art
  • 8. Analyse des données Quelques chiffres . . . ● 1557 albums dont 1543 étiquetés ● 2 348 509 traces de diffusions ● 2683 villes internationales majoritairement françaises ● 51 genres musicaux ● 48% des données viennent de Paris ● 39% des auditeurs sont des jeunes de 18 à 24 ans ● 358 jours de données de diffusion au maximum pour un album et 60 jours au minimum ● 351 390 valeurs manquantes dans la colonne âge
  • 9. Analyse des données Statistiques sur les genres musicaux ● Unbalanced data ● Le genre “Rap/Hip-Hop” prédomine le dataset ● Certains genres ont très peu d’albums voire même un seul
  • 12. Protocole expérimental Données après preprocessing 785956 traces de diffusion au total ... Labels X un tenseur Xi représente un album de taille (nbsteps,2683) Y est de taille (nombre albums , 27 genres) dataset
  • 13. Protocole expérimental Visualisation en agrégeant chaque album avec un nbSteps=1 on obtient un vecteur de dimension (1,2683 ) … PCA TSNE
  • 14. Protocole expérimental Métriques d’évaluations basées sur les labels ● Precision ● Recall ● F1-measure ● AvgP ● MAP
  • 15. Protocole expérimental Métriques d’évaluations basé sur les exemples ● Hamming score ● Exact Match Ratio ● Soft accuracy ● Confusion Matrix ( One vs All )
  • 16. Protocole expérimental Réseau de neurones Fully Connected Architecture : ● Couche d’entrée: nbSteps x 2683 => ReLu ● Couche cachée: nbSteps x 100 => ReLu ● Sortie: 27 => Sigmoid => (Threshold = 0.2) => Résultat final : Y = Paramètres : ● batch size : 20 ● Learning rate : 0.001 ● Loss Function : BCE ● Epochs : 50 0 1 0 . . . . . 1
  • 17. Protocole expérimental Split (Train 80 % | Test 20%) nbSteps=1 Label-Based Metric result Example-Based metric result MAP 0.34 Soft Accuracy 0.53 Précision (Macro) 0.44 Hamming Score 0.43 Recall (Macro) 0.24 Exact Match 0.28 F1(Macro) 0.27 Hamming Loss 0.06
  • 18. Problème de “unbalanced data” ● Suppression de données (under sampling) ● Réplication de données (over sampling) Protocole expérimental ● pondération inverse proportionnelle à la distribution des classes (Examples,Loss function, … )
  • 19. Exploration de l’aspect temporel dans la classification Protocole expérimental Exemple de diffusion d’un album à travers le temps La valeur MAP en augmentant le nbStep (temps)
  • 20. Exploration de l’aspect temporel (2) Protocole expérimental Precision Recall F1-measure
  • 21. Exploration de l’aspect temporel (3) Protocole expérimental Exact Match Ratio Hamming Score Soft Accuracy
  • 22. Threshold Tuning varier le paramètre threshold de 0 à 1 avec un saut de 0.1 Protocole expérimental Precision Recall F1-measure
  • 23. Protocole expérimental Threshold Tuning (2) Exact Match Ratio Hamming Score
  • 24. Récapitulatif des résultats Protocole expérimental Label-Based Metric résultat Example-Based metric résultat MAP 0.68 (+0.34) Soft Accuracy 0.59 (+0.06) Precision(Macro) 0.72 (+0.34) Hamming Score 0.53 (+0.1) Recall(Macro) 0.66 (+0.42) Exact Match 0.47 (+0.19) F1(Macro) 0.68 (+0.41) Hamming Loss 0.03 (-0.03) ● Meilleur compromis => nbSteps=28 , Threshold=0.3 ● Matrices de confusion nettement améliorées avec moins de FP , FN .
  • 25. Réseau de neurones convolutif Protocole expérimental ⇒ Pas d’amélioration . . .
  • 26. PROBLEME DE DE DEBORDEMENT MEMOIRE ? ● Passage DataFrame => Matrice X ● Représentation de la matrice X Solutions: ● Ne pas utiliser les fonctions prédéfinies qui créent des copies ● Typage des données ( 64 bits => 16bits ) ● Utiliser les représentations sparses ● Transformer le DataFrames en dictionnaire pour faciliter les agrégations ● Supprimer les variables inutiles et lancer le “Garbage collector” entre bouts de code Problèmes et difficultés
  • 27. Conclusion Les traces spatio-temporelles sont des données moins lourdes que les fichiers audio , images haute résolution , … Elles peuvent donner des résultats impressionnants dans plusieurs domaines ou tâches . Améliorations futures: ● Résoudre le problème de mémoire pour traiter le cas nbSteps=358 ● Utilisation de RNN et ses variantes LSTM, GRU… et essayer de l’adapter à notre problème Conclusion et améliorations futures
  • 28. Merci de nous avoir écouté avez vous des questions ?