PARTAGE D’ÉMOTIONS SUR LES RÉSEAUX
SOCIAUX
P R É S E N T É PA R :
M I N E R VA J A B B O U R
03/03/2016
Sous la direction de:
Dr. Béchara AlBouna
M. Leonardo Angellini
2
Minerva JABBOUR
Ingénieur- option: télécommunications et réseaux (5ᵉᵐᵉ année en
cours)-Université Antonine
03/03/2016
• Na...
Plan
03/03/2016
• Introduction: Partage d’émotions
– Motivation: Besoin à l’interaction naturelle
– Problème: Manque d’exp...
Introduction-Motivation
03/03/2016
• Les médias sociaux de plus en plus répandus de nos jours
– Il y a plus d’appareils co...
Introduction-Motivation
03/03/2016
• Retour à l’interaction naturelle
6
Introduction-Problématique
03/03/2016
• Les médias sociaux limitent le partage des émotions
– Émotion véhiculée par la con...
Introduction-Contribution
03/03/2016
• Retour à l’interaction naturelle
• On propose la reconnaissance de l’émotion de la ...
Introduction-Contribution
03/03/2016
Caméra Kinect
Suivi du
visage
Détection à
travers
ARAMIS
Détection par
la
comparaison...
État de l’art
03/03/2016 10
• Ekman et Friesen (1975) : les expressions faciales des
émotions de base (Joie, Colère, Peur,...
État de l’art
03/03/2016 11
• Lucey et al. : une extension de la base de données Cohn-
Kanade.
• Rosalind W. Picard : le c...
État de l’art
03/03/2016 12
Reconnaissance de l’expression faciale
03/03/2016
• Outils: Kinect pour Windows SDK permet la reconnaissance et le suivi
d...
Détection de l’émotion
03/03/2016
• Choix de quatre émotions:
Joie Tristesse Colère Surprise
14
Détection de l’émotion
03/03/2016
• Distinction de l’émotion de la personne en face de la Kinect
par un algorithme basé su...
Détection de l’émotion-Principe de l’algorithme
03/03/2016
• Les AUs relatives à
chaque émotion de
l’utilisateur sont
enre...
Détection de l’émotion-Principe de l’algorithme
03/03/2016
1. L’utilisateur doit d’abord s’authentifier pour pouvoir
récup...
Détection de l’émotion-Principe de l’algorithme
03/03/2016
4. Identification de l’émotion en prenant celle ayant la plus
p...
Détection de l’émotion
via ARAMIS
03/03/2016 19
Détection de l’émotion
via ARAMIS
03/03/2016 20
Détection de l’émotion
via ARAMIS
03/03/2016 21
Partage de l’émotion
03/03/2016
• Envoie de l’émotion détectée vers NAIF
Partage de
l'émotion par
NAIF
22
Comment partager l’émotion?
03/03/2016
Interface NAIF
23
03/03/2016
• Capture d’émotion
après avoir cliqué le
bouton Emotion
Tweet Now
24
Partage de l’émotion
03/03/2016
• Envoie de l’émotion
détectée vers le
serveur Twitter
25
Connexion entre la Kinect
et InterFace
03/03/2016
• Problème:
1) InterFace fonctionne sur
.NET 3.5
2) Kinect fonctionne su...
Partage de l’émotion
03/03/2016
• Vidéo
27
Discussion
03/03/2016
0
1
2
3
4
5
6
7
8
9
Minerva Cyril Marc Jad Hassan Nour
Joie
Tristesse
Colère
Surprise
28
Conclusion-Travaux futurs
03/03/2016
• Un système qui ajoute de la valeur aux réseaux sociaux en
réintroduisant le paralan...
Références
03/03/2016
1. Valeria Landivar. Réseaux sociaux. Disponible sur : http://journalmetro.com/opinions/reseaux-
soc...
Références
03/03/2016
7. Lucey, P.; Cohn, J.F.; Kanade, T.; Saragih, J.; Ambadar, Z.; Matthews, I., "The Extended
Cohn-Kan...
03/03/2016 32
Prochain SlideShare
Chargement dans…5
×

PresentationProjet-v3.2

211 vues

Publié le

  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

PresentationProjet-v3.2

  1. 1. PARTAGE D’ÉMOTIONS SUR LES RÉSEAUX SOCIAUX P R É S E N T É PA R : M I N E R VA J A B B O U R
  2. 2. 03/03/2016 Sous la direction de: Dr. Béchara AlBouna M. Leonardo Angellini 2
  3. 3. Minerva JABBOUR Ingénieur- option: télécommunications et réseaux (5ᵉᵐᵉ année en cours)-Université Antonine 03/03/2016 • Nationalité: Libanaise • Née le: 06.02.1992 • E-mail: minerva.jabbour@gmail.com • Tél: +96170637109 / +41767270309 3
  4. 4. Plan 03/03/2016 • Introduction: Partage d’émotions – Motivation: Besoin à l’interaction naturelle – Problème: Manque d’expression des émotions sur les médias sociaux – Contribution: Interface multimodale pour le partage d’émotions • Etat de l’art: Etudes et reconnaissance des émotions • Solution: Détection des émotions par la reconnaissance de l’expression faciale • Expérimentations: Algorithme de détection – Algorithme adapté à chaque personne – Algorithme généralisé via SVM • Discussion: Efficacité de l’algorithme prévu • Conclusion: Possibilité de travaux futurs 4
  5. 5. Introduction-Motivation 03/03/2016 • Les médias sociaux de plus en plus répandus de nos jours – Il y a plus d’appareils connectés à internet que de personnes sur la terre[1] – À chaque minute : 100,000 tweets sont envoyés[1] – Utilisateurs enregistrés Twitter : 517 millions[1] 5
  6. 6. Introduction-Motivation 03/03/2016 • Retour à l’interaction naturelle 6
  7. 7. Introduction-Problématique 03/03/2016 • Les médias sociaux limitent le partage des émotions – Émotion véhiculée par la construction sémantique de la phrase -> souvent ambiguë – Émotion explicitée à l’aide des émoticons -> interaction limitée à taper sur un clavier 7
  8. 8. Introduction-Contribution 03/03/2016 • Retour à l’interaction naturelle • On propose la reconnaissance de l’émotion de la personne par l’analyse de son expression faciale • L’émotion sera par la suite partagée sur les réseaux sociaux ou plus spécifiquement Twitter 8
  9. 9. Introduction-Contribution 03/03/2016 Caméra Kinect Suivi du visage Détection à travers ARAMIS Détection par la comparaison des AUs dans la BD Récupération de l'émotion Partage de l'émotion par NAIF 9
  10. 10. État de l’art 03/03/2016 10 • Ekman et Friesen (1975) : les expressions faciales des émotions de base (Joie, Colère, Peur, Surprise, Dégout, Tristesse) [4] • Busso et al. : trois systèmes différents basés sur l'audio, l'expression du visage et de l'information bimodale [5] • Shan et al. : la représentation du visage basé sur le modèle binaire locale des caractéristiques (LBP) pour la reconnaissance de l'expression du visage d’une personne indépendante [6]
  11. 11. État de l’art 03/03/2016 11 • Lucey et al. : une extension de la base de données Cohn- Kanade. • Rosalind W. Picard : le calcul affective est le « calcul qui concerne, découle ou influence les émotions délibérément » [8]
  12. 12. État de l’art 03/03/2016 12
  13. 13. Reconnaissance de l’expression faciale 03/03/2016 • Outils: Kinect pour Windows SDK permet la reconnaissance et le suivi du visage – Définis 6 Action Units (AUs) du FACS [3](Facial Action Coding System) pour l’identification des traits du visage[2] o AU0 - Upper Lip Raiser o AU1 - Jaw Lowerer o AU2 - Lip Stretcher o AU3 - Brow Lowerer o AU4 - Lip Corner Depressor o AU5 - Outer Brow Raiser 13
  14. 14. Détection de l’émotion 03/03/2016 • Choix de quatre émotions: Joie Tristesse Colère Surprise 14
  15. 15. Détection de l’émotion 03/03/2016 • Distinction de l’émotion de la personne en face de la Kinect par un algorithme basé sur les AUs du FACS • Envoie de l’émotion détectée vers NAIF 15
  16. 16. Détection de l’émotion-Principe de l’algorithme 03/03/2016 • Les AUs relatives à chaque émotion de l’utilisateur sont enregistrés dans une base de données 16
  17. 17. Détection de l’émotion-Principe de l’algorithme 03/03/2016 1. L’utilisateur doit d’abord s’authentifier pour pouvoir récupérer ses AUs de la base de données 2. Requête vers la base de données sélectionnant la moyenne des AUs par émotion de l’utilisateur 3. Comparaison entre les valeurs des AUs récupérées et les valeurs des AUs actuelles 17
  18. 18. Détection de l’émotion-Principe de l’algorithme 03/03/2016 4. Identification de l’émotion en prenant celle ayant la plus petite distance aux AUs actuels 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒 = 𝐴𝑈0 − 𝑑𝑏𝑎𝑢𝑠 0 2 + 𝐴𝑈1 − 𝑑𝑏𝑎𝑢𝑠 1 2 + 𝐴𝑈2 − 𝑑𝑏𝑎𝑢𝑠 2 2 + 𝐴𝑈3 − 𝑑𝑏𝑎𝑢𝑠 3 2 + 𝐴𝑈4 − 𝑑𝑏𝑎𝑢𝑠 4 2 + (𝐴𝑈5 −dbau[5])² 18
  19. 19. Détection de l’émotion via ARAMIS 03/03/2016 19
  20. 20. Détection de l’émotion via ARAMIS 03/03/2016 20
  21. 21. Détection de l’émotion via ARAMIS 03/03/2016 21
  22. 22. Partage de l’émotion 03/03/2016 • Envoie de l’émotion détectée vers NAIF Partage de l'émotion par NAIF 22
  23. 23. Comment partager l’émotion? 03/03/2016 Interface NAIF 23
  24. 24. 03/03/2016 • Capture d’émotion après avoir cliqué le bouton Emotion Tweet Now 24
  25. 25. Partage de l’émotion 03/03/2016 • Envoie de l’émotion détectée vers le serveur Twitter 25
  26. 26. Connexion entre la Kinect et InterFace 03/03/2016 • Problème: 1) InterFace fonctionne sur .NET 3.5 2) Kinect fonctionne sur .NET 4.5 seulement • Solution: Création d’un socket 26
  27. 27. Partage de l’émotion 03/03/2016 • Vidéo 27
  28. 28. Discussion 03/03/2016 0 1 2 3 4 5 6 7 8 9 Minerva Cyril Marc Jad Hassan Nour Joie Tristesse Colère Surprise 28
  29. 29. Conclusion-Travaux futurs 03/03/2016 • Un système qui ajoute de la valeur aux réseaux sociaux en réintroduisant le paralangage pour l’expression des émotions • Travaux futurs: – Partage de la photo de l’utilisateur – Intégration sur différents réseaux sociaux 29
  30. 30. Références 03/03/2016 1. Valeria Landivar. Réseaux sociaux. Disponible sur : http://journalmetro.com/opinions/reseaux- sociaux/300879/73-statistiques-et-faits-concernant-les-medias-sociaux/# (consulté le : 30/08/2013) 2. Microsoft Developer Network. Face Tracking. Disponible sur : http://msdn.microsoft.com/en- us/library/jj130970.aspx (consulté le : 30/07/2013) 3. Wikipedia. Facial Action Coding System. Disponible sur: http://en.wikipedia.org/wiki/Facial_Action_Coding_System (consulté le : 30/07/2013) 4. Paul Ekman Group. F.A.C.S. Disponible sur : http://www.paulekman.com/facs/ (consulté le : 9/8/2013) 5. Carlos Busso, Zhigang Deng, Serdar Yildirim, Murtaza Bulut, Chul Min Lee, Abe Kazemzadeh, Sungbok Lee, Ulrich Neumann, and Shrikanth Narayanan. 2004. Analysis of emotion recognition using facial expressions, speech and multimodal information. In Proceedings of the 6th international conference on Multimodal interfaces (ICMI '04). ACM, New York, NY, USA, 205-211. Disponible sur : http://doi.acm.org/10.1145/1027933.1027968 (consulté le : 15/8/2013) 6. Caifeng Shan, Shaogang Gong, Peter W. McOwan, Facial expression recognition based on Local Binary Patterns: A comprehensive study, Image and Vision Computing, Volume 27, Issue 6, 4 May 2009, Pages 803-816, ISSN 0262-8856. Disponible sur : http://www.sciencedirect.com/science/article/pii/S0262885608001844 (consulté le : 16/8/2013) 30
  31. 31. Références 03/03/2016 7. Lucey, P.; Cohn, J.F.; Kanade, T.; Saragih, J.; Ambadar, Z.; Matthews, I., "The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression," Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on , vol., no., pp.94,101, 13-18 June 2010. Disponible sur : http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5543262&isnumber=5 543135 (consulté le : 19/8/2013) 8. Lucey, P.; Cohn, J.F.; Kanade, T.; Saragih, J.; Ambadar, Z.; Matthews, I., "The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression," Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on , vol., no., pp.94,101, 13-18 June 2010. Disponible sur : http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5543262&isnumber=5 543135 (consulté le : 19/8/2013) 9. R. W. Picard. Affective Computing. The MIT Press, 1997 31
  32. 32. 03/03/2016 32

×