PARTAGE D’ÉMOTIONS SUR LES RÉSEAUX
SOCIAUX
P R É S E N T É PA R :
M I N E R VA J A B B O U R
03/03/2016
Sous la direction de:
Dr. Béchara AlBouna
M. Leonardo Angellini
2
Minerva JABBOUR
Ingénieur- option: télécommunications et réseaux (5ᵉᵐᵉ année en
cours)-Université Antonine
03/03/2016
• Na...
Plan
03/03/2016
• Introduction: Partage d’émotions
– Motivation: Besoin à l’interaction naturelle
– Problème: Manque d’exp...
Introduction-Motivation
03/03/2016
• Les médias sociaux de plus en plus répandus de nos jours
– Il y a plus d’appareils co...
Introduction-Motivation
03/03/2016
• Retour à l’interaction naturelle
6
Introduction-Problématique
03/03/2016
• Les médias sociaux limitent le partage des émotions
– Émotion véhiculée par la con...
Introduction-Contribution
03/03/2016
• Retour à l’interaction naturelle
• On propose la reconnaissance de l’émotion de la ...
Introduction-Contribution
03/03/2016
Caméra Kinect
Suivi du
visage
Détection à
travers
ARAMIS
Détection par
la
comparaison...
État de l’art
03/03/2016 10
• Ekman et Friesen (1975) : les expressions faciales des
émotions de base (Joie, Colère, Peur,...
État de l’art
03/03/2016 11
• Lucey et al. : une extension de la base de données Cohn-
Kanade.
• Rosalind W. Picard : le c...
État de l’art
03/03/2016 12
Reconnaissance de l’expression faciale
03/03/2016
• Outils: Kinect pour Windows SDK permet la reconnaissance et le suivi
d...
Détection de l’émotion
03/03/2016
• Choix de quatre émotions:
Joie Tristesse Colère Surprise
14
Détection de l’émotion
03/03/2016
• Distinction de l’émotion de la personne en face de la Kinect
par un algorithme basé su...
Détection de l’émotion-Principe de l’algorithme
03/03/2016
• Les AUs relatives à
chaque émotion de
l’utilisateur sont
enre...
Détection de l’émotion-Principe de l’algorithme
03/03/2016
1. L’utilisateur doit d’abord s’authentifier pour pouvoir
récup...
Détection de l’émotion-Principe de l’algorithme
03/03/2016
4. Identification de l’émotion en prenant celle ayant la plus
p...
Détection de l’émotion
via ARAMIS
03/03/2016 19
Détection de l’émotion
via ARAMIS
03/03/2016 20
Détection de l’émotion
via ARAMIS
03/03/2016 21
Partage de l’émotion
03/03/2016
• Envoie de l’émotion détectée vers NAIF
Partage de
l'émotion par
NAIF
22
Comment partager l’émotion?
03/03/2016
Interface NAIF
23
03/03/2016
• Capture d’émotion
après avoir cliqué le
bouton Emotion
Tweet Now
24
Partage de l’émotion
03/03/2016
• Envoie de l’émotion
détectée vers le
serveur Twitter
25
Connexion entre la Kinect
et InterFace
03/03/2016
• Problème:
1) InterFace fonctionne sur
.NET 3.5
2) Kinect fonctionne su...
Partage de l’émotion
03/03/2016
• Vidéo
27
Discussion
03/03/2016
0
1
2
3
4
5
6
7
8
9
Minerva Cyril Marc Jad Hassan Nour
Joie
Tristesse
Colère
Surprise
28
Conclusion-Travaux futurs
03/03/2016
• Un système qui ajoute de la valeur aux réseaux sociaux en
réintroduisant le paralan...
Références
03/03/2016
1. Valeria Landivar. Réseaux sociaux. Disponible sur : http://journalmetro.com/opinions/reseaux-
soc...
Références
03/03/2016
7. Lucey, P.; Cohn, J.F.; Kanade, T.; Saragih, J.; Ambadar, Z.; Matthews, I., "The Extended
Cohn-Kan...
03/03/2016 32
Prochain SlideShare
Chargement dans…5
×

PresentationProjet-v3.2

99 vues

Publié le

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
99
Sur SlideShare
0
Issues des intégrations
0
Intégrations
5
Actions
Partages
0
Téléchargements
2
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • La base de données d'expression du visage Cohn-Kanade AU-Coded est pour la recherche dans l'analyse de l'image du visage automatique et de synthèse et des études de perception [12].
    Ils analysent les unités d’actions ou UA groupées par émotion, se basant sur le système FACS de Paul Ekman et employant une classification par les SVM
  • La base de données d'expression du visage Cohn-Kanade AU-Coded est pour la recherche dans l'analyse de l'image du visage automatique et de synthèse et des études de perception [12].
    Ils analysent les unités d’actions ou UA groupées par émotion, se basant sur le système FACS de Paul Ekman et employant une classification par les SVM
  • Scenario: un employé qui a eu un bonus aujourd’hui dans son travail et il veut poster un “tweet” sur ceci
  • PresentationProjet-v3.2

    1. 1. PARTAGE D’ÉMOTIONS SUR LES RÉSEAUX SOCIAUX P R É S E N T É PA R : M I N E R VA J A B B O U R
    2. 2. 03/03/2016 Sous la direction de: Dr. Béchara AlBouna M. Leonardo Angellini 2
    3. 3. Minerva JABBOUR Ingénieur- option: télécommunications et réseaux (5ᵉᵐᵉ année en cours)-Université Antonine 03/03/2016 • Nationalité: Libanaise • Née le: 06.02.1992 • E-mail: minerva.jabbour@gmail.com • Tél: +96170637109 / +41767270309 3
    4. 4. Plan 03/03/2016 • Introduction: Partage d’émotions – Motivation: Besoin à l’interaction naturelle – Problème: Manque d’expression des émotions sur les médias sociaux – Contribution: Interface multimodale pour le partage d’émotions • Etat de l’art: Etudes et reconnaissance des émotions • Solution: Détection des émotions par la reconnaissance de l’expression faciale • Expérimentations: Algorithme de détection – Algorithme adapté à chaque personne – Algorithme généralisé via SVM • Discussion: Efficacité de l’algorithme prévu • Conclusion: Possibilité de travaux futurs 4
    5. 5. Introduction-Motivation 03/03/2016 • Les médias sociaux de plus en plus répandus de nos jours – Il y a plus d’appareils connectés à internet que de personnes sur la terre[1] – À chaque minute : 100,000 tweets sont envoyés[1] – Utilisateurs enregistrés Twitter : 517 millions[1] 5
    6. 6. Introduction-Motivation 03/03/2016 • Retour à l’interaction naturelle 6
    7. 7. Introduction-Problématique 03/03/2016 • Les médias sociaux limitent le partage des émotions – Émotion véhiculée par la construction sémantique de la phrase -> souvent ambiguë – Émotion explicitée à l’aide des émoticons -> interaction limitée à taper sur un clavier 7
    8. 8. Introduction-Contribution 03/03/2016 • Retour à l’interaction naturelle • On propose la reconnaissance de l’émotion de la personne par l’analyse de son expression faciale • L’émotion sera par la suite partagée sur les réseaux sociaux ou plus spécifiquement Twitter 8
    9. 9. Introduction-Contribution 03/03/2016 Caméra Kinect Suivi du visage Détection à travers ARAMIS Détection par la comparaison des AUs dans la BD Récupération de l'émotion Partage de l'émotion par NAIF 9
    10. 10. État de l’art 03/03/2016 10 • Ekman et Friesen (1975) : les expressions faciales des émotions de base (Joie, Colère, Peur, Surprise, Dégout, Tristesse) [4] • Busso et al. : trois systèmes différents basés sur l'audio, l'expression du visage et de l'information bimodale [5] • Shan et al. : la représentation du visage basé sur le modèle binaire locale des caractéristiques (LBP) pour la reconnaissance de l'expression du visage d’une personne indépendante [6]
    11. 11. État de l’art 03/03/2016 11 • Lucey et al. : une extension de la base de données Cohn- Kanade. • Rosalind W. Picard : le calcul affective est le « calcul qui concerne, découle ou influence les émotions délibérément » [8]
    12. 12. État de l’art 03/03/2016 12
    13. 13. Reconnaissance de l’expression faciale 03/03/2016 • Outils: Kinect pour Windows SDK permet la reconnaissance et le suivi du visage – Définis 6 Action Units (AUs) du FACS [3](Facial Action Coding System) pour l’identification des traits du visage[2] o AU0 - Upper Lip Raiser o AU1 - Jaw Lowerer o AU2 - Lip Stretcher o AU3 - Brow Lowerer o AU4 - Lip Corner Depressor o AU5 - Outer Brow Raiser 13
    14. 14. Détection de l’émotion 03/03/2016 • Choix de quatre émotions: Joie Tristesse Colère Surprise 14
    15. 15. Détection de l’émotion 03/03/2016 • Distinction de l’émotion de la personne en face de la Kinect par un algorithme basé sur les AUs du FACS • Envoie de l’émotion détectée vers NAIF 15
    16. 16. Détection de l’émotion-Principe de l’algorithme 03/03/2016 • Les AUs relatives à chaque émotion de l’utilisateur sont enregistrés dans une base de données 16
    17. 17. Détection de l’émotion-Principe de l’algorithme 03/03/2016 1. L’utilisateur doit d’abord s’authentifier pour pouvoir récupérer ses AUs de la base de données 2. Requête vers la base de données sélectionnant la moyenne des AUs par émotion de l’utilisateur 3. Comparaison entre les valeurs des AUs récupérées et les valeurs des AUs actuelles 17
    18. 18. Détection de l’émotion-Principe de l’algorithme 03/03/2016 4. Identification de l’émotion en prenant celle ayant la plus petite distance aux AUs actuels 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒 = 𝐴𝑈0 − 𝑑𝑏𝑎𝑢𝑠 0 2 + 𝐴𝑈1 − 𝑑𝑏𝑎𝑢𝑠 1 2 + 𝐴𝑈2 − 𝑑𝑏𝑎𝑢𝑠 2 2 + 𝐴𝑈3 − 𝑑𝑏𝑎𝑢𝑠 3 2 + 𝐴𝑈4 − 𝑑𝑏𝑎𝑢𝑠 4 2 + (𝐴𝑈5 −dbau[5])² 18
    19. 19. Détection de l’émotion via ARAMIS 03/03/2016 19
    20. 20. Détection de l’émotion via ARAMIS 03/03/2016 20
    21. 21. Détection de l’émotion via ARAMIS 03/03/2016 21
    22. 22. Partage de l’émotion 03/03/2016 • Envoie de l’émotion détectée vers NAIF Partage de l'émotion par NAIF 22
    23. 23. Comment partager l’émotion? 03/03/2016 Interface NAIF 23
    24. 24. 03/03/2016 • Capture d’émotion après avoir cliqué le bouton Emotion Tweet Now 24
    25. 25. Partage de l’émotion 03/03/2016 • Envoie de l’émotion détectée vers le serveur Twitter 25
    26. 26. Connexion entre la Kinect et InterFace 03/03/2016 • Problème: 1) InterFace fonctionne sur .NET 3.5 2) Kinect fonctionne sur .NET 4.5 seulement • Solution: Création d’un socket 26
    27. 27. Partage de l’émotion 03/03/2016 • Vidéo 27
    28. 28. Discussion 03/03/2016 0 1 2 3 4 5 6 7 8 9 Minerva Cyril Marc Jad Hassan Nour Joie Tristesse Colère Surprise 28
    29. 29. Conclusion-Travaux futurs 03/03/2016 • Un système qui ajoute de la valeur aux réseaux sociaux en réintroduisant le paralangage pour l’expression des émotions • Travaux futurs: – Partage de la photo de l’utilisateur – Intégration sur différents réseaux sociaux 29
    30. 30. Références 03/03/2016 1. Valeria Landivar. Réseaux sociaux. Disponible sur : http://journalmetro.com/opinions/reseaux- sociaux/300879/73-statistiques-et-faits-concernant-les-medias-sociaux/# (consulté le : 30/08/2013) 2. Microsoft Developer Network. Face Tracking. Disponible sur : http://msdn.microsoft.com/en- us/library/jj130970.aspx (consulté le : 30/07/2013) 3. Wikipedia. Facial Action Coding System. Disponible sur: http://en.wikipedia.org/wiki/Facial_Action_Coding_System (consulté le : 30/07/2013) 4. Paul Ekman Group. F.A.C.S. Disponible sur : http://www.paulekman.com/facs/ (consulté le : 9/8/2013) 5. Carlos Busso, Zhigang Deng, Serdar Yildirim, Murtaza Bulut, Chul Min Lee, Abe Kazemzadeh, Sungbok Lee, Ulrich Neumann, and Shrikanth Narayanan. 2004. Analysis of emotion recognition using facial expressions, speech and multimodal information. In Proceedings of the 6th international conference on Multimodal interfaces (ICMI '04). ACM, New York, NY, USA, 205-211. Disponible sur : http://doi.acm.org/10.1145/1027933.1027968 (consulté le : 15/8/2013) 6. Caifeng Shan, Shaogang Gong, Peter W. McOwan, Facial expression recognition based on Local Binary Patterns: A comprehensive study, Image and Vision Computing, Volume 27, Issue 6, 4 May 2009, Pages 803-816, ISSN 0262-8856. Disponible sur : http://www.sciencedirect.com/science/article/pii/S0262885608001844 (consulté le : 16/8/2013) 30
    31. 31. Références 03/03/2016 7. Lucey, P.; Cohn, J.F.; Kanade, T.; Saragih, J.; Ambadar, Z.; Matthews, I., "The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression," Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on , vol., no., pp.94,101, 13-18 June 2010. Disponible sur : http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5543262&isnumber=5 543135 (consulté le : 19/8/2013) 8. Lucey, P.; Cohn, J.F.; Kanade, T.; Saragih, J.; Ambadar, Z.; Matthews, I., "The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression," Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on , vol., no., pp.94,101, 13-18 June 2010. Disponible sur : http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5543262&isnumber=5 543135 (consulté le : 19/8/2013) 9. R. W. Picard. Affective Computing. The MIT Press, 1997 31
    32. 32. 03/03/2016 32

    ×