Opinion MiningEtat de l’art et exemples d’applications                   Documation / MIS 22 mars 2012                  do...
> Qui sommes nous ?Une société spécialisée sur l’analyse des données textuelles   Transformer une information non structur...
e-Réputation: un enjeu incontournableSelon plusieurs études concordantes, en gros:Les 3/4 des français sont des internaute...
Opinion mininget sentiment analysisMéthodes et outils   Dominique Boullier   et Audrey Lohard
Opinion Mininget Sentiment Analysis  Dominique Boullier  Et Audrey Lohard
Les SHS Sciences Humaines etSociales et l’opinion mining Traditions    quantitatives: questionnaires et de sondages    qua...
Un état de l’art académique Sources:   TAL (NLP)   Linguistique de corpus Text mining (Fouille de texte) Opinion mining (s...
Les Défis Fouille de Textes (DEFT)  2005 : identification du locuteur dun discours.  2006 : segmentation thématique de tex...
État de l’art commercial Prérequis avant toute analyse de tonalité   Sourcing (mots-clés ou bouquets)     L’actuelle ruée ...
Sourcing et influence Risques   niveler tous les verbatims   attribuer a priori un poids plus grand à   certains émetteurs...
Rôle des experts Connaissance du domaine toujours requise   Pour le sourcing   Pour la structure de traitement de la   bas...
Ce que l’on mesure en analyse detonalité n’est pas assez distingué  Avis  Jugement  Évaluation  Sentiment  Goût  Récits d’...
Méthodes Détection de phrases subjectives Dictionnaires de mots Niveau de l’analyse:   n-grams vs document   en fait le ni...
Utilité et limites  E-reputation? Oui mais sans la stratégie et  au-delà pour la relation client  Limites  Non traitement ...
Des exemples de réalisation  Basés sur la plateforme  LINGWAY e-Reputation                 16
Liste de sourceswww.xxx.com…                                                                             Pages et         ...
Analyse du contenu: exemple sur un forum
Contenu analysé, structuré automatiquement
Exemple: suivi de médicaments                      20
Exemple: Que se dit-il sur les médicaments dans les blogs etforums ?                                      21
Thèmes + et – associés aux benzodiazépines                         22
Verbatims négatifs autour de l’angoisse« angoisse » est un élément du lexique marqué comme« Négatif »                23
Verbatims positifs autour de l’angoisseInversion de la tonalité: Exemples :   La négation   Certains verbes à tonalité pos...
Les différents types d’extractionLes Entités nommées   Entités nommées standard    •   Noms de personnes, de sociétés, de ...
Extraction d’entités nommées standardSur la base de  Lexiques de prénoms, noms de villes, régions, pays, sociétés  Règles ...
Extraction de thèmes puis de la tonalitéEn français                           27
Types de tonalités dans les lexiquesTypes de tonalité utilisésdans les lexiques                         Type de    Exemple...
Importance de l’Analyse linguistiqueImportance analyse morpho-syntaxique : la tonalitéd’un mot peu dépendre de sa catégori...
Analyse de la tonalité : Exemples FRTexte avec séquences analysées comme négativesTexte avec séquences analysées comme pos...
L’analyse lnguistique de la phraseUne phrase comprend souvent plusieurs opinions qu’il fautsavoir identifier              ...
Analyse de la tonalité : cas simples                         32
Analyse de la tonalité : cas simples     Négatif         Exemples en français         Exemples en anglais         Exemples...
Impact des intensifieurs (FR)  Les intensifieurs permettent de révéler la tonalité  d’un mot ambigu positif comme « rentab...
Impact des intensifieurs(EN)  L’intensifieur « increase » révèle la tonalité positive  de « benefit » séquence neutreséque...
L’inversion de tonalitéNégation de verbes (ne pas, ne plus, …)Négations de noms (aucun, pas de, zéro)                     ...
L’inversion de tonalitéVerbes négatifs inversant la tonalité de leurscompléments et/ou sujet                              ...
L’inversion de tonalitéImpact des « modérateurs »                             38
Exemples avec plusieurs inversionsVerbe modérateur à la forme négativeDouble négation de verbe                            ...
En conclusionLes technologies duTAL sontindispensables2 cas d’utilisationSans révision   Même si l’analyse   automatique n...
Quelques casConstructeur automobile   Suivi des critiques de la marque, community managementMarques de grandes consommatio...
MERCI…bernard.normier@lingway.comdominique.boullier@sciences-po.fr                        42
Présentation Lingway
Prochain SlideShare
Chargement dans…5
×

Présentation Lingway

575 vues

Publié le

Présentation Lingway au salon MIS 2012

Publié dans : Technologie
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
575
Sur SlideShare
0
Issues des intégrations
0
Intégrations
4
Actions
Partages
0
Téléchargements
5
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Présentation Lingway

  1. 1. Opinion MiningEtat de l’art et exemples d’applications Documation / MIS 22 mars 2012 dominique.boullier@sciences-po.fr bernard.normier@lingway.comwww.lingway.com
  2. 2. > Qui sommes nous ?Une société spécialisée sur l’analyse des données textuelles Transformer une information non structurée en données utilisables par des logiciels Une centaine de clients dans différents domaines Une offre e-Reputation lancée il y a un peu plus d’un anUn laboratoire de Sciences-PO Spécialiste de la sociologie des nouveaux médias Ouvrage de Dominique Boullier et Audrey Lohard « opinion mining »Le projet iPinion 2010-2011 Avec Sciences-PO MEDIALAB et PIKKO Projet CAP DIGITAL, financement Ministère de l’ Industrie 2
  3. 3. e-Réputation: un enjeu incontournableSelon plusieurs études concordantes, en gros:Les 3/4 des français sont des internautesLes 3/4 des internautes consultent Internet avant d’acheter unproduitLa moitié des internautes consultent les avis des autres avantde choisir un produitL’analyse des opinions est au cœur de la e-réputation 3
  4. 4. Opinion mininget sentiment analysisMéthodes et outils Dominique Boullier et Audrey Lohard
  5. 5. Opinion Mininget Sentiment Analysis Dominique Boullier Et Audrey Lohard
  6. 6. Les SHS Sciences Humaines etSociales et l’opinion mining Traditions quantitatives: questionnaires et de sondages qualitatives: entretiens = des opinions provoquées et attribuées à des auteurs aux propriétés socio-démographiques prédéfinies Web des opinions spontanées dans une conversation sans auteur à identité fiable Mais des opinions quantifiables en masse et analysables en détail (qualiquantitatif) (Tarde): la sociologie devrait être la « science des conversations »
  7. 7. Un état de l’art académique Sources: TAL (NLP) Linguistique de corpus Text mining (Fouille de texte) Opinion mining (spécialisée web) Sentiment analysis (analyse de tonalité)
  8. 8. Les Défis Fouille de Textes (DEFT) 2005 : identification du locuteur dun discours. 2006 : segmentation thématique de textes. 2007 : détection de lopinion exprimée dans un texte, quatre corpus, deux à trois classes (positif, neutre, négatif) par corpus. 2008 : classification automatique de textes en genre et en thème. 2009 : Analyse multilingue dopinion 2010 : Étude de la variation diachronique et diatopique du français : identification de la période et du lieu de publication darticles de presse. 2011: la variation diachronique en corpus de presse et lappariement darticles scientifiques et de résumés.
  9. 9. État de l’art commercial Prérequis avant toute analyse de tonalité Sourcing (mots-clés ou bouquets) L’actuelle ruée sur Twitter, l’oubli des blogs Extraction Nettoyage Base de données des verbatims
  10. 10. Sourcing et influence Risques niveler tous les verbatims attribuer a priori un poids plus grand à certains émetteurs Théorie de l’influence Avec un indicateur « Médialab Influence Ranking » domaine par domaine
  11. 11. Rôle des experts Connaissance du domaine toujours requise Pour le sourcing Pour la structure de traitement de la base de données Pour le traitement Retour de pertinence Les solutions prétendument tout automatiques sont sans intérêt
  12. 12. Ce que l’on mesure en analyse detonalité n’est pas assez distingué Avis Jugement Évaluation Sentiment Goût Récits d’expérience
  13. 13. Méthodes Détection de phrases subjectives Dictionnaires de mots Niveau de l’analyse: n-grams vs document en fait le niveau de la phrase est le plus pertinent Analyseur syntaxique et sémantique nécessaires avec méthodes d’apprentissage (non statistiques)
  14. 14. Utilité et limites E-reputation? Oui mais sans la stratégie et au-delà pour la relation client Limites Non traitement des figures rhétoriques par exemple D’où limites pour les analyses politiques sur des thèmes Ok pour des produits/ services/ entités bien identifiées Veiller à pouvoir identifier Target and features
  15. 15. Des exemples de réalisation Basés sur la plateforme LINGWAY e-Reputation 16
  16. 16. Liste de sourceswww.xxx.com… Pages et messagesMOTS CLES Transformation en données structurées personnes, lieux, marques, thèmes, tonalités, avis, etc. Analyseurs sémantiques = Logiciels + dictionnaires Base de données de textes enrichis et structurés
  17. 17. Analyse du contenu: exemple sur un forum
  18. 18. Contenu analysé, structuré automatiquement
  19. 19. Exemple: suivi de médicaments 20
  20. 20. Exemple: Que se dit-il sur les médicaments dans les blogs etforums ? 21
  21. 21. Thèmes + et – associés aux benzodiazépines 22
  22. 22. Verbatims négatifs autour de l’angoisse« angoisse » est un élément du lexique marqué comme« Négatif » 23
  23. 23. Verbatims positifs autour de l’angoisseInversion de la tonalité: Exemples : La négation Certains verbes à tonalité positive 24
  24. 24. Les différents types d’extractionLes Entités nommées Entités nommées standard • Noms de personnes, de sociétés, de lieux • E-mails, téléphone, URLs, dates, evènements, N°siret, …Les Thèmes Thèmes contrôlés (catégorisation selon des thématiques prédéfinies) Thèmes libres ( qui ne sont pas préalablement connus)La Tonalité Identification d’une opinion, d’ un avis à l‘égard d’une personne, d’un produit, d’une société, d’une marque… 25
  25. 25. Extraction d’entités nommées standardSur la base de Lexiques de prénoms, noms de villes, régions, pays, sociétés Règles contextuelles : Marqueurs d’introduction de noms de personnes, de lieu ou d’organisation Exemples avec noms de personnes, d’organisations et de lieux 26
  26. 26. Extraction de thèmes puis de la tonalitéEn français 27
  27. 27. Types de tonalités dans les lexiquesTypes de tonalité utilisésdans les lexiques Type de Exemples d’entrées des lexiques de tonalité tonalité Négatif / positif / positif ambigu / négatif ambigu Positif Embellie, agréable, adorer, agréablement deux fonctions : Intensifieur et Modérateur qui influent Negatif Horreur, déplorable, détester, grandement sur la tonalité horriblement, en dépit de celle des mots qui leur sont proches. Positif ambigu rentabilitéMultilingue Anglais, Français, Espagnol Négatif coût ambigu Plusieurs autres langues en préparation sur la base des Modérateur Diminution, limiter, Peu dictionnaires Lingway Intensifieur Augmentation, progresser, impressionnant, manifestement 28
  28. 28. Importance de l’Analyse linguistiqueImportance analyse morpho-syntaxique : la tonalitéd’un mot peu dépendre de sa catégorie En français on distingue « bien » adjectif positif de « bien » adverbe intensifieur En anglais, lanalyse permet de distinguer le nom « good » qui est neutre, de ladjectif « good » qui est positif. 29
  29. 29. Analyse de la tonalité : Exemples FRTexte avec séquences analysées comme négativesTexte avec séquences analysées comme positives 30
  30. 30. L’analyse lnguistique de la phraseUne phrase comprend souvent plusieurs opinions qu’il fautsavoir identifier 31
  31. 31. Analyse de la tonalité : cas simples 32
  32. 32. Analyse de la tonalité : cas simples Négatif Exemples en français Exemples en anglais Exemples en espagnolLes mots encadrés sont à l’origine de 33tonalité de la séquence
  33. 33. Impact des intensifieurs (FR) Les intensifieurs permettent de révéler la tonalité d’un mot ambigu positif comme « rentabilité » séquence neutreséquences positives Mais aussi de renforcer celle de mots déjà positifs comme « efficace » 34
  34. 34. Impact des intensifieurs(EN) L’intensifieur « increase » révèle la tonalité positive de « benefit » séquence neutreséquence positive Exemple de renforcement de la tonalité sur un mot déjà négatif comme « disaster » 35
  35. 35. L’inversion de tonalitéNégation de verbes (ne pas, ne plus, …)Négations de noms (aucun, pas de, zéro) 36
  36. 36. L’inversion de tonalitéVerbes négatifs inversant la tonalité de leurscompléments et/ou sujet 37
  37. 37. L’inversion de tonalitéImpact des « modérateurs » 38
  38. 38. Exemples avec plusieurs inversionsVerbe modérateur à la forme négativeDouble négation de verbe 39
  39. 39. En conclusionLes technologies duTAL sontindispensables2 cas d’utilisationSans révision Même si l’analyse automatique ne marche pas à 100%, les résultats sont globalement significatifsAvec révision 3 à 5 fois plus rapide que sans ce type d’outil d’aide à la lecture 40
  40. 40. Quelques casConstructeur automobile Suivi des critiques de la marque, community managementMarques de grandes consommation Suivi des opinions sur les « valeurs » mises en avant Environnement, Ethique, Qualité… Base de données de suivi permanent des marquesAssurances Analyse des remontées sur les réseaux sociauxTelecoms Suivi du lancement de nouvelles offresAdministration Veille « sujets sensibles » 41
  41. 41. MERCI…bernard.normier@lingway.comdominique.boullier@sciences-po.fr 42

×