Entités nommées<br />Jean Véronis<br />SeoCampus 2010<br />
C’est quoi ?<br />jvTech • Jean Véronis Technologies<br />
Extraction d’information<br />En France, il est interdit d’accrocher les mots “travailler”, “gagner” “plus” et “moins”, su...
~Noms propres<br /><ul><li>Personnes, lieux, marques, entreprises, organismes, etc.
France
Hu Jintao
Pékin
Nicolas Sarkozy
Paris
Siu Lan Ko
Beaux-Arts
Henry-Claude Cousseau</li></ul>jvTech • Jean Véronis Technologies<br />
Mais pas seulement…<br />Pourcentages, dates, montant monétaires, etc.<br />La faiblesse de la croissance en zone euro au ...
Tâche mal définie<br />Pourquoi entités « nommées » si on ne se limite pas aux noms propres ?<br />Où s’arrête-t-on ?<br /...
A quoi ça sert ?<br />jvTech • Jean Véronis Technologies<br />
Buzz<br /><ul><li>Navigation
SEO</li></ul>jvTech • Jean Véronis Technologies<br />
Veille, suivi de tendances<br />polémique<br />Polanski<br /><ul><li>Exemples</li></ul>propos sur l’Auvergnat…<br />Brice ...
<ul><li>marques</li></ul>épisode de la F1<br />Renault ~Peugeot<br />jvTech • Jean Véronis Technologies<br />
<ul><li>e-reputation</li></ul>vague de suicides<br />France Télécom ~ Suicides<br />jvTech • Jean Véronis Technologies<br />
Moteurs de recherche<br />actu<br />jvTech • Jean Véronis Technologies<br />
Moteurs de recherche<br />pas d’actu<br />jvTech • Jean Véronis Technologies<br />
Nombreuses autres applications<br /><ul><li>Traduction automatique</li></ul>Guillaume Portes a conçu le logiciel Fenêtres<...
Nombreuses autres applications<br /><ul><li>Classification de documents
« Textmining »
Constitution de bases de faits
etc.</li></ul>jvTech • Jean Véronis Technologies<br />
<ul><li>Exemple:
siloBreaker</li></ul>jvTech • Jean Véronis Technologies<br />
jvTech • Jean Véronis Technologies<br />
jvTech • Jean Véronis Technologies<br />
ClearForestGnosis — projet OpenCalais<br />jvTech • Jean Véronis Technologies<br />
Comment ça marche ?<br />jvTech • Jean Véronis Technologies<br />
Deux problèmes<br />...blabla… Orange …blabla…<br />détection<br />interprétation<br />…<br />jvTech • Jean Véronis Techno...
Détection<br />Le problème semble simple<br />Détection de chaînes dans un texte<br />Exemple :<br />Oui, mais…<br />PARIS...
Base de données<br />Sources<br />Wikipedia/DBPedia<br />Fichiers d’entreprises<br />Base Geonames<br />etc.<br />Aucune b...
Variabilité<br />Personnes :<br />Ted Kennedy<br />Edward Kennedy<br />Edward M. Kennedy<br />Edward Moore Kennedy<br />Ed...
Variabilité<br />Sociétés :<br />Air France<br />Société Air France (nom officiel)<br />Air France-KLM (groupe)<br />AF (b...
Erreurs orthographiques<br />488941 britneyspears<br /> 40134 brittanyspears<br /> 36315 brittneyspears<br /> 24342 britan...
Prochain SlideShare
Chargement dans…5
×

Jean Veronis - 2010 Seo Campus

15 761 vues

Publié le

Conférence sur la reconnaissance des entités nommées à SEO Campus 201

Publié dans : Technologie

Jean Veronis - 2010 Seo Campus

  1. 1. Entités nommées<br />Jean Véronis<br />SeoCampus 2010<br />
  2. 2. C’est quoi ?<br />jvTech • Jean Véronis Technologies<br />
  3. 3. Extraction d’information<br />En France, il est interdit d’accrocher les mots “travailler”, “gagner” “plus” et “moins”, sur une façade. <br />C&apos;est ironique,<br />quand on est un artiste chinois, <br />d&apos;être censuré en France pour subversion politique. Critiquer Hu Jintao à Pékin, c&apos;est possible. Mais Nicolas Sarkozy à Paris, ça non, c&apos;est interdit. L&apos;artiste Siu Lan Ko, 33 ans, en a fait les frais hier matin. Son installation a été décrochée en toute hâte de la façade des Beaux-Arts de Paris à la demande de son directeur Henry-Claude Cousseau…<br />Télérama – 11 février 2010<br />jvTech • Jean Véronis Technologies<br />
  4. 4. ~Noms propres<br /><ul><li>Personnes, lieux, marques, entreprises, organismes, etc.
  5. 5. France
  6. 6. Hu Jintao
  7. 7. Pékin
  8. 8. Nicolas Sarkozy
  9. 9. Paris
  10. 10. Siu Lan Ko
  11. 11. Beaux-Arts
  12. 12. Henry-Claude Cousseau</li></ul>jvTech • Jean Véronis Technologies<br />
  13. 13. Mais pas seulement…<br />Pourcentages, dates, montant monétaires, etc.<br />La faiblesse de la croissance en zone euro au quatrième trimestre 2009 (+0,1%) et la stagnation du Produit intérieur brut (PIB) en Allemagne sur la même période a déprimé les valeurs automobiles: Volkswagen a lâché 1,91% à 56,06 euros, BMW -1,66% à 29 euros, Daimler -0,95% à 32,46 euros.<br />jvTech • Jean Véronis Technologies<br />
  14. 14. Tâche mal définie<br />Pourquoi entités « nommées » si on ne se limite pas aux noms propres ?<br />Où s’arrête-t-on ?<br />Dépend fortement de l’application<br />La faiblesse de la croissance en zone euro au quatrième trimestre 2009 (+0,1%) et la stagnation du Produit intérieur brut (PIB) en Allemagne sur la même période a déprimé les valeurs automobiles: Volkswagen a lâché 1,91% à 56,06 euros, BMW -1,66% à 29 euros, Daimler -0,95% à 32,46 euros.<br />jvTech • Jean Véronis Technologies<br />
  15. 15. A quoi ça sert ?<br />jvTech • Jean Véronis Technologies<br />
  16. 16. Buzz<br /><ul><li>Navigation
  17. 17. SEO</li></ul>jvTech • Jean Véronis Technologies<br />
  18. 18. Veille, suivi de tendances<br />polémique<br />Polanski<br /><ul><li>Exemples</li></ul>propos sur l’Auvergnat…<br />Brice Hortefeux ~ Frédéric Mitterand<br />jvTech • Jean Véronis Technologies<br />
  19. 19. <ul><li>marques</li></ul>épisode de la F1<br />Renault ~Peugeot<br />jvTech • Jean Véronis Technologies<br />
  20. 20. <ul><li>e-reputation</li></ul>vague de suicides<br />France Télécom ~ Suicides<br />jvTech • Jean Véronis Technologies<br />
  21. 21. Moteurs de recherche<br />actu<br />jvTech • Jean Véronis Technologies<br />
  22. 22. Moteurs de recherche<br />pas d’actu<br />jvTech • Jean Véronis Technologies<br />
  23. 23. Nombreuses autres applications<br /><ul><li>Traduction automatique</li></ul>Guillaume Portes a conçu le logiciel Fenêtres<br />jvTech • Jean Véronis Technologies<br />
  24. 24. Nombreuses autres applications<br /><ul><li>Classification de documents
  25. 25. « Textmining »
  26. 26. Constitution de bases de faits
  27. 27. etc.</li></ul>jvTech • Jean Véronis Technologies<br />
  28. 28. <ul><li>Exemple:
  29. 29. siloBreaker</li></ul>jvTech • Jean Véronis Technologies<br />
  30. 30. jvTech • Jean Véronis Technologies<br />
  31. 31. jvTech • Jean Véronis Technologies<br />
  32. 32. ClearForestGnosis — projet OpenCalais<br />jvTech • Jean Véronis Technologies<br />
  33. 33. Comment ça marche ?<br />jvTech • Jean Véronis Technologies<br />
  34. 34. Deux problèmes<br />...blabla… Orange …blabla…<br />détection<br />interprétation<br />…<br />jvTech • Jean Véronis Technologies<br />
  35. 35. Détection<br />Le problème semble simple<br />Détection de chaînes dans un texte<br />Exemple :<br />Oui, mais…<br />PARIS - Un bras de fer s&apos;est engagé entre une artiste chinoise auteur d&apos;une oeuvre faisant référence à un slogan du président Nicolas Sarkozy et l&apos;école des Beaux-Arts de Paris, accusée de &quot;censure&quot;.<br />jvTech • Jean Véronis Technologies<br />
  36. 36. Base de données<br />Sources<br />Wikipedia/DBPedia<br />Fichiers d’entreprises<br />Base Geonames<br />etc.<br />Aucune base n’est exhaustive<br />variabilité infinie<br />entités nouvelles<br />
  37. 37. Variabilité<br />Personnes :<br />Ted Kennedy<br />Edward Kennedy<br />Edward M. Kennedy<br />Edward Moore Kennedy<br />Edward Moore Kennedy Sr.<br />Edward Moore &quot;Ted&quot; Kennedy<br />« Ted »<br />jvTech • Jean Véronis Technologies<br />
  38. 38. Variabilité<br />Sociétés :<br />Air France<br />Société Air France (nom officiel)<br />Air France-KLM (groupe)<br />AF (bourse)<br />AFR (code aviation civile)<br />jvTech • Jean Véronis Technologies<br />
  39. 39. Erreurs orthographiques<br />488941 britneyspears<br /> 40134 brittanyspears<br /> 36315 brittneyspears<br /> 24342 britanyspears<br /> 7331 britnyspears<br /> 6633 britenyspears<br /> 2696 brittenyspears<br /> 1807 brineyspears<br /> 1635 brittnyspears<br /> 1479 brinteyspears<br /> 1479 britannyspears<br /> 1338 britinyspears<br /> 1211 britnetspears<br /> 1096 britineyspears<br /> 991 britaneyspears<br /> 991 britnayspears<br /> 811 brithneyspears<br /> 811 brtineyspears<br /> 664 birtneyspears<br /> 664 brintneyspears<br /> 664 briteneyspears<br /> 601 bitneyspears<br /> 601 brintyspears<br /> 544 brittaneyspears<br /> 544 brittnayspears<br /> 364 briteyspears<br /> 364 brittinyspears<br /> 329 brtneyspears<br /> 269 bretneyspears<br /> 269 britneysspears<br /> 244 britnespears<br /> 244 brytneyspears<br /> 220 breatneyspears<br /> 220 britianyspears<br /> 199 britnneyspears<br /> 163 britnryspears<br /> 147 breatnyspears<br /> 147 brittineyspears<br /> 147 brittyspears<br /> 147 brotneyspears<br /> 147 brutneyspears<br /> 133 britteneyspears<br /> 121 bittanyspears<br /> 121 bridneyspears<br /> 121 britainyspears<br /> 121 britmeyspears<br /> 109 brietneyspears<br /> 109 brithnyspears<br /> 109 britnispears<br /> 109 brittantspears<br /> …<br />http://labs.google.com/britney.html<br />jvTech • Jean Véronis Technologies<br />
  40. 40. Pas toujours exceptionnel :<br />Jean-Pierre Pernault ?<br />Jean-Pierre Pernaut ?<br />jvTech • Jean Véronis Technologies<br />
  41. 41. Multilinguisme<br />Exemples<br />Benoît XVI (fr)<br />Benedict XVI (en)<br />Benedikt XVI (de)<br />Benedetto XVI (it)<br />Benedicto XVI (es)<br />Londres ~ London<br />jvTech • Jean Véronis Technologies<br />
  42. 42. Translittérations<br />Pékin<br />Beijing<br /><ul><li>Mouhammar
  43. 43. Mohammar
  44. 44. Mouammar
  45. 45. Moammar
  46. 46. Muammar
  47. 47. Mu’ammar
  48. 48.
  49. 49. Kadafi
  50. 50. Algathafi
  51. 51. al-Kadhafi
  52. 52. al-Gaddafi
  53. 53. Al Qadafi
  54. 54. Gueddafi
  55. 55. El-Gueddafi
  56. 56. …</li></ul>X<br />jvTech • Jean Véronis Technologies<br />
  57. 57. Entités inconnues<br />Exemple : actualité<br />inconnu dans Wikipedia<br />12 février 2010<br />jvTech • Jean Véronis Technologies<br />
  58. 58. Heuristiques<br />Typographie : Majuscule, mais…<br />variantes<br />l’Ecole des Beaux-Arts (le Parisien)<br />l’école des Beaux-Arts (l’Express)<br />l’Ecole des beaux-arts (le Monde)<br />noms composés<br />Henri de la Ville de Mirmont<br />Hôtel de Ville de Mirmont<br />Jean Baptiste de la Croix de Chevrières de Saint –Vallier<br />Jean-Baptiste Belley de Saint-Domingue<br />autres langues<br />allemand (majuscule sur tous les noms)<br />arabe, chinois, etc. (pas de majuscules)<br />jvTech • Jean Véronis Technologies<br />
  59. 59. Heuristiques<br />Base patronymes et prénoms connus, mais :<br />Nombreuses ambiguïtés<br />Prénoms: April, Art, Earl, France, Israel, Logan, Noël, Renault, etc.<br />l’œuvre de Noël de Règemorte<br />le marché de Noël de Montbéliard<br />Patronymes: Charpentier, Mer, Vaillant<br />ministre de l&apos;Economie Francis Mer<br />Charpentier fut remarqué et apprécié par Louis XIV<br />Charpentier au talent prometteur, ce compagnon…<br />Inconnus<br />Barack<br />jvTech • Jean Véronis Technologies<br />
  60. 60. Heuristiques<br />Statistiques (contexte)<br />Exemples :<br />le photographe italienPietro Mastrurzo a remporté<br />l’Italien Pietro Mastrurzo a reçu<br />le Français Alexis Contin s’est classé<br />le patineur de vitesse françaisAlexis Contin<br />jvTech • Jean Véronis Technologies<br />
  61. 61. Interprétation<br />Deux problèmes liés :<br />Désambiguïsation<br />Orange, Total, Opium, etc.<br />Catégorisation<br />Personne<br />Entreprise<br />Toponyme<br />etc.<br />jvTech • Jean Véronis Technologies<br />
  62. 62. page d’homonymie<br />Wikipedia :<br />Orange<br />jvTech • Jean Véronis Technologies<br />
  63. 63. Très difficile<br />Noms communs/marques<br />La majuscule ne suffit pas<br />Personnes/marques<br />etc.<br />Yves Saint Laurent lance Opium<br />Shangaï : Opium, jeux, prostitution<br />la turbulente histoire de la Chine depuis la Guerre de l&apos;Opium<br />Alain Chamfort met Yves Saint Laurent en musique<br />il rend hommage à Yves Saint Laurent<br />Yves Saint Laurent lance une édition collector du parfum Elle<br />jvTech • Jean Véronis Technologies<br />
  64. 64. Typologie<br />Personnes, lieux, et…..?<br />Difficultés pour l’humain :<br />Orange = marque / entreprise ?<br />iPhone = produit / marque ?<br />Dépend de l’application<br />classification de Sekine<br />jvTech • Jean Véronis Technologies<br />
  65. 65.
  66. 66. tant vont les fleuves à la mer<br />et la mer n’est jamais remplie…<br />jvTech • Jean Véronis Technologies<br />

×