Successfully reported this slideshow.
1DTSI / Service Cognitique Robotique et Interaction
Soutien
Fondation Jean-Luc Lagardère
au projet CEA LIST de la Carte Sé...
2DTSI / Service Cognitique Robotique et Interaction
Rappel du Projet
But: créer une carte complète de l’utilisation de la
...
3DTSI / Service Cognitique Robotique et Interaction
analyse syntaxique
Le chat boit le lait
4DTSI / Service Cognitique Robotique et Interaction
Analyse syntaxique
« Pourquoi pas des choses très simples comme
pilote...
5DTSI / Service Cognitique Robotique et Interaction
pour chacun des 75 000 mots fançais
comp2( pèlerinage , avion )
comp2(...
6DTSI / Service Cognitique Robotique et Interaction
7DTSI / Service Cognitique Robotique et Interaction
count=36 / mi=-34.536763
8DTSI / Service Cognitique Robotique et Interaction
9DTSI / Service Cognitique Robotique et Interaction
applications
• similarité entre les mots
• co-occurrences
 fond et an...
10DTSI / Service Cognitique Robotique et Interaction
abaissement:d: détérioration (0.89)[6934]
abaissement:e:-------------...
11DTSI / Service Cognitique Robotique et Interaction
similarité d’usage : exemple
abaissement [4074]
 relèvement
 affaib...
12DTSI / Service Cognitique Robotique et Interaction
similarité
abaissement [4074] relèvement <88| affaiblissement détério...
13DTSI / Service Cognitique Robotique et Interaction
pour chaque mot
 toutes les relations
 tous les concepts
pour chaqu...
14DTSI / Service Cognitique Robotique et Interaction
Postdoc futurs
Kris Jack
 PhD Dundee, Ecosse
• Modèle computationnel...
15DTSI / Service Cognitique Robotique et Interaction
Présentations publiques avec remerciements
à la Fondation Jean-Luc La...
16DTSI / Service Cognitique Robotique et Interaction
FIN
17DTSI / Service Cognitique Robotique et Interaction
Extra slides
18DTSI / Service Cognitique Robotique et Interaction
réseau de langage
avion
avion de guerre
avion de combat
avion de chas...
19DTSI / Service Cognitique Robotique et Interaction
cartes
20DTSI / Service Cognitique Robotique et Interaction
Cartes
Mots
Analyse syntaxique
Caractériser un mot
Réseaux
Concepts
T...
21DTSI / Service Cognitique Robotique et Interaction
Carte 15eme
22DTSI / Service Cognitique Robotique et Interaction
Google Earth
23DTSI / Service Cognitique Robotique et Interaction
mots
Lexique de mots simples en français
75 000
avion
formes conjugué...
24DTSI / Service Cognitique Robotique et Interaction
On ne trouve pas tout dans un dictionnaire?
AVION, subst. masc.
A. AÉ...
25DTSI / Service Cognitique Robotique et Interaction
Langage
sur le Web
Estimation of the volume of
English and non Englis...
26DTSI / Service Cognitique Robotique et Interaction
Que faire avec le web? (1)
…
héliastes 445
hélice 211000
hélices 1210...
27DTSI / Service Cognitique Robotique et Interaction
Que faire avec le web? (1)
…
héliastes 445
hélice 211000
hélices 1210...
28DTSI / Service Cognitique Robotique et Interaction
Que faire avec le web? (2)
indestructible 185,526
atterrir 146,885
dé...
29DTSI / Service Cognitique Robotique et Interaction
Caractériser un mot
avion
COD_V( avion , prendre ) (737)
SUJ_V( avion...
30DTSI / Service Cognitique Robotique et Interaction
mise en oeuvre d’une carte
31DTSI / Service Cognitique Robotique et Interaction
WWW
Very Large Lexical Network
terms (dependency relations)
+ frequen...
32DTSI / Service Cognitique Robotique et Interaction
interface
33DTSI / Service Cognitique Robotique et Interaction
applications
34DTSI / Service Cognitique Robotique et Interaction
similarité d’usage
Si on connaît les relations syntaxiques d’un mot
e...
35DTSI / Service Cognitique Robotique et Interaction
concepts
36DTSI / Service Cognitique Robotique et Interaction
concepts, avec ‘avion’ en tête
avion_ligne avion_chasse avion_combat ...
37DTSI / Service Cognitique Robotique et Interaction
concepts, ‘avion’ comme modifieur
billet_avion vol_avion pilote_avion...
38DTSI / Service Cognitique Robotique et Interaction
fin
39DTSI / Service Cognitique Robotique et Interaction
Utilisation of the Model
Language Processing, choice between alternat...
40DTSI / Service Cognitique Robotique et Interaction
Utilisation of the Model
Generation of World Knowledge
 association ...
41DTSI / Service Cognitique Robotique et Interaction
Competition
Google a créé une liste de toutes les séquences de 5
mots...
42DTSI / Service Cognitique Robotique et Interaction
Google trillion word language model
43DTSI / Service Cognitique Robotique et Interaction
Brique Manquante de la Connaissance Humaine
Comment tous les mots son...
44DTSI / Service Cognitique Robotique et Interaction
Applications
Veille, Filtrage, « Google sémantique »
 quelles sont l...
45DTSI / Service Cognitique Robotique et Interaction
Google: billion mots
Google a créé une liste de toutes les séquences ...
46DTSI / Service Cognitique Robotique et Interaction
Google’s 5-gram model
47DTSI / Service Cognitique Robotique et Interaction
Timing
Having collected 46 310 URLS containing
 voiture +le +que +la...
48DTSI / Service Cognitique Robotique et Interaction
Estimates from ‘voiture’ test
Percentage of ‘good’ URLS: 72% - 75 %
...
49DTSI / Service Cognitique Robotique et Interaction
Grammatical relations -- voiture
97 ADJPRENSUB( petite , voiture )
78...
50DTSI / Service Cognitique Robotique et Interaction
Grammatical relations -- bois
764 SUBADJPOST( Dormant , Bois )
288 SU...
51DTSI / Service Cognitique Robotique et Interaction
Compounds -- bois
598 bois_dormant
479 belle_bois_dormant
238 bois_ch...
52DTSI / Service Cognitique Robotique et Interaction
Counts of word forms
citrus 105000
civadière 270
civadières 9
cive 21...
53DTSI / Service Cognitique Robotique et Interaction
5-grams ‘voiture’ sur 30 million de mots
164 dans un accident de voit...
54DTSI / Service Cognitique Robotique et Interaction
Names associated with ‘voiture’
Megane+1.9d 408 342 1,19591
Discovery...
55DTSI / Service Cognitique Robotique et Interaction
Mutual Information
Prob (word1) X Prob (word2)
Prob (word1,word2)
Pro...
56DTSI / Service Cognitique Robotique et Interaction
Found around ‘voiture’ in a five word window
200 words with highest M...
57DTSI / Service Cognitique Robotique et Interaction
Found around ‘Bois’ in a five word window
200 words with highest Mutu...
58DTSI / Service Cognitique Robotique et Interaction
Found in sentences containing ‘chien’
200 words with highest Mutual I...
59DTSI / Service Cognitique Robotique et Interaction
Found in sentences containing ‘chat’
200 words with highest Mutual In...
60DTSI / Service Cognitique Robotique et Interaction
Inteersection ‘chat’ and ‘chien’
accessoires adorable affectueux agre...
61DTSI / Service Cognitique Robotique et Interaction
Highest ranking words common to both ‘chien’ and
‘chat’
accessoires a...
62DTSI / Service Cognitique Robotique et Interaction
‘Flamme’ mots dans une relation de dépendance,
plus haute information...
63DTSI / Service Cognitique Robotique et Interaction
‘Feu’ mots dans une relation de dépendance,
plus haute information mu...
64DTSI / Service Cognitique Robotique et Interaction
‘embrasement’ mots dans une relation de dépendance,
plus haute inform...
65DTSI / Service Cognitique Robotique et Interaction
‘embrasement’ ‘feu’ intersection
allumer
ambiance
amour
bois
cercle
c...
66DTSI / Service Cognitique Robotique et Interaction
intersection: feu, flamme, embrasement
allumer
amour
ciel
consumer
co...
67DTSI / Service Cognitique Robotique et Interaction
Aide Externe
Fondation Jean-Luc Lagardère finance 3 post-docs
 DTSI/...
68DTSI / Service Cognitique Robotique et Interaction
‘avion d’industrie’ 1 fois sur WWW
Texte d’origine
 Supplies, indust...
Prochain SlideShare
Chargement dans…5
×

LGD-PresentationCarteSemantique21032008

316 vues

Publié le

  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

LGD-PresentationCarteSemantique21032008

  1. 1. 1DTSI / Service Cognitique Robotique et Interaction Soutien Fondation Jean-Luc Lagardère au projet CEA LIST de la Carte Sémantique Web-based Acquisition of Language Semantics Contact : gregory.grefenstette@cea.fr
  2. 2. 2DTSI / Service Cognitique Robotique et Interaction Rappel du Projet But: créer une carte complète de l’utilisation de la langue française  Projet Lauréat du Challenge Innovation DRT 2006 Financement : CEA 1 homme-an, juin 2006 – mai 2007 Accord du soutien Fondation JL Lagardère aout 2006, financement de trois ans postdoctorants  1ere postdoc: Guillaume Pitel, juillet 2007 à juin 2008  2ème postdoc: Kris Jack, mai 2008 à avril 2009 Etat actuel  1,5 million de pages Web français traités  Proposition d’hébergement de la carte chez ExaLabs (Exalead)
  3. 3. 3DTSI / Service Cognitique Robotique et Interaction analyse syntaxique Le chat boit le lait
  4. 4. 4DTSI / Service Cognitique Robotique et Interaction Analyse syntaxique « Pourquoi pas des choses très simples comme piloter de beaux avions récents et bien équipés» ADVADJ( très , simple ) SUBADJPOST( simple , chose ) CPL_V( avion , piloter ) ADJPRENSUB( bel , avion ) SUBADJPOST( récent , avion ) SUBADJPOST( équipé , avion )
  5. 5. 5DTSI / Service Cognitique Robotique et Interaction pour chacun des 75 000 mots fançais comp2( pèlerinage , avion ) comp2( avion , italien ) SUJ_V( avion , redécoller ) COMPDUNOM( pression , avion ) APPOS( avion , réservoir ) CPL_V( avion , disposer ) COMPDUNOM( conseil , avion ) ATB_SG( prohibitif , avion ) SUJ_V( avion , assurer ) comp2( avion , sérieux ) COMPDUNOM( soute , avion ) ADJPRENSUB( quatre , avion ) SUBADJPOST( rendu , avion ) COMPADJ( avion , mitraillé ) COMPDUNOM( avion , bas ) SUBSUBJUX( vacance , avion ) SUBSUBJUX( lac , avion ) MOD_V( avion , provenir ) CPL_V( avion , semer ) COMPDUNOM( avion , matériau ) COMPDUNOM( avion , amoncellement ) SUJ_V( avion , sauter ) CPL_V( avion , émettre ) comp2( lecture , avion ) COMPDUNOM( avion , commun ) COMPDUNOM( norme , avion ) SUBADJPOST( appelé , avion ) comp2( peur , avion ) COMPDUNOM( propulsion , avion ) SUJ_V( avion , appeler ) MOD_N( montrer , avion ) comp2( torpille , avion ) COMPDUNOM( avion , comité ) COMPDUNOM( avion , escale ) ( avion , e ) COMPDUNOM( action , avion ) COMPDUNOM( avion , forcement ) comp2( avion , redoutable ) MOD_N( briser , avion ) SUJ_V( avion , descendre ) COMPDUNOM( armada , avion ) comp2( avion , nolisé ) comp2( embarqué , avion ) COMPDUNOM( avion , réponse ) COMPDUNOM( avion , armement ) comp2( avion , demain ) comp2( avion , enregistré ) SUBADJPOST( écrabouillé , avion ) COMPDUNOM( faveur , avion ) comp2( avion , contexte ) comp2( avion , lieutenant ) comp2( course , avion ) comp2( avion , champ ) SUJ_V_REL( avion , rentrer ) comp2( liaison , avion ) MOD_N( percuter , avion ) SUBADJPOST( semblable , avion ) SUBADJPOST( incessant , avion ) COMPDUNOM( conseiller , avion ) COMPDUNOM( avion , sécurité ) SUJ_V_RELG( avion , conquérir ) SUBSUBJUX( avion , livraison ) COMPDUNOM( avion , flottille ) comp2( histoire , avion ) MOD_N( réduire , avion ) SUBADJPOST( muni , avion ) COMPDUNOM( avion , distance ) COMPDUNOM( fraîcheur , avion ) comp2( avion , annonce ) COMPDUNOM( avion , modernisation ) MOD_N( commencer , avion ) COMPDUNOM( avion , terroriste ) ATB_SG( distinct , avion ) MOD_N( tromper , avion ) SUBSUBJUX( j , avion ) COMPDUNOM( agent , avion ) COMPDUNOM( épidémiologie , avion ) comp2( avion , savoir ) ATB_S( actif , avion ) SUBADJPOST( défectueux , avion ) SUJ_V( avion , attaquer ) COMPDUNOM( descendant , avion ) APPOS( bibliothèque , avion ) COMPDUNOM( bravoure , avion ) comp2( avion , sensible ) comp2( lançage , avion ) COMPDUNOM( avion , paiement ) CPL_V( avion , menotter ) comp2( quantité , avion ) comp2( contrôle , avion ) SUBADJPOST( ultérieur , avion ) COMPDUNOM( tourbillon , avion ) WWW SUBSUBJUX( carte , avion ) COMPDUNOM( venette , avion ) COMPDUNOM( compagnie , avion ) COMPADV( avion , longtemps ) comp2( système , avion ) comp2( succès , avion ) comp2( immobilisation , avion ) MOD_N( mériter , avion ) SUJ_V( avion , fumiger ) COMPDUNOM( tournée , avion ) comp2( fléchette , avion ) MOD_N( éviter , avion ) SUJ_V( avion , connaître ) COMPDUNOM( avion , désintégration ) APPOS( maman , avion ) SUJ_V( avion , rassembler ) SUBADJPOST( utilitaire , avion ) comp2( avion , orienteur ) COD_V( avion , rater ) comp2( avion , jeep ) SUBSUBJUX( conseil , avion ) CPL_V( avion , balader ) comp2( avion , piquant ) COMPDUNOM( nouvelle , avion ) comp2( avion , piste ) COMPDUNOM( trafic , avion ) comp2( avion , espionnage ) COMPDUNOM( avion , couple ) COMPDUNOM( avion , fonctionnement ) SUJ_V_REL( avion , dépayser ) SUBADJPOST( savoir , avion ) ATB_S( inutile , avion ) SUJ_V( avion , disparaître ) comp2( tiers , avion ) ( avion , long ) COMPDUNOM( triangle , avion ) COMPDUNOM( avion , récipient ) comp2( truite , avion ) SUJ_V( avion , accéder ) SUJ_V( avion , entendre ) COD_V( avion , affecter ) COMPDUNOM( avion , décollage ) comp2( avion , nez ) COMPADJ( avion , réduit ) comp2( avion , police )
  6. 6. 6DTSI / Service Cognitique Robotique et Interaction
  7. 7. 7DTSI / Service Cognitique Robotique et Interaction count=36 / mi=-34.536763
  8. 8. 8DTSI / Service Cognitique Robotique et Interaction
  9. 9. 9DTSI / Service Cognitique Robotique et Interaction applications • similarité entre les mots • co-occurrences  fond et animaux • terminologie d’un domaine • modèle de langage  pour reconnaissance de la parole  détection d’intrus (Wikipédia)
  10. 10. 10DTSI / Service Cognitique Robotique et Interaction abaissement:d: détérioration (0.89)[6934] abaissement:e:-------------- prix-14001 matière-14001 homme-14001 apparence-14001 réponse-14001 type-14001 forme-14001 résultat-1400 001 vue-14001 niveau-14001 preuve-14001 degré-14001 rapport-14001 technique-14001 histoire-14001 observation-14001 effet-14001 voie-1 14001 cause-14001 possibilité-14001 mouvement-14001 facteur-14001 suite-14001 rôle-14001 conséquence-14001 risque-14001 règlement-1 -14001 indice-14001 crise-14001 mécanisme-14001 hypothèse-14001 dû-14004 témoin-14004 responsable-14004 accompagné-14004 présente 14009 mesurer-14009 montrer-14009 favoriser-14009 subir-14009 constater-14009 dénoter-14009 refuser-14009 justifier-14009 observer-140 14009 comporter-14009 amener-14009 indiquer-14009 entraîner-14009 prévoir-14009 impliquer-14009 constituer-14009 traduire-14009 interd révéler-14009 donner-14010 aller-14010 pouvoir-14010 tenir-14010 prendre-14010 parler-14010 conduire-14010 contribuer-14010 lutter-1401 14010 correspondre-14010 aboutir-14010 déboucher-14010 devoir-14011 aller-14011 pouvoir-14011 arriver-14011 rendre-14011 risquer-1401 14011 provoquer-14011 entraîner-14011 travail-14034 prix-14034 action-14034 fil-14034 produit-14034 personne-14034 pouvoir-14034 temp barrière-14034 maison-14034 point-14034 esprit-14034 disque-14034 droit-14034 eau-14034 caractéristique-14034 augmentation-14034 ville- ays-14034 emploi-14034 vue-14034 ligne-14034 niveau-14034 condition-14034 vitesse-14034 puissance-14034 commerce-14034 qualité-140 formation-14034 sécurité-14034 connaissance-14034 rapport-14034 patient-14034 base-14034 sol-14034 terre-14034 vie-14034 toit-14034 fo véhicule-14034 utilisation-14034 travailleur-14034 région-14034 résistance-14034 demande-14034 activité-14034 plan-14034 période-14034 n 034 cas-14034 valeur-14034 peuple-14034 moral-14034 respect-14034 langue-14034 majorité-14034 culture-14034 classe-14034 matériau-14 34 organe-14034 performance-14034 norme-14034 transport-14034 vente-14034 ménage-14034 salaire-14034 production-14034 consommatio prestation-14034 dispositif-14034 faculté-14034 grain-14034 ticket-14034 frottement-14034 vêtement-14034 fertilité-14034 volontaire-14035 sensible-14035 total-14035 général-14035 supplémentaire-14035 rapide-14035 dangereux-14035 normal-14035 possible-14035 interne-14035 5 provoqué-14035 présent-14035 relatif-14035 continu-14035 lié-14035 important-14035 significatif-14035 politique-14035 moral-14035 inte -14035 fiscal-14035 minimal-14035 marqué-14035 récent-14035 profond-14035 dramatique-14035 progressif-14035 réversible-14035 cardiov 035 mental-14035 cognitif-14035 prononcé-14035 subit-14035 lent-14035 temporaire-14035 généralisé-14035 définitif-14035 spectaculaire-14 14035 soudain-14035 anormal-14035 nouveau-14036 grand-14036 fort-14036 terrible-14036 constant-14036 profond-14036 léger-14036 sinis abaissement:f: affaiblissement (0.90)[4959] abaissement:g:-------------- doute-14001 prix-14001 temps-14001 esprit-14001 raison-14001 forme-14001 résultat-14001 preuve-14001 mesu 1 dommage-14001 effet-14001 voie-14001 cause-14001 mouvement-14001 facteur-14001 suite-14001 rôle-14001 conséquence-14001 politiqu -14001 indice-14001 tentative-14001 faveur-14001 dû-14004 lié-14004 simple-14007 extrême-14007 présenter-14009 permettre-14009 suppos user-14009 mesurer-14009 montrer-14009 comprendre-14009 favoriser-14009 subir-14009 constater-14009 observer-14009 provoquer-14009 indiquer-14009 entraîner-14009 prévoir-14009 impliquer-14009 constituer-14009 traduire-14009 induire-14009 pouvoir-14010 tenir-14010 pa 0 venir-14010 conduire-14010 arriver-14010 contribuer-14010 revenir-14010 disparaître-14010 lutter-14010 résulter-14010 correspondre-1401 aboutir-14010 devoir-14011 donner-14011 aller-14011 pouvoir-14011 permettre-14011 rendre-14011 devenir-14011 augmenter-14011 provoq 14011 entraîner-14011 inciter-14011 travail-14034 durée-14034 société-14034 action-14034 membre-14034 grand-14034 personne-14034 pou temps-14034 son-14034 point-14034 esprit-14034 droit-14034 centre-14034 pression-14034 ville-14034 pays-14034 emploi-14034 vue-14034 niveau-14034 condition-14034 puissance-14034 qualité-14034 plancher-14034 formation-14034 sécurité-14034 nombre-14034 rapport-14034 base-14034 protection-14034 vie-14034 tension-14034 véhicule-14034 parti-14034 travailleur-14034 région-14034 résistance-14034 demande 14034 activité-14034 charge-14034 espérance-14034 nature-14034 mort-14034 conscience-14034 parlement-14034 groupe-14034 valeur-1403 sentiment-14034 autorité-14034 rôle-14034 langue-14034 majorité-14034 culture-14034 classe-14034 courant-14034 exigence-14034 organe-1 14034 intérêt-14034 nation-14034 filtre-14034 fréquence-14034 volume-14034 bruit-14034 performance-14034 norme-14034 transport-14034
  11. 11. 11DTSI / Service Cognitique Robotique et Interaction similarité d’usage : exemple abaissement [4074]  relèvement  affaiblissement  détérioration  disparité  harmonisation  dépassement  accroissement  recul  revalorisation  fluctuation
  12. 12. 12DTSI / Service Cognitique Robotique et Interaction similarité abaissement [4074] relèvement <88| affaiblissement détérioration disparité harmonisation dépassement abaisseur [135] survolteur <85| triphasé hacheur <94| sérié sinusoïdal monophasé redresseur <96| di abandon [22757] disparition exclusion séparation destruction <82| acceptation rupture suppression ad abandonné [11079] perdu occupé devenu isolé séparé <86| oublié construit détruit laissé fermé <88| abaque [347] thésaurus translateur idéogramme <95| sous-programme dynamomètre thermistance in abat [1631] abats <84| ragoût carcasse abattage <93| pâté brochette côtelette escalope volaille chep abattage [5454] abattoir <90| manutention stérilisation entreposage démolition incinération vaccination abattant [206] cassage paillis bécasse toupie entour pleurant embuscade <96| bodhisattva rosace défu abattement [4055] exonération <84| majoration <86| déduction <87| allégement barème plafonnement dé abatteur [142] boutefeu <94| scarification <95| flagellation libation terrassement soudeur <97| cathéter abattoir [4123] entrepôt abattage <89| boucherie raffinerie garderie aéroport mosquée <90| zoo succurs abattu [3602] tué <91| chassé endormi tombé assassiné capturé brisé détruit blessé couché <94| abbasside [504] sassanide <90| mérovingien ptolémaïque carolingien mycénien achéménide hellénistiq abbatiale [234] collégiale <91| transept <94| basilique abside rosace cathédrale carme aréole <96| ermi abbaye [7737] monastère <83| couvent <84| paroisse chapelle diocèse cathédrale <87| congrégation p abbé [17842] pape moine apôtre comte gouverneur prêtre cardinal <84| seigneur empereur pasteur <8
  13. 13. 13DTSI / Service Cognitique Robotique et Interaction pour chaque mot  toutes les relations  tous les concepts pour chaque paire de mot  similarité grouper des mots similaires créer un espace lexical  de concepts en concepts pour chaque langue conclusion
  14. 14. 14DTSI / Service Cognitique Robotique et Interaction Postdoc futurs Kris Jack  PhD Dundee, Ecosse • Modèle computationnel de l’acquisition de langage par pallier  Orange Labs (ancien France Telecom), Lannion • Depuis 12/06 • Projet sur la structuration de connaissance sur internet  Projet Carte Sémantique • Classifier les pages en entrée par domaine (économique, médical, sports, …) • Bâtir une carte sémantique par domaine
  15. 15. 15DTSI / Service Cognitique Robotique et Interaction Présentations publiques avec remerciements à la Fondation Jean-Luc Lagardère Grefenstette G « Mining the Web to Build a Complete, Large-Scale Language Model » NATO Advanced Study Institute on Mining Massive Data Sets for Security, September 2007, Gazzada ,Italy Grefenstette G « Conquering Language: using NLP on a massive scale to build high dimensional language models from the Web » 8th International Conference on Intelligent Text Processing and Computational Linguistics (CICLing - 2007), Feb 2007, Mexico City Pitel G, Grefenstette G, Millet C « Deriving A Priori Co-occurrence Probability Estimates for Object Recognition from Social Networks and Text Processing » 3rd International Symposium on Visual Computing (ISVC - 2007), Nov 2007, Lake Tahoe , USA Grefenstette G, Pitel G, « Image Specific Language Model: Comparing Language Models from Two Independent Distributions from FlickR and the Web » 9th International Conference on Intelligent Text Processing and Computational Linguistics CICLING 2008, Feb 2008, Haifa, Israel Pitel G, Grefenstette G « Semi-automatic Building Method for a Multidimensional Affect Dictionary for a New Language » 6th International Conference on Language Resources and Evaluation (LREC - 2008), May 2008, Marrakech, Maroc
  16. 16. 16DTSI / Service Cognitique Robotique et Interaction FIN
  17. 17. 17DTSI / Service Cognitique Robotique et Interaction Extra slides
  18. 18. 18DTSI / Service Cognitique Robotique et Interaction réseau de langage avion avion de guerre avion de combat avion de chasse crash d’avion bruit d’avion retard d’avion
  19. 19. 19DTSI / Service Cognitique Robotique et Interaction cartes
  20. 20. 20DTSI / Service Cognitique Robotique et Interaction Cartes Mots Analyse syntaxique Caractériser un mot Réseaux Concepts Technique  Parallelisation  Base de données
  21. 21. 21DTSI / Service Cognitique Robotique et Interaction Carte 15eme
  22. 22. 22DTSI / Service Cognitique Robotique et Interaction Google Earth
  23. 23. 23DTSI / Service Cognitique Robotique et Interaction mots Lexique de mots simples en français 75 000 avion formes conjuguées 400 000 avion, avions
  24. 24. 24DTSI / Service Cognitique Robotique et Interaction On ne trouve pas tout dans un dictionnaire? AVION, subst. masc. A. AÉRON. Appareil plus lourd que l'air, pouvant voler grâce à différents procédés et utilisé à des fins diver 1. Joseph ne pouvait pas vivre, aller à ses affaires, prendre le train ou l'avion, avec ce cahier sur soi, avec ses DUHAMEL, Chronique des Pasquier, La Passion de Joseph Pasquier, 1945, p. 189. 2. Henri conduirait de nouveau des autos, il piloterait des avions. S. DE BEAUVOIR, Les Mandarins, 1954, p. 17. SYNT. Bourdonnement d'avion; un avion décolle, descend, pique, se pose; voir d'avion. B. Spéc. dans différents domaines techn. 1. AÉROPOST. (TECHN.). Par avion. Expression mentionnée sur les envois postaux empruntant ce moyen de t 2. ARM. et lang. milit. Combat d'avions, escadrille d'avions (Ac. 1932); avion de chasse, de combat (Ac. 1932); a 3. Il n'en viendra plus [des zeppelins], il n'en viendra plus, qu'est-ce que tu en sais? Quand tu auras comm PROUST, Le Temps retrouvé, 1922, p. 813. 4. Parfois, des avions de reconnaissance, qui volaient assez bas pour qu'on distinguât l'étoile rouge de leur ca AMBRIÈRE, Les Grandes vacances, 1946, p. 332. Avion-suicide. Appareil utilisé par les Japonais à la fin de la Seconde Guerre Mondiale, destiné à s'écraser, Défense contre avions. Ensemble de procédés destinés à la recherche et à la destruction des avions ennemis 5. Les avions ne veulent plus de moi, bon. Faites-moi entrer dans la défense contre avions. MALRAUX, L'Espoir, 1937, p. 500. Rem. Attesté ds ROB., Lar. encyclop. 3. INDUSTR. et lang. techn. Empennage d'avion, fuselage d'avion : • Pas de fréquence • Pas de syntaxe • Pas de liste complète de concepts Description pour l’homme, non pour une machine Explique ce qui n’est pas évident
  25. 25. 25DTSI / Service Cognitique Robotique et Interaction Langage sur le Web Estimation of the volume of English and non English Words available on the WWW Search Engines Conference 2004, The Hague
  26. 26. 26DTSI / Service Cognitique Robotique et Interaction Que faire avec le web? (1) … héliastes 445 hélice 211000 hélices 121000 hélichryses 10 héliciculture 842 hélicicultures 7 hélicier 48 héliciers 14 hélico 143000 hélicoïdal 13800 hélicoïdale 13700 hélicoïdales 1150 hélicoïdaux 8680 hélicoïde 421 hélicoïdes 275 hélicon 1910 héliconienne 9 héliconiens 10 hélicons 108 hélicoptère 723000 hélicoptères 535000 hélicos 65200 héligare 73 héligares 8 hélio 17300 héliocentrique 3380 héliocentriques 482 héliocentrisme 1980 héliocentrismes 0 .. prendre 2602 billet 2580 pouvoir 2392 faire 2186 aller 1864 aéroport 1820 vol 1510 devoir 1324 voir 1118 arriver 970 pilote 950 passager 894 tout 874 ligne 870 petit 820 dire 810 premier 802 savoir 798 transport 746 très 726 train 714 air 704 décoller 676 piste 630 bien 628 aussi 624 venir 616 militaire 608 vouloir 594 partir 592 fait 586 hôtel 580 américain 578 comptes WWW des mots français Mots trouvés avec ‘avion’
  27. 27. 27DTSI / Service Cognitique Robotique et Interaction Que faire avec le web? (1) … héliastes 445 hélice 211000 hélices 121000 hélichryses 10 héliciculture 842 hélicicultures 7 hélicier 48 héliciers 14 hélico 143000 hélicoïdal 13800 hélicoïdale 13700 hélicoïdales 1150 hélicoïdaux 8680 hélicoïde 421 hélicoïdes 275 hélicon 1910 héliconienne 9 héliconiens 10 hélicons 108 hélicoptère 723000 hélicoptères 535000 hélicos 65200 héligare 73 héligares 8 hélio 17300 héliocentrique 3380 héliocentriques 482 héliocentrisme 1980 héliocentrismes 0 .. prendre 2602 billet 2580 pouvoir 2392 faire 2186 aller 1864 aéroport 1820 vol 1510 devoir 1324 voir 1118 arriver 970 pilote 950 passager 894 tout 874 ligne 870 petit 820 dire 810 premier 802 savoir 798 transport 746 très 726 train 714 air 704 décoller 676 piste 630 bien 628 aussi 624 venir 616 militaire 608 vouloir 594 partir 592 fait 586 hôtel 580 américain 578 comptes WWW des mots français Mots trouvés avec ‘avion’
  28. 28. 28DTSI / Service Cognitique Robotique et Interaction Que faire avec le web? (2) indestructible 185,526 atterrir 146,885 décoller 136,29 survoler 136,263 passager 91,8807 étayer 69,9139 bagage 57,6271 atterrissage 57,0921 aéroport 56,5217 missile 55,1558 décollage 46,7571 billet 45,2632 hélicoptère 40,9405 détournement 33,6969 piloter 29,5165 transporter 25,5224 aérien 25,4794 sembler 25,3769 détourner 24,7641 voler 24,2654 pilote 22,8365 plaire 20,5095 fabriquer 18,9474 crash 18,705 devoir 17,2396 vol 16,7035 terroriste 16,1963 descente 16,1081 piste 15,9091 descendre 14,6341 voyager 12,4265 arriver 11,9018 bateau 10,5651 militaire 10,5009 accident 9,27184 diriger 9,02655 comptes WWW des mots français Mots fortement associés avec ‘avion’ … héliastes 445 hélice 211000 hélices 121000 hélichryses 10 héliciculture 842 hélicicultures 7 hélicier 48 héliciers 14 hélico 143000 hélicoïdal 13800 hélicoïdale 13700 hélicoïdales 1150 hélicoïdaux 8680 hélicoïde 421 hélicoïdes 275 hélicon 1910 héliconienne 9 héliconiens 10 hélicons 108 hélicoptère 723000 hélicoptères 535000 hélicos 65200 héligare 73 héligares 8 hélio 17300 héliocentrique 3380 héliocentriques 482 héliocentrisme 1980 héliocentrismes 0 ..
  29. 29. 29DTSI / Service Cognitique Robotique et Interaction Caractériser un mot avion COD_V( avion , prendre ) (737) SUJ_V( avion , pouvoir ) (115) SUJ_V( avion , décoller ) (115) SUJ_V( avion , atterrir ) (82) COD_V( avion , fabriquer ) (80) SUJ_V( avion , devoir ) (79) COD_V( avion , voir ) (75) SUJ_V( avion , survoler ) (74) SUJ_V( avion , faire ) (73) SUJ_V( avion , aller ) (73) SUJ_V( avion , arriver ) (68) SUJ_V( avion , voler ) (61) COD_V( avion , reprendre ) (59) COD_V( avion , détourner ) (59) COD_V( avion , piloter ) (56) SUJ_V( avion , venir ) (54) COD_V( avion , utiliser ) (54) COD_V( avion , abattre ) (54) concepts structures syntactiques abattre accident acheter aile aimer air aller altitude amener américain annoncer apparaître appareil appeler aérien arme armée aéroport arrivé arrivée arriver arrêter attendre atterrir atterrissage avancer aviation bagage bateau billet bombe bord bruit bus cabine cargo chambrer char chasse ciel civil combat commencer commercial compagnie complet constru continuer contrôleur crash croire décider déclarer décollage décoller demander descendre descente destination devoir diriger distance dormir départ déplacement détourné détournement détourner détruire effectuer embarquement embarquer emmener empêcher ennemi entendre en escale essayer exister expliquer exploser explosion fabriquer faillir faire finir flotte frapper gêner heure hélice hélicoptère horaire hôtel indestructible indiquer israélien j laisser lâcher léger maintenance manquer marcher matin matériau militaire missile monder monter moteur navire noir nuit observer occuper parler passager passeport passer payer billet_avion (671) avion_ligne (178) accident_avion (95) avion_combat (92) avion_militaire (83) avion_petit (81) avion_chasse (80) pilote_avion (76) avion_premier (75) détournement_avion (67) descente_avion (66) voyage_avion (58) vol_avion (57) type_avion (51) avion_transport (51) place_avion (47) passager_avion (46) bruit_avion (45) avion_réaction (43) avion_civil (43) avion_américain (43) crash_avion (40) retard_avion (39) avion_privé (38) porte_avion (37) avion_hôtel (34) avion_hélice (34) maintenance_avion (33) avion_présidentiel (33) avion_ennemi (33) Mots fortement associés
  30. 30. 30DTSI / Service Cognitique Robotique et Interaction mise en oeuvre d’une carte
  31. 31. 31DTSI / Service Cognitique Robotique et Interaction WWW Very Large Lexical Network terms (dependency relations) + frequency, variants, context Crawl Entity Recognition Concept Extractor Language Identifier Domain Classifier Context Extractor technologie linguistique CEA LIST Storage and Computing power CEA LIST
  32. 32. 32DTSI / Service Cognitique Robotique et Interaction interface
  33. 33. 33DTSI / Service Cognitique Robotique et Interaction applications
  34. 34. 34DTSI / Service Cognitique Robotique et Interaction similarité d’usage Si on connaît les relations syntaxiques d’un mot et de tous les mots et l’on les compare quels mots sont semblables?
  35. 35. 35DTSI / Service Cognitique Robotique et Interaction concepts
  36. 36. 36DTSI / Service Cognitique Robotique et Interaction concepts, avec ‘avion’ en tête avion_ligne avion_chasse avion_combat avion_militaire avion_petit avion_poubelle avion_américain avion_premier avion_réaction avion_transport avion_civil avion_papier avion_commercial avion_présidentiel avion_français avion_vol avion_affaire avion_guerre avion_allemand avion_privé avion_cargo avion_aller avion_ennemi avion_cubain avion_hôtel avion_nouveau avion_supersonique avion_reconnaissance avion_tourisme avion_monde avion_pilote avion_retour avion_furtif avion_0 avion_léger avion_détourné avion_sol avion_passager avion_ravitailleur avion_gros avion_compagnie avion_décollage avion_plastique avion_location avion_espion avion_propre avion_anglais avion_airbus avion_aéroport avion_seul avion_demain avion_affrété avion_rafale avion_ciel avion_allié avion_renifleur avion_abattu avion_sanitaire avion_japonais avion_spécial avion_régional avion_pays avion_israélien avion_air avion_type avion_moderne avion_recherche avion_personnel avion_soviétique avion_deuxième avion_citerne avion_tour avion_futur avion_bombardier avion_ambulance avion_utilisé avion_russe avion_nord avion_hélice avion_compris avion_destination avion_dernier avion_britannique avion_touriste avion_taxi avion_spatial avion_piloté avion_invisible avion_bombardement avion_télécommandé avion_souple avion_royal avion_président avion_lourd avion_départ avion_d avion_aile avion_actuel avion_noir avion_géant avion_européen avion_bel avion_tel avion_séjour avion_radar avion_moteur avion_instrumenté avion_flotte avion_entraînement avion_classe avion_carton avion_canadien avion_arme avion_ancien avion_ville avion_second avion_nombreux avion_détruit avion_train avion_surveillance avion_saboté avion_provenance avion_patrouille avion_nucléaire avion_mirage avion_lac avion_italien avion_conventionnel avion_cinquante avion_brousse avion_vrai avion_vieux avion_vacances avion_vacance avion_trimoteur avion_terroriste avion_suspect avion_promotion avion_promis avion_place avion_occasion avion_lanceur avion_hercule avion_flamme avion_époque avion_disponible avion_discount avion_chypriote avion_capable avion_bon avion_belge avion_avion avion_téléguidé avion_suivant avion_solaire avion_réunionnais avion_réel avion_rapide avion_ra avion_question avion_prévu avion_postal avion_piste avion_piraté avion_nuit avion_nommé avion_nolisé avion_mis avion_marocain avion_long avion_lance avion_indien avion_grand avion_électrique avion_douane avion_charter avion_bord avion_voyage avion_voltige avion_turbopropulseur avion_travers avion_ski avion_sauvetage avion_ravitaillement avion_priver avion_prêt avion_possible avion_porteur avion_occidental avion_mythique avion_modèle avion_mission avion_miraculeux avion_meilleur avion_main avion_jaune avion_flingue avion_existant avion_escorte avion_différent avion_billet avion_atterrissage avion_ami avion_acheté avion_accidenté
  37. 37. 37DTSI / Service Cognitique Robotique et Interaction concepts, ‘avion’ comme modifieur billet_avion vol_avion pilote_avion accident_avion voyage_avion porte_avion aile_avion détournement_avion moteur_avion bruit_avion crash_avion chute_avion descente_avion place_avion type_avion transport_avion passager_avion peur_avion sortie_avion arrivée_avion serpent_avion écrasement_avion pilotage_avion réacteur_avion pièce_avion bombe_avion décollage_avion cabine_avion réservation_avion e_avion commande_avion trajet_avion passage_avion retour_avion pas_avion déplacement_avion sécurité_avion entretien_avion siège_avion conception_avion carburant_avion attentat_avion mouvement_avion débris_avion nuit_avion information_avion location_avion cellule_avion bord_avion atterrissage_avion utilisation_avion ticket_avion production_avion prochain_avion pliage_avion explosion_avion équipage_avion queue_avion partie_avion nez_avion maquette_avion maintenance_avion impact_avion hélice_avion départ_avion arrière_avion vitesse_avion soute_avion horaire_avion envoi_avion contrôle_avion construction_avion bris_avion aéroport_avion ventilation_avion trajectoire_avion retard_avion programme_avion hangar_avion cockpit_avion attaque_avion achat_avion vue_avion fuselage_avion flotte_avion descendant_avion atmosphère_avion toilettes_avion toilette_avion pied_avion peinture_avion marché_avion constructeur_avion transfert_avion structure_avion propriétaire_avion problème_avion modèle_avion escadrille_avion destruction_avion défense_avion tour_avion système_avion photo_avion performance_avion parties_avion identification_avion cas_avion action_avion accès_avion temps_avion sol_avion nombre_avion monde_avion jeu_avion hublot_avion heure_avion fond_avion embarquement_avion d_avion cimetière_avion choix_avion changement_avion air_avion victime_avion usage_avion traînée_avion terroriste_avion survol_avion sorte_avion sillage_avion projet_avion poids_avion personne_avion livraison_avion danger_avion colis_avion catégorie_avion capacité_avion bombardement_avion axe_avion avion_avion aller_avion acquisition_avion voisin_avion vie_avion turbine_avion simulateur_avion sauvetage_avion reste_avion position_avion phobie_avion parti_avion parler_avion mesure_avion haut_avion fois_avion fabrication_avion fabricant_avion exploitation_avion essence_avion développement_avion coût_avion compagnie_avion affaire_avion voyageur_avion vente_avion trace_avion seulement_avion pulvérisation_avion prix_avion poste_avion pneumatique_avion montagne_avion modernisation_avion missile_avion masse_avion manif_avion lieu_avion kérosène_avion guidage_avion givrage_avion extérieur_avion expédié_avion équipement_avion ensemble_avion drague_avion direction_avion demi_avion contrebande_avion certification_avion base_avion arrosage_avion altitude_avion
  38. 38. 38DTSI / Service Cognitique Robotique et Interaction fin
  39. 39. 39DTSI / Service Cognitique Robotique et Interaction Utilisation of the Model Language Processing, choice between alternatives  Machine Translation • tighten the nut: serrer le boulon (1130), serrer la noix (259)  Speech-to-Text • Text spoken: – le pape est apparu très fatigué il a célébré l' eucharistie le dernier repas du christ mais il a renoncé au lavement des pieds • Output of Speech-to-Text: – rome le pape est apparu très fatigué il a célébré le péristyle le dernier repas du christ et mais il a renoncé au lavement didier • If we had stored the following relations, better choice – SUBJ (célébrer, eucharistie) – NNPREP (lavement, pieds)
  40. 40. 40DTSI / Service Cognitique Robotique et Interaction Utilisation of the Model Generation of World Knowledge  association of concepts • Colors associated with things – skies: blue 439000, grey 28400, gray 23400 – rice : brown 384000, white 261000, golden 27800 – teeth : white 135000, gold 42900, yellow 25700 – apples : golden 126000, green 45600, red 30900 • Co-location • Emotional content of words Semantic Google  what concepts are associate with other concepts Analyse, classification of language
  41. 41. 41DTSI / Service Cognitique Robotique et Interaction Competition Google a créé une liste de toutes les séquences de 5 mots qui apparaissent au moins 40 fois dans 1 011 582 453 213 de mots de textes qu’ils ont indexés. Ça fait 1 146 580 664 séquences avec leurs fréquences. http://googleresearch.blogspot.com/2006/08/all-our-n- gram-are-belong-to-you.html Ils comptent distribuer ces séquences sur 6 DVDs via le LDC (Linguistic Data Consortium) http://www.ldc.upenn.edu/ Ils utilisent déjà ce modèle pour, entre autres, leur système de traduction automatique, que l’on peut essayer ici : http://translate.google.com/translate_t
  42. 42. 42DTSI / Service Cognitique Robotique et Interaction Google trillion word language model
  43. 43. 43DTSI / Service Cognitique Robotique et Interaction Brique Manquante de la Connaissance Humaine Comment tous les mots sont-ils vraiment utilisés? • dictionnaires ne contiennent que les « cas difficiles », ordinateur doit connaître « cas ordinaires » Combien de concepts existent? • 200 000 mots, mais combien de millions, de milliards de concepts sont utilisés ? • 13 milliards de mots français sur le Web en 2004 (Grefenstette, Search Engines’2004) Quels concepts sont rattachés à quels domaines? • politique, médecine, finance, prolifération nucléaire, développement durable, sports, …
  44. 44. 44DTSI / Service Cognitique Robotique et Interaction Applications Veille, Filtrage, « Google sémantique »  quelles sont les personnes, les institutions les plus souvent associées à un concept ? Les autres concepts ?  Quels concepts sont associés a un domaine? Traduction • modèles lisses de langage • quelle est la façon la plus probable de traduire une expression dans un domaine? Modélisation du monde  Analyse d’image – quels sont les objets que l’on pourrait distinguer dans une cuisine, sur la plage, à la montage?  Robotique – quels sont les objets que l’on peut « saisir, manipuler, prendre, poser,… »?
  45. 45. 45DTSI / Service Cognitique Robotique et Interaction Google: billion mots Google a créé une liste de toutes les séquences de 5 mots qui apparaissent au moins 40 fois dans 1 011 582 453 213 de mots de textes qu’ils ont indexés. Ça fait 1 146 580 664 séquences avec leurs fréquences. http://googleresearch.blogspot.com/2006/08/all-our-n- gram-are-belong-to-you.html Ils comptent distribuer ces séquences sur 6 DVDs via le LDC (Linguistic Data Consortium) http://www.ldc.upenn.edu/ Ils utilisent déjà ce modèle pour, entre autres, leur système de traduction automatique, que l’on peut essayer ici : http://translate.google.com/translate_t
  46. 46. 46DTSI / Service Cognitique Robotique et Interaction Google’s 5-gram model
  47. 47. 47DTSI / Service Cognitique Robotique et Interaction Timing Having collected 46 310 URLS containing  voiture +le +que +la +pour +et  The string « +le +que +la +pour +et » is the language anchor On each URL:  Fetch page (using wget, one try, timeout==3)  Recode page into UTF8 (using recode)  Transform HTML to text (using lynx)  Test language (using detectLanguage)  Analyze text (using analyzeText, allowing 3 sec+1 sec per 4 Kb) Sizes  33 125 French content treated (290 Mb text extracted by lynx)  13 185 URLs: timeout wget, empty, non French  Analyzed text 1.3GB • Grammatical relations: 363 MB • Named entities: 16 Mb • Compounds: 99 Mb • Five Grams: 789 MB Times including fetching and analysis  Start: sept 6 @ 14:58 Finish: sept 8 @ 8:13  2 475 minutes 13 URL/min
  48. 48. 48DTSI / Service Cognitique Robotique et Interaction Estimates from ‘voiture’ test Percentage of ‘good’ URLS: 72% - 75 %  Non null French content  Query: voiture +le +que +la +pour +et Space:  input: 8KB (raw page size) per good URL • Standard deviation: 50,000 (8 files over 1 MB)  Output: 14.5 KB per good URL  Output analyzed by NLP 2.3 MB per URL Time, Fetching and analyzing  3-19 URL/minutes (13 good)  36-200 days per million URL (750K good)  We have over 5 million URL to treat for French words  This should take less than 10 Terabyes
  49. 49. 49DTSI / Service Cognitique Robotique et Interaction Grammatical relations -- voiture 97 ADJPRENSUB( petite , voiture ) 78 ADJPRENSUB( belle , voiture ) 65 ADJPRENSUB( nouvelle , voiture ) 40 ADJPRENSUB( même , voiture ) 36 ADJPRENSUB( vieille , voiture ) 35 ADJPRENSUB( deux , voitures ) 30 ADJPRENSUB( seule , voiture ) 30 ADJPRENSUB( belles , voitures ) 29 ADJPRENSUB( bonne , voiture ) 27 ADJPRENSUB( première , voiture ) 3 COD_V( voiture , conduire ) 1 COD_V( voitures , voir ) 1 COD_V( voiture , possèder ) 1 COD_V( voiture , garer ) 1 COD_V( voiture , est ) 1 COD_V( voiture , avoir ) 28 COMPADJ( voiture , accessible ) 4 COMPADJ( voiture , sorti ) 4 COMPADJ( voitures , modèles ) 4 COMPADJ( voiture , seuls ) 4 COMPADJ( voitures , applicables ) 4 COMPADJ( voiture , renversé ) 4 COMPADJ( voiture , propriétaire ) 4 COMPADJ( voiture , écrasé) 4 COMPADJ( voiture , accessibles ) 3 COMPADJ( voiture , monté ) 512 COMPDUNOM( voiture , accident ) 204 COMPDUNOM( voiture , location ) 121 COMPDUNOM( voiture , Location ) 116 COMPDUNOM( voiture , coffre ) 113 COMPDUNOM( voiture , volant ) 90 COMPDUNOM( course , voiture ) 77 COMPDUNOM( sport , voiture ) 73 COMPDUNOM( voiture , jeu ) 67 COMPDUNOM( location , voiture ) 64 COMPDUNOM( voiture , arrière ) 111 SUBADJPOST( piégée , voiture ) 85 SUBADJPOST( électrique , voiture ) 72 SUBADJPOST( neuve , voiture ) 71 SUBADJPOST( particulière , voiture ) 64 SUBADJPOST( particulières , voitures ) 58 SUBADJPOST( neuves , voitures ) 56 SUBADJPOST( rouge , voiture ) 43 SUBADJPOST( propre , voiture ) 38 SUBADJPOST( anciennes , voitures ) 31 SUBADJPOST( volante , voiture )
  50. 50. 50DTSI / Service Cognitique Robotique et Interaction Grammatical relations -- bois 764 SUBADJPOST( Dormant , Bois ) 288 SUBADJPOST( massif , bois ) 211 SUBADJPOST( Francs , Bois ) 198 SUBADJPOST( mort , bois ) 163 SUBADJPOST( tropicaux , bois ) 153 SUBADJPOST( dur , bois ) 141 SUBADJPOST( précieux , bois ) 134 SUBADJPOST( rond , bois ) 116 ADJPRENSUB( petit , bois ) 102 SUBADJPOST( sec , bois ) 101 SUBADJPOST( peint , bois ) 101 SUBADJPOST( franc , bois ) 97 SUBADJPOST( vert , bois ) 48 COD_V( bois , couper ) 35 COD_V( bois , chercher ) 31 COD_V( bois , sortir ) 24 COD_V( bois , utiliser ) 21 COD_V( bois , travailler ) 20 COD_V( bois , touche ) 20 COD_V( bois , coupe ) 18 COD_V( bois , utilisent ) 18 COD_V( bois , sont ) 18 COD_V( bois , ramasser ) 16 COD_V( bois , produire ) 16 COD_V( bois , acheter ) 15 COD_V( bois , sort ) 10 COMPADJ( bois , Déco ) 8 COMPADJ( bois , meubles ) 8 COMPADJ( bois , maisons ) 8 COMPADJ( bois , fraises ) 6 COMPADJ( bois , taillé ) 6 COMPADJ( bois , maison ) 6 COMPADJ( bois , feu ) 6 COMPADJ( bois , fabriqués ) 534 COMPDUNOM( chauffage , bois ) 499 COMPDUNOM( bois , langue ) 421 COMPDUNOM( oeuvre , bois ) 419 COMPDUNOM( bois , feu ) 329 COMPDUNOM( Bois , Belle ) 271 COMPDUNOM( bois , chauffage ) 247 COMPDUNOM( bois , industrie ) 238 COMPDUNOM( bois , travail ) 219 COMPDUNOM( bois , cuillère ) 210 COMPDUNOM( bois , morceau ) 764 SUBADJPOST( Dormant , Bois ) 288 SUBADJPOST( massif , bois ) 211 SUBADJPOST( Francs , Bois ) 198 SUBADJPOST( mort , bois ) 163 SUBADJPOST( tropicaux , bois ) 153 SUBADJPOST( dur , bois ) 141 SUBADJPOST( précieux , bois ) 134 SUBADJPOST( rond , bois ) 102 SUBADJPOST( sec , bois ) 101 SUBADJPOST( peint , bois )
  51. 51. 51DTSI / Service Cognitique Robotique et Interaction Compounds -- bois 598 bois_dormant 479 belle_bois_dormant 238 bois_chauffage 235 bois_Åuvre 214 langue_bois 192 feu_bois 169 bois_franc 145 bois_massif 143 cuillère_bois 112 morceau_bois 111 travail_bois 111 bois_Boulogne 108 chauffage_bois 107 industrie_bois 105 pièce_bois 104 bois_tropical 103 maison_bois 95 bois_mort 94 emballage_bois 92 bois_rond 91 matériau_emballage_bois 88 sculpture_bois 86 bout_bois 81 transformation_bois 79 bois_dur 76 gravure_bois 74 bois_exotique 73 jambe_bois 72 planche_bois 72 bois_feu 72 bois_colombe 71 bois_énergie 63 bois_petit 62 bois_précieux 61 poêle_bois 58 bois_Vincennes 53 bois_chauffe 51 copeaux_bois
  52. 52. 52DTSI / Service Cognitique Robotique et Interaction Counts of word forms citrus 105000 civadière 270 civadières 9 cive 2170 civelle 890 civelles 1070 civelots 66 cives 3800 civet 44900 civets 860 civette 88200 civettes 1470 civière 51400 civières 8950 civil 4420000 civile 5950000 civilement 70600 civiles 1700000 civilisa 507 civilisai 2 civilisais 2 civilisait 115 civilisâmes 0 civilisant 231 civilisas 3 civilisasse 0 civilisasses 1 civilisassiez 0 civilisateur 13700 civilisateurs 1830 civilisation 2600000 civilisations 1310000
  53. 53. 53DTSI / Service Cognitique Robotique et Interaction 5-grams ‘voiture’ sur 30 million de mots 164 dans un accident de voiture 116 hôtel Vols Location voitures Séjours 116 d hôtel Vols Location voitures 106 dans un accident de voiture. 78 d un accident de voiture 64 attentat à la voiture piégée 59 de sortir de la voiture 58 vous soyez : voiture trains 58 voiture trains bateaux tunnels ascenseurs 58 : voiture trains bateaux tunnels 58 soyez : voiture trains bateaux 58 que vous soyez : voiture 58 au volant de sa voiture 54 voiture me fait allonger sur 54 sortir de la voiture me 54 la voiture me fait allonger 54 de la voiture me fait 51 En ville sans ma voiture 46 L impossible « voiture propre 44 jeu de course de voiture 42 un attentat à la voiture 41 video portables pc voiture informatique 41 portables pc voiture informatique 40 au volant d une voiture
  54. 54. 54DTSI / Service Cognitique Robotique et Interaction Names associated with ‘voiture’ Megane+1.9d 408 342 1,19591 Discovery+Walker 249 191 1,3089 Vel+Satis 102000 76801 1,32812 Asus+EN7600GT 28200 19101 1,47641 Shell+Helix 411 256 1,60938 Quattro+Tour+Deluxe 370 222 1,67117 Franais+Allemand+De+Portugese 179 103 1,74757 Travel+Systems 412 207 1,99517 Snitz+Forums 311000 155001 2,00645 Norbert+Haug 869 429 2,02797 Bertrand+Godin 947 446 2,12556 Antonio+Pizzonia 873 399 2,19048 Michael+Schumacher 558000 251001 2,2231 Jean+Todt 51400 22801 2,25433 ViaMichelin+Navigation 86400 37401 2,31013 Patrick+Zaniroli+Promotion 282 121 2,33884 Gilles+Villeneuve 60800 22901 2,65495 Project+Gutenberg 179000 64001 2,79685 Tuning+Virtuel 45700 16301 2,80357 Ron+Dennis 52500 18301 2,86875 Fernando+Alonso 394000 137001 2,8759 Williams-BMW 46600 15801 2,94924 Al-Jazira 307000 101001 3,03958 Bernie+Ecclestone 41100 13001 3,16137 Project+Gutenberg+Literary 45400 13901 3,26602 Jacques+Villeneuve 214000 64001 3,34371 Sainte-Agathe 534000 159001 3,35848 Red+Bull 425000 126001 3,373 Matt+Damon 333000 91201 3,65129 Magny+Cours 440000 119001 3,69746 World+Series 280000 74901 3,73828 Paul+Ricard 102000 27201 3,7499 (Frequency, Freq with voiture, Mutual Information
  55. 55. 55DTSI / Service Cognitique Robotique et Interaction Mutual Information Prob (word1) X Prob (word2) Prob (word1,word2) Probability of finding each word separately, divided by the probability of finding the two words together. Probability estimated by inverse frequency.
  56. 56. 56DTSI / Service Cognitique Robotique et Interaction Found around ‘voiture’ in a five word window 200 words with highest Mutual Information: accident accidentée accidents achetiez achetons adaptateur alarmes aménagée arrêta arrêtée arriva assurance attelée auberges autobus autocar avion balade balai balais banalisée baptêmes bateaux batterie blindée bloquée brûler cambriolage camion capotes caravane carcasse carcasses carrosserie cascades chandelles chargeur chauffeur chihuahua cigare circulait circulant citadine climatisations climatisée commandée compétitive comprimé conducteur conduire conduis conduisait conduisant conduisez confiez confirmez course covoiturage criblée dans décapotable défectueuse démarre démarrée déplacez désordonnés diesel dune écologique égarent électrique endommagée enfiler enrouleur équipée estampillée explosé exploser fabriquée flambe foin freine garage garantissent garé garée garer garez hammamet heurte heurté hybride hydrogène immatriculée immatriculer immergée immobilise immobilisée immobiliser incendiée individuelle klaxonne lavage lavages lavant laver laveur lavez leasing limousine location locations louage louant loué louée louer loueur luxe luxueuse mariés miniature minibus minutes monospace moto motorisée munie néon nettoyage panne parcourus parking particulière passionnée patrouille pédale pédales peinte percute percuté performante perpétré piégée pilotée piloter pilotera pneu pneus polluante pollue portière portières pourrie poursuites promène pulvérisée radiocommandée remorque renverse répare réparé réparée réparer repeindre réservant roulait roulant roule roulent rouler rutilante scooter sport stationnée stationnement stationner stéréo suivais survenu taxi télécommandée téléguidée thermique thermiques tonneau trains trajet trajets transportant vélo vieille virée vitres voiture volante volé volée voler
  57. 57. 57DTSI / Service Cognitique Robotique et Interaction Found around ‘Bois’ in a five word window 200 words with highest Mutual Information: acajou acier aluminium ameublement approvisionnement arbre arbres baguette baguettes bambou banc bancs bateaux belle billes bois bouts brochettes bronze brut cabane cabanes caisse caisses carton cerf chaise chaises chalet chalets champignons charbon charpente chauffage chauffe chauffer chaufferie chaufferies ciseau coffret colle combustible combustion construction constructions construit construites construits copeaux cordes couper coureur coureurs couvert croix cuiller cuir cuivre cuivres dans debout descendre dormant dune dur durs elfe elfes emballage escalier essences est exotique exotiques exportations fer fers feu feuilles feuillus feux fibre fibres finition flottage four foyer fraise fraises franc grain gravure gravures grumes gueule huile humide industrie industries initial jambe jouets laine langue lattes machines maisons manche marbre massif massifs menuiserie meuble meubles mobilier morceau morceaux murs naturel naturels noble ossature paille palettes panneau panneaux pans papier parquet parquets peint peinture pierre pierres pin pins placage planche plancher planchers planches planchettes plaque plastique polychrome pont ponts poteaux pour poutre poutres prairies producteurs provenant ramasser recouvert robin rond rondins ronds sabre santal sapins sciage scie scier sciure sculpteur sculpture sculptures sec secs sombre sortent sous spatule statue statues structure sur tas tendre tendres terrasse terrasses texture tige tissu tissus tortue transformation transport tropical tropicaux vaisseaux vernis verre vert verts volets
  58. 58. 58DTSI / Service Cognitique Robotique et Interaction Found in sentences containing ‘chien’ 200 words with highest Mutual Information: aboiement aboiements aboyait aboyant aboyer accessoires affamé affectueux aliment alimentation andalou animal animalier animaux attelage avalanche avalanches aveugle aveugles basset bâtard berger bergers bernois bêtises bichon bouffe bouledogue boutique bouvier brebis brosser canards caniche canine canines canins caravane caresse caresser chasse chassé chasser chasseur chenil cheval chèvre chienne chiennes chiens chiots cochon cocker collier colliers compagnie compagnon comportement comportementaliste conseils constellation constellations couché croquettes crotte crottes docile domestique dorment dressage dressé dysplasie écrasé éducation éduqué éduquer élevage élevages endormi enfant enfants enragé errant errants faïence famille fidèle flacon fourmi fourrière fourrure friandises galeux gamelle gardiennage gibier grenouilles grogne hamster hanche harnais havanais incorruptible jupons labrador lécher lièvre maigre maison maître mammifères mangent manieur mascotte méchant merdes miaule mickey molosse mordant mordre morsure morsures motoneige mouillé moutons musclé museau muselière nordiques nourrir nourriture obéissance odorat oiseaux pancarte pattes pédestre pedigree pelage peluche pension perroquet pigeons pisteur pistolet plumes policier poubelles prairie promenade promenades promenait promenant promené promène promènent promener promenez propreté propriétaire quilles ramassage ramasser randonnée randonnées raquette raquettes remorques remuant renard renifle renifler renifleur requin retriever rustique sacoches salauds sanglier savant shetland tatoué teigneux tempérament tiques toilettage toutou toxique traîneau traîneaux trappeur troupeau truffe truffier ultrasons vacciné vétérinaire viande voisin
  59. 59. 59DTSI / Service Cognitique Robotique et Interaction Found in sentences containing ‘chat’ 200 words with highest Mutual Information: abandonnés actualité adolescence adorable adulte affectueux agressif aimant aliment aliments angora animal animale animaux appartement appeler appelons aquaculture article articles attrape attraper avantageux avatar aviaire bavardage belette birman birmanie bleues boards borgne boutique braise cabaret canari canaux canine canton carnivore causerie célibataires cervelle chapeaute chapeauté charles charmant chartreux chasser chasseur chatière chaton chatons chatte chatterie chattes chenil chienne chiens chinchilla cochon cohabitation collier comiques communauté compagnon contes convivial corporel coussin craint crayon crevettes croisé croquettes dansent diabète dialoguer direct discussion discuter domestique domestiqué domestiques échaudé écrasé égyptien élevage éleveurs enfants énigmes envoyant errant errants fables familial familier féline félins femelle fenêtre fonctionnalité forestier formula forums fouetter fourrure français gamelle garderie gentil gouttière gratte gratuit griffe griffes grippe guilde hamster histoire indésirables infectieuse infection instantanée insuline irruption jouant langue léopard lesbien lièvre litière maigre mamans mammifère manger messagerie miaule miaulement miauler mignon motards mouette moustaches mouton musique norvégiennes nourrir nourriture oiseau orientaux paradoxe parasite paresseux pattes pelage pelote peluche pension perché perles persan persans photos pilule poisson prédateur prédation promène provisoirement puissiez questions rabbin refuge rejoindre renard rencontre rencontres réveiller romande ronronne sanglier sauvage siamois sorcière souris sphynx tatouage tiques toilettage toilette tortue toutou tutorial vétérinaire vétérinaires vibrer visioconférence voisine voyance
  60. 60. 60DTSI / Service Cognitique Robotique et Interaction Inteersection ‘chat’ and ‘chien’ accessoires adorable affectueux agressif aliment alimentation animal animaux bouffe boutique canine chasse chasser chasseur chatte cheval chiens cochon collier compagnie compagnon croquettes diabète domestique élevage éleveurs enfants errant fourrure gamelle gentil hamster miaule mignon mouton nourrir nourriture pattes pelage pension refuge renard sanglier toilettage vétérinaire vétérinaires voisin voisine
  61. 61. 61DTSI / Service Cognitique Robotique et Interaction Highest ranking words common to both ‘chien’ and ‘chat’ accessoires acheter actualité adopter adorable adulte affectueux agréable agressif aliment alimentation aliments amateur amateurs amoureux animal animale animation animaux appartement appelé appeler appelle archive article articles assurance attends aventure aventures belles blagues blanche bouche bouffe boutique bouton canine célèbre chanson chasse chasser chasseur chatte cherche cheval chiens client cochon collier communication compagnie compagnon comportement confort conseils contes couleur croisé croquettes derrière dessin détente diabète discussion disparu domestique domestiques donner dormir éditions éducation élevage éleveurs enfant enfants énorme entrer envers envoie errant espaces espèces étrange éviter exposition familial famille femelle fenêtre filles fleurs forums fourrure français francophone gamelle garder gentil gratuit gueule hamster histoire horoscope humain humeur humour intelligent interactif internet jardin laisse langage langue légende logiciel maison maître maîtres maladie manger meilleur meilleurs message miaule mignon montagne mouton musique nourrir nourriture objets officiel oiseau oiseaux oreilles panier parfait parler passant passion pattes pauvre pelage pension personnage personnages petite petits photos poisson poissons possibilité pourrez préféré préfère propriétaire propriétaires puisse quantité questions refuge regarder relation renard rencontre rencontrer ressemble retrouver rubrique sanglier sauvage sauvages sauver serais soirée sortir souhaitez souris sympathique taille téléphone toilettage travail trouverez univers utiliser vétérinaire vétérinaires viande virtuel vivant vivent voisin voisine voisins voiture volant voulait voulez
  62. 62. 62DTSI / Service Cognitique Robotique et Interaction ‘Flamme’ mots dans une relation de dépendance, plus haute information mutuelle absorption écart éclairer alimenter aller allumé allumage allumer allumette âme émission amour ancien ange animer apparaître arc ardent arrêter arrivée éteindre éternel étincelle atteindre attiser avoir bec bel blanc bleu bougie bourgeois brûler brûleur brûlure brasier briller briquet capitaine centenaire chaleur chalumeau chandelle ciel cierge colline combustion connaissance consumer contact corps couleur coup déclarer désir détecteur détection descendre devenir devoir diffusion dispositif divin doigt don doux dragon dune durée effet enfer entretenir enveloppe espoir esprit essai excellence extinction feu feuille fille film flamme foi fond forme four foyer froid front garder gardien gaz grandir hauteur indice initiation intérieur intensité ionisation jaillir jaune jet jeter jeu laminaire lampe lance lancer liberté long longueur lueur lumière main maintenir maison mariage matériau milieu militant modélisation monter mouvement mur noir nu nuit objet olympique orange paix papier parcours parer passage passer passion patriotique petit photométrie pilote porter porteur porteuse postal pouvoir présence présenter produire propagation proximité puissant régulateur rallumer ranimer résistance ravivage raviver révolution regard relais retardateur retour retrouver rose rouge sacré serviteur soldat soleil sortir souvenir stabilité structure symbole température thermique torche tout transmettre travers turbulent utiliser vacillant vaciller veilleuse venir vent vert vertical vie vif vin violet visible vitesse vivant yeux
  63. 63. 63DTSI / Service Cognitique Robotique et Interaction ‘Feu’ mots dans une relation de dépendance, plus haute information mutuelle ébullition éclair action aile élément élémentaire île alignement aller allumé allumer ambiance amour anneau antarctique épée épouse apparence appui épreuve arbre ardent arme armer armes arrière artifice étang éteindre éternel autel autobus autorisation avoir bactérien baiser baisser baptême bateau beurre bois bouche boule bouler brûlé brûler briller brousse calcul camp canon casserole ceinture cercle cesser chaleur champ chauffer cheminée cheval ciel circulation coin colonne comportement consumé consumer contrôle contrôleur couleur coup coupe couper couvrir cracher cracheur critique croisé croisement cuire cuisson cul déesse démon danger danse détruire dévorant dévorer descendre destruction dieu dirigé divin dommage doux dragon endommager enfer ennemi enregistrement entier essai extinction fer feu fille flamme forêt foyer fumée gauche glace glacier guerre historique hiver homicide huile immédiat importation inscrit intensité jaune jeté jeter joie joli jouer lac lune maîtrise mage magie maniement marcher marron mettre modéré montagne moyen mur nourri offrande oiseau opale ouvert ouvrer ouvrir paille parer petit piège plaine planète plume poêle porter possession pot potion poudre préparé préposé projecteur propagation propriétaire puissance réaction réduire rampe règne résistance rasoir recensement renard restriction retirer revenir rouge roulant sacré sacrifice signalisation soirée soldat suicide tempérament terre triangle tricolore trou véhicule vent vif visible volcan wok
  64. 64. 64DTSI / Service Cognitique Robotique et Interaction ‘embrasement’ mots dans une relation de dépendance, plus haute information mutuelle éclair éclater actuel allumer ambiance âme amertume amour appareil ardeur ère assister éteindre éternel étincelle automne éviter avoir bûcher baie banlieue barque beffroi bel bois bonhomme brusque céleste capitale carburant carnage causer cendre cercle char château chaudron ciel cité claquement clôture collectif condition conduire conflit constituer consumer corne corps couchant coucher couleur cour crainte crépusculaire dû déchet déclencher démoniaque danger départ dedans destruction devoir différencié dragon durée empêcher encourageant existence extérieur façade facteur féerique faible fatal ferme feu figure final flamme force foule foyer fratricide front frontière fumée gai général généralisé ghetto gigantesque grand guerre héroïne hippocampe horizon horrible huile ignition immédiat immense impossible inévitable incendie incestueux inconcevable incroyable infernal inquiétude inspiration instantané intérieur interne libanais limite liquide livide lueur lumière lumineux média médiatique magie magma magnifique mairie menace monde montagne moyen nébuleuse nef nucléaire opinion palais panique paraclet pataquès pavillon phaéton phénomène plaire pleurer poétique population profiter promesse province provoquer pyrotechnique quartier réclamer région régional raison reconnaissance religion rempart retarder risque risquer sacré semblable sens sentiment siège signifier social soleil soudain souvenir spectaculaire spirituel spontané structure subit suivi suivre symbolique tarasque tel temple terrible total transformateur univers universel végétation vaste veille ville violence vision vocation zone
  65. 65. 65DTSI / Service Cognitique Robotique et Interaction ‘embrasement’ ‘feu’ intersection allumer ambiance amour bois cercle ciel consumer couleur danger destruction dragon éclair éteindre éternel feu flamme foyer fumée guerre huile immédiat magie montagne moyen sacré ‘embrasement’ ‘flamme’ intersection allumer âme amour bel ciel consumer corps couleur dragon durée éteindre éternel étincelle feu flamme foyer front intérieur lueur lumière sacré soleil souvenir structure ‘flamme’ ‘feu’ intersection allumé allumer amour ardent briller brûler chaleur ciel consumer couleur coup descendre divin doux dragon enfer essai éteindre éternel être extinction feu fille flamme foyer intensité jaune jeter mur parer petit porter propagation résistance rouge sacré soldat vent vif visible
  66. 66. 66DTSI / Service Cognitique Robotique et Interaction intersection: feu, flamme, embrasement allumer amour ciel consumer couleur dragon éteindre éternel feu flamme foyer sacré
  67. 67. 67DTSI / Service Cognitique Robotique et Interaction Aide Externe Fondation Jean-Luc Lagardère finance 3 post-docs  DTSI/DIR/06-757 FPA 3 août 2006  50 k€ par an pour trois ans à partir de novembre 2006  Trois sujets post-doc • Utilisation de la carte sémantique pour la description automatique d’une image • Affiner la carte sémantique dans le domaine du sport • Ajout d’une source radio pour enrichir la carte sémantique  Inclusion dans communication et présentation du gala Petit Palais 27/11/06 FAME2 budget  Utilisation de machine Bull Tera-10  Achat d’un cluster DTSI/SRCI/LIC2M propre (fin Oct 2006)
  68. 68. 68DTSI / Service Cognitique Robotique et Interaction ‘avion d’industrie’ 1 fois sur WWW Texte d’origine  Supplies, industry leading Aircraft Supplies solutions, Airplane Supplies information, and Aircraft Supplies tips. See Discount Pilot Supplies. Site d’origine  http://www.aviate.biz/Aircraft-Suppliesli.html  Traduction Babelfish • http://babelfish.altavista.com/tr Texte traducteur automatique  « Les approvisionnements, principal avion d'industrie fournit des solutions, l'avion fournit l'information, et les approvisionnements d'avion incline. Voir les approvisionnements de pilote d'escompte. » Site fédérateur (spam)  http://supplies.garden-.aboutpestcont

×