Soutenance7dec[1]

218 vues

Publié le

  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Soutenance7dec[1]

  1. 1. Stratégies d’analysepour laCompréhension de la parole Vers une approche à base de Grammaires d’Arbres Adjoints Lexicalisées Soutenance de thèse Ariane Halber ENST 7 décembre 1999
  2. 2. Objectif Traitement de l’écrit parole reconnaissance / compréhension de parole Grammaires techniques LTAG d’intégration techniques d’analyse Instanciations linguistiques 2Position État de l’art Contribution Expérimentation Evaluation Conclusion
  3. 3. Cheminement Analyse squelette Unification de traits Analyse TAG Couplage RP-TALN Interfaces Vocales 3Position État de l’art Contribution Expérimentation Evaluation Conclusion
  4. 4. Interfaces Vocales… Cadres applicatifs Développer une interface vocale 2 expérimentations Conclusions 4Position État de l’art Contribution Expérimentation Evaluation Conclusion
  5. 5. Cadres Applicatifs Dialogue finalisé: Virtual Speaker 2 (+Coven) aide au choix de programme TV 800 mots / énoncés libres / domaine bien décrit / dialogue fin Requêtes à une base de textes: THISL recherche d’archives audiovisuelles BBC 40 000 mots / énoncés libres / domaine non décrit / interaction faible 5Position État de l’art Contribution Expérimentation Evaluation Conclusion
  6. 6. Une interface vocale? Quels composants? Le problème de la reconnaissance L’intégration 6Position État de l’art Contribution Expérimentation Evaluation Conclusion
  7. 7. Composants Reconnaissance de Parole réponse RP TALN système Traitement Automatique du Langage Naturel composant application 7Position État de l’art Contribution Expérimentation Evaluation Conclusion
  8. 8. Pb de la reconnaissance RP Explosion combinatoire modèle acoustiqu e do you hum.. have information on this election ? 8Position État de l’art Contribution Expérimentation Evaluation Conclusion
  9. 9. Intégration TALN «léger» RP do you and an half in four mention on this election ? modèle langage stat. acoustiqu (ngram) e règles de grammaire do you hum.. have information on this election ? 9Position État de l’art Contribution Expérimentation Evaluation Conclusion
  10. 10. Sorties de reconnaissance Graphe de mots / N-meilleures hypothèses RP 100 do you and an half in four mention on this election 94 do the sum in have information on this election 80 the you sum and have modèle langage stat. a for mention and is ale action ? acoustiqu (ngram) e règles de grammaire do you hum.. have do you and an half information on this election ? in four mention on this election ? 10Position État de l’art Contribution Expérimentation Evaluation Conclusion
  11. 11. Graphe de mots Holliwood Mike a nice good is and Anna die suede in I like a video Diana’s would on wedding hi-fi my the Woody hormon 11Position État de l’art Contribution Expérimentation Evaluation Conclusion
  12. 12. Composants meilleures réponse RP hypothèses TALN système Traitement Automatique du Langage Naturel composant application 12Position État de l’art Contribution Expérimentation Evaluation Conclusion
  13. 13. Traitement des énoncés enoncé oral réponse TALN système Do you hum.. have information on this film? analyse interaction interprétation dialogue No, not that one… composant I mean, Spielberg’s, application you bummer! 13Position État de l’art Contribution Expérimentation Evaluation Conclusion
  14. 14. Couplage RP > TALN meilleures réponse RP hypothèses TALN système modèle analyse interaction langage stat. interprétation dialogue acoustiqu (ngram) e règles de grammaire do you hum.. have do you and an half information on this election ? in four mention on this election ? 14Position État de l’art Contribution Expérimentation Evaluation Conclusion
  15. 15. Interfaces Vocales… Cadres applicatifs Développer une interface vocale 2 expérimentations Conclusions 15Position État de l’art Contribution Expérimentation Evaluation Conclusion
  16. 16. Analyse fine does-N0-deal-with-N1 S VP V V PP N Prep it does N0 deal with N1 [type : film-entity] [type : film-topic] 16Position État de l’art Contribution Expérimentation Evaluation Conclusion
  17. 17. Boucle de prédiction ? RP hyp dialogue.. filtre parseur paramètres grammaire acquis 17Position État de l’art Contribution Expérimentation Evaluation Conclusion
  18. 18. Boucle de prédiction (exemple) whom was the film wh-aux-N0-shot-(by) shot (die/by/bye/..) ? Does it deal with ? does-N0-deal-with-(N1) (you foes/UFOs/..) ? what time does it (smart/art/start/..) at? dialogue.. filtre parseur paramètres grammaire acquis 18Position État de l’art Contribution Expérimentation Evaluation Conclusion
  19. 19. Boucle de prédiction (avantages) prédictions retour vers la ? contextuelles reconnaissance analyse partielle (robuste) dialogue.. filtre parseur paramètres grammaire grammaire fine acquis du domaine 19Position État de l’art Contribution Expérimentation Evaluation Conclusion
  20. 20. Boucle de prédiction (problèmes) ambiguïté lexicale surgénération ? dialogue.. filtre parseur paramètres grammaire acquis (développement) (insuffisant) 20Position État de l’art Contribution Expérimentation Evaluation Conclusion
  21. 21. Analyse légère S VP NP Vaux NP NP PP Aux V Det N Prep KW I would like a video on Diana’s wedding Formulation KW 21Position État de l’art Contribution Expérimentation Evaluation Conclusion
  22. 22. Graphe de mots hi-fi Holliwood hormon the a nice Mike good is and Anna die suede in I like a video Diana’s would on wedding my Woody 22Position État de l’art Contribution Expérimentation Evaluation Conclusion
  23. 23. Filtrage progressif ngram filtre RP graphe moteur de parseur recherche.. grammaire règles sous-règles mots-clefs robustes 23Position État de l’art Contribution Expérimentation Evaluation Conclusion
  24. 24. Filtrage progressif (exemple) I would like a video ngram filtre on Diana’s wedding I would like a video on <> Diana’s wedding moteur de parseur recherche.. 24Position État de l’art Contribution Expérimentation Evaluation Conclusion
  25. 25. Filtrage progressif (avantages) fusion de ngram filtre connaissances moteur de parseur recherche.. grammaire légère analyses partielles (robustes) 25Position État de l’art Contribution Expérimentation Evaluation Conclusion
  26. 26. Filtrage progressif (problèmes) combinaison des ngram filtre critères ? moteur de parseur recherche.. rapidité / efficacité du statut et parsage parcours de ces règles ? (descendant) 26Position État de l’art Contribution Expérimentation Evaluation Conclusion
  27. 27. Interfaces Vocales… Cadres applicatifs Couplage RP-TALN 2 expérimentations Conclusions 27Position État de l’art Contribution Expérimentation Evaluation Conclusion
  28. 28. Cahier des Charges Une analyse à la fois... filtrante fine hypothèses de reconnaissance interprétation robuste oralité, erreurs RP, couverture grammaire rapide contrainte temps réel La quadrature du cercle? 28Position État de l’art Contribution Expérimentation Evaluation Conclusion
  29. 29. Adéquation des LTAG? lexicalisation schémas unités syntaxiques sémantiques filtrante fine analyse lexicale finesse syntaxique + sémantique robuste schémas oraux / analyse partielle / dépendances heuristiques rapide C’est par ici 29Position État de l’art Contribution Expérimentation Evaluation Conclusion
  30. 30. Analyse TAG efficace... Introduction aux grammaires LTAG Analyser un énoncé... Trois techniques Un cadre pour les unifier Applications 30Position État de l’art Contribution Expérimentation Evaluation Conclusion
  31. 31. Grammaire de la langue Substitution - argument S V Paul aime le bon pain N0 aime N1 N N N Det Adj Paul le bon pain 31Position État de l’art Contribution Expérimentation Evaluation Conclusion
  32. 32. Formalisme TAG X substitution X X 32Position État de l’art Contribution Expérimentation Evaluation Conclusion
  33. 33. Grammaire de la langue Adjonction - modifieurs N le bon petit pain N N Det N N Adj Adj N bon N* Det le petit pain Adj N Adj N le bon petit pain 33Position État de l’art Contribution Expérimentation Evaluation Conclusion
  34. 34. Formalisme TAG X X adjonction X X X* 34Position État de l’art Contribution Expérimentation Evaluation Conclusion
  35. 35. Grammaire de la langue Adjonction prédicative S Paul pourrait manger ce pain V V N0 V N1 S pourrait V* Det N Paul manger ce pain N0 V N1 V V Det N Paul pourrait manger ce pain 35Position État de l’art Contribution Expérimentation Evaluation Conclusion
  36. 36. Propriétés TAG Adjonction englobante Paul ne mange pas ce pain S V N0 V N1 Det N Conj Conj ne V* pas Paul mange ce pain 36Position État de l’art Contribution Expérimentation Evaluation Conclusion
  37. 37. Propriétés TAG Localisation des dépendances Quel pain pensez-vous que Paul pourrait manger? quN S Qu N V quel pain S quN1 N0 manger V V N C N Conj V pensez vous que S* Paul pourrait V* 37Position État de l’art Contribution Expérimentation Evaluation Conclusion
  38. 38. Propriétés TAG Factorisation des récursions S Marie pense que Jean pense que .. Paul mange le S bon petit .. pain noir .. N0 V N1 V N C Det N S N Conj Paul mange le pain Adj Marie pense que S* N V C N .. N* noir N Conj Adj Jean pense que S* Adj bon N* petit 38N*Position État de l’art Contribution Expérimentation Evaluation Conclusion
  39. 39. Analyse TAG efficace... Introduction aux grammaires LTAG Analyser un énoncé... Trois techniques Un cadre pour les unifier Application 39Position État de l’art Contribution Expérimentation Evaluation Conclusion
  40. 40. Enoncés reconnus feature a at this this what end film and that is on is the if done graphe de mots hypothèses 40Position État de l’art Contribution Expérimentation Evaluation Conclusion
  41. 41. Ambiguïté lexicale ... N α17 ... ... N* C ... α15 Conj Conj V N N β34 α2 S α3 S V N N Wh V PP α14 N N β16 PP Pron N* Prep N1 N1 N* α1 S α4 S N PP α34 β14 α16 α35 V N Adj N V PP Det N* N Adj Prep N1 is that film on ? (ce film est-il en cours [de diffusion]?) 41Position État de l’art Contribution Expérimentation Evaluation Conclusion
  42. 42. Trois approches graduelles N Parsage Tabulaire factorisation des analyses is really that film on Parsage probabiliste N 0.3 C 0.04 sélection dynamique des items dérivés is that film on Superétiquetage 0.02 pré-sélection des arbres élémentaires is that film on 42Position État de l’art Contribution Expérimentation Evaluation Conclusion
  43. 43. Parsage tabulaire Mémorisation / factorisation • garder les sous-analyses trouvées • # exponentiel de dérivations mais parsage polynomial Heuristiques de parcours np vp s-conj-... comp-……. vp sp s det n adj adv wh conj v v prep n tell me when that film is on tomorrow 43Position État de l’art Contribution Expérimentation Evaluation Conclusion
  44. 44. Parsage probabiliste Probabilité incrémentale « interne » Critère d’élagage • cohérence interne + capacité de combinaison future ? np 0.03 vp s-conj-... comp-……. 0.02 sp s det n wh v adj adv conj v prep n tell me when that film is on tomorrow 44Position État de l’art Contribution Expérimentation Evaluation Conclusion
  45. 45. Superétiquetage ... α4 ... ... ... α3 α4 α17 α34 prédiction α2 α14 β16 β34 contextuelle (bigram) α1 β14 α16 α35 émission <s> is that film on </s> lexicale 45Position État de l’art Contribution Expérimentation Evaluation Conclusion
  46. 46. Ambiguïté lexicale ... N α17 ... ... N* C ... α15 Conj Conj V N N β34 α2 S α3 S V N N Wh V PP α14 N N β16 PP Pron N* Prep N1 N1 N* α1 S α4 S N PP α34 β14 α16 α35 V N Adj N V PP Det N* N Adj Prep N1 is that film on ? (ce film est-il en cours [de diffusion]?) 46Position État de l’art Contribution Expérimentation Evaluation Conclusion
  47. 47. Prédiction contextuelle α1 α14 α16 α34 S N PP V N Adj Pron N Prep N1 is that film on 47Position État de l’art Contribution Expérimentation Evaluation Conclusion
  48. 48. Prédiction contextuelle α1 α14 α16 α34 S N PP V N Adj Pron N Prep N1 <(V) N Adj> <(N)> <(N)> <(Prep) N> <(V) N N> <(Det) N*> <(Adj)> <N (V) PP> <(Conj)> <Conj (V) N> <N* (Prep) N> 48Position État de l’art Contribution Expérimentation Evaluation Conclusion
  49. 49. Analyse TAG efficace... Introduction aux grammaires LTAG Analyser un énoncé... Trois techniques Un cadre pour les unifier Application 49Position État de l’art Contribution Expérimentation Evaluation Conclusion
  50. 50. Type linéaire d’arbre (ltt) S N Det N V N Adj Forme finale: (that) (film) (is) S (S <> S ) (S °V<>N Adj S° S ) (N <> N ) V N Adj S (S °V<> Adj S° S ) V N Adj Det N (is) (that) (film) (on) Det N (is) (that) (film) 50Position État de l’art Contribution Expérimentation Evaluation Conclusion
  51. 51. Superétiquetage étendu prédiction contextuelle α2 α14 α17 β34 (bigram) α1 β14 α16 α35 émission <s> is that film on </s> lexicale 51Position État de l’art Contribution Expérimentation Evaluation Conclusion
  52. 52. Prédiction contextuelle de ltt <[S] Adj> <[S] N> <[*N] N> <[S] N Adj> <°V [S] V° N Adj> <°N [N] N°> <[Adj]> <°V [S] V° N N> <°N [N*]> <°N [N] N°> <[PP] N> <N °V [S] V° PP> <[Conj]> <Conj °V [*N] V° N> <[N*] °PP N PP°><s> is that film on </s> 52Position État de l’art Contribution Expérimentation Evaluation Conclusion
  53. 53. Localité croissante Dépendances de plus en plus locales S V N N Adj V Adv Det (is) N Adj V* (really) (that) N* (film) (violent) 53Position État de l’art Contribution Expérimentation Evaluation Conclusion
  54. 54. Localité croissante Dépendances de plus en plus locales S N V N Adj V Adv Det (is) (really) N Adj (that) N* (film) (violent) 54Position État de l’art Contribution Expérimentation Evaluation Conclusion
  55. 55. Localité croissante Dépendances de plus en plus locales S N V Adj V Adv Det N (is) (really) N Adj (that) (film) (violent) 55Position État de l’art Contribution Expérimentation Evaluation Conclusion
  56. 56. Localité croissante Dépendances de plus en plus locales S V N Adj V Adv Det N (is) (really) (that) (film) Adj (violent) 56Position État de l’art Contribution Expérimentation Evaluation Conclusion
  57. 57. Localité croissante Dépendances de plus en plus locales S V N Adj V Adv Det N (is) (really) (that) (film) (violent) 57Position État de l’art Contribution Expérimentation Evaluation Conclusion
  58. 58. Généralisation contextuelle Comportements contextuels S S V V (is) N Adj N (is) Adj 58Position État de l’art Contribution Expérimentation Evaluation Conclusion
  59. 59. Généralisation contextuelle Comportements contextuels analogues après dérivation S S V V (is) N Adj N (is) Adj S S N N V Det N Det N V (is) (that) (film) Adj (that) (film) (is) Adj 59Position État de l’art Contribution Expérimentation Evaluation Conclusion
  60. 60. Généralisation contextuelle Comportements contextuels analogues après dérivation S S V V (is) N Adj N (is) Adj S S N Adj N Adj V Det N Det N V (is) (that) (film) Adj (on) (that) (film) (is) Adj (on) 60Position État de l’art Contribution Expérimentation Evaluation Conclusion
  61. 61. Généralisation contextuelle Comportements contextuels S V V N0 (give) N2 N1 S V V N0 (watch) N1 61Position État de l’art Contribution Expérimentation Evaluation Conclusion
  62. 62. Généralisation contextuelle Comportements contextuels analogues après dérivation S V V N0 (give) N2 N1 S S V V V V N2 N0 (watch) N1 N0 (give) (me) N1 62Position État de l’art Contribution Expérimentation Evaluation Conclusion
  63. 63. Généralisation contextuelle Comportements contextuels analogues après dérivation S V V N0 (give) N2 N1 S S N V N V N N V Det N V N2 Det N (they) N0 (watch) N1 (the) (program) (they) N0 (give) (me) N1 (the) (program) 63Position État de l’art Contribution Expérimentation Evaluation Conclusion
  64. 64. Un modèle «tout-terrain» Améliore superétiquetage • ajouter 1 ou 2 étapes de parsage Intermédiaire étiquetage/parsage • arbres élémentaires + qques dépendances Intègre étiquetage dans parsage • choix avant/pendant parsage ratio tp/précis. Optimise parsage probabiliste • apporte facteur contextuel «outside» 64Position État de l’art Contribution Expérimentation Evaluation Conclusion
  65. 65. Implémentation parseur tabulaire LTAG bidirectionel • fondé sur le ltt • algo correct & complet • complexité O(n6) + distinction CF / CS • codé en PROLOG Modèle statistique • probabilités internes dans le parseur tabulaire • calcul de lissage pour le modèle contextuel • apprentissage et élagage encore à valider 65Position État de l’art Contribution Expérimentation Evaluation Conclusion
  66. 66. Perspectives Tests en grandeur réelle Intégration dans des stratégies de rattrapage recherche de dépendances prise en compte de l’oralité Outil paramétrable pour interfaces vocales 66Position État de l’art Contribution Expérimentation Evaluation Conclusion
  67. 67. Conclusion Traitement de l’écrit parole reconnaissance / compréhension de parole Grammaires unifications LTAG de traits oralité élagage statistique sémantique techniques linguistique d’analyse 67Position État de l’art Contribution Expérimentation Evaluation Conclusion

×