page 1Introduction aux servicesvocaux en langage naturelAriane Nabeth-Halber
CONCEPTIONPROJETPROCESS page 2page 2page 2page 2page 2TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 2SommaireLes spécificit...
CONCEPTIONPROJETPROCESS page 3page 3page 3page 3page 3TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 3SommaireLes spécificit...
CONCEPTIONPROJETPROCESS page 4page 4page 4page 4page 4TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 4Spécificités - Dialogu...
CONCEPTIONPROJETPROCESS page 5page 5page 5page 5page 5TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 5Dialogue – MessagesCe ...
CONCEPTIONPROJETPROCESS page 6page 6page 6page 6page 6TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 6Dialogue – Réponses ac...
CONCEPTIONPROJETPROCESS page 7page 7page 7page 7page 7TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 7Dialogue – Interprétat...
CONCEPTIONPROJETPROCESS page 8page 8page 8page 8page 8TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 8SommaireLes spécificit...
CONCEPTIONPROJETPROCESS page 9page 9page 9page 9page 9TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 9Spécificités – Fonctio...
CONCEPTIONPROJETPROCESS page 10page 10page 10page 10page 10TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 10SommaireLes spéc...
CONCEPTIONPROJETPROCESS page 11page 11page 11page 11page 11TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 11Spécificités - T...
CONCEPTIONPROJETPROCESS page 12page 12page 12page 12page 12TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 12Spécificités - T...
CONCEPTIONPROJETPROCESS page 13page 13page 13page 13page 13TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 13Technologies – S...
CONCEPTIONPROJETPROCESS page 14page 14page 14page 14page 14TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIREContraindre les suites d...
CONCEPTIONPROJETPROCESS page 15page 15page 15page 15page 15TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 15Technologies – S...
CONCEPTIONPROJETPROCESS page 16page 16page 16page 16page 16TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 16Technologies – S...
CONCEPTIONPROJETPROCESS page 17page 17page 17page 17page 17TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 17Technologies – S...
CONCEPTIONPROJETPROCESS page 18page 18page 18page 18page 18TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 18Technologies – S...
CONCEPTIONPROJETPROCESS page 19page 19page 19page 19page 19TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 19Technologies - I...
CONCEPTIONPROJETPROCESS page 20page 20page 20page 20page 20TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 20Technologies - I...
CONCEPTIONPROJETPROCESS page 21page 21page 21page 21page 21TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 21Conception du mo...
CONCEPTIONPROJETPROCESS page 22page 22page 22page 22page 22TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 22SommaireLes spéc...
CONCEPTIONPROJETPROCESS page 23page 23page 23page 23page 23TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 23Spécificités – R...
CONCEPTIONPROJETPROCESS page 24page 24page 24page 24page 24TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 24SommaireLes spéc...
CONCEPTIONPROJETPROCESS page 25page 25page 25page 25page 25TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 25Spécificités – P...
CONCEPTIONPROJETPROCESS page 26page 26page 26page 26page 26TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 26SommaireLes spéc...
CONCEPTIONPROJETPROCESS page 27page 27page 27page 27page 27TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 27Gestion de Proje...
CONCEPTIONPROJETPROCESS page 28page 28page 28page 28page 28TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 28Gestion de Proje...
CONCEPTIONPROJETPROCESS page 29page 29page 29page 29page 29TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 29Gestion de proje...
CONCEPTIONPROJETPROCESS page 30page 30page 30page 30page 30TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 30Etape 1a : choix...
CONCEPTIONPROJETPROCESS page 31page 31page 31page 31page 31TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 31Etape 1b : Les r...
CONCEPTIONPROJETPROCESS page 32page 32page 32page 32page 32TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 32Etape 1c : conce...
CONCEPTIONPROJETPROCESS page 33page 33page 33page 33page 33TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 33Etape 2 : Systèm...
CONCEPTIONPROJETPROCESS page 34page 34page 34page 34page 34TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 34Etape 3 : recuei...
CONCEPTIONPROJETPROCESS page 35page 35page 35page 35page 35TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 35Etape 4 – appent...
CONCEPTIONPROJETPROCESS page 36page 36page 36page 36page 36TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 36Difficultés – ja...
CONCEPTIONPROJETPROCESS page 37page 37page 37page 37page 37TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 37Difficultés – ja...
CONCEPTIONPROJETPROCESS page 38page 38page 38page 38page 38TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 38ContournementsPo...
CONCEPTIONPROJETPROCESS page 39page 39page 39page 39page 39TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 39Evaluation d’un ...
CONCEPTIONPROJETPROCESS page 40page 40page 40page 40page 40TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 40Process techniqu...
CONCEPTIONPROJETPROCESS page 41page 41page 41page 41page 41TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 41Etapes 5+ : lanc...
CONCEPTIONPROJETPROCESS page 42page 42page 42page 42page 42TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 42SIGLESASR automa...
CONCEPTIONPROJETPROCESS page 43page 43page 43page 43page 43TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIREariane.nabeth@hotline.fr
Prochain SlideShare
Chargement dans…5
×

2010 accueils vocaux_langage_naturel

271 vues

Publié le

0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
271
Sur SlideShare
0
Issues des intégrations
0
Intégrations
15
Actions
Partages
0
Téléchargements
6
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

2010 accueils vocaux_langage_naturel

  1. 1. page 1Introduction aux servicesvocaux en langage naturelAriane Nabeth-Halber
  2. 2. CONCEPTIONPROJETPROCESS page 2page 2page 2page 2page 2TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 2SommaireLes spécificités des services vocaux en langage naturelLes spécificités des services vocaux en langage naturel• Le dialogue• le schéma fonctionnel• La technologie• Les ressources et process• La gestion de projetLa conception des servicesLa conception des services
  3. 3. CONCEPTIONPROJETPROCESS page 3page 3page 3page 3page 3TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 3SommaireLes spécificités des services vocaux en langage naturelLes spécificités des services vocaux en langage naturel• Le dialogue• le schéma fonctionnel• La technologie• Les ressources et process• La gestion de projetLa conception des servicesLa conception des services
  4. 4. CONCEPTIONPROJETPROCESS page 4page 4page 4page 4page 4TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 4Spécificités - DialogueSpécificités du dialogue :• Ce que dit le système• Ce que disent les appelants• Ce que comprend le systèmeDIALOGUEDIALOGUE
  5. 5. CONCEPTIONPROJETPROCESS page 5page 5page 5page 5page 5TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 5Dialogue – MessagesCe que dit le systèmePhrasé de l’accueil ou de la question, dit « ouvert »Approche Langage Naturel Approche Classique (grammaires)« que puis-je faire pour vous? »« dites le nom du service qui vous intéresse parmiles suivants : .. »« énoncez le motif de votre appel »« pour obtenir … dites "Contrat", pour … dites"Service Technique", ... »« quel est le modèle de votre téléphone? »« (1) quel est la marque de votre téléphone? / (2)choisissez à présent le modèle parmi les suivants :...»« désirez vous A, B, C, ou un autre service..?»« désirez vous A, B, ou C? sinon, dites autreservice.»DIALOGUE
  6. 6. CONCEPTIONPROJETPROCESS page 6page 6page 6page 6page 6TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 6Dialogue – Réponses acceptéesCe que disent les appelants• Variété des expressions acceptées• Dialogue à « initiative mixte »Approche Langage Naturel Approche Classique (grammaires)« ce midi jai voulu retirer de largent audistributeur et ma carte a été avalée » « agence! / autre service! / service carte! »« cest pour une simulation de prêt immobilier» « prêt immobilier »« un Nokia euh modèle e71 je crois» « Nokia »« non cest pour déclarer un sinistre» « autre service »DIALOGUE
  7. 7. CONCEPTIONPROJETPROCESS page 7page 7page 7page 7page 7TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 7Dialogue – InterprétationCe que comprend le système• Nombre des catégories « sémantiques »• Niveau d’indépendance des informations sémantiquesextraitesApproche Langage Naturel Approche Classique (grammaires)accueil routage --> 20 à 100 classes de motifsen 1 étape (quelques classes de motifs en 2 étapes sidésambiguisation nécessaire)accueil routage --> 10 à 20 classes de motifsen 2 à 3 étapesremplissage "formulaire" --> recueillir toutes lesinfos en 1 étapequestions "formulaire" --> généralement guidéen N étapesconfirmation - correction --> en 1 étape confirmation - correction --> en 3 étapesDIALOGUE
  8. 8. CONCEPTIONPROJETPROCESS page 8page 8page 8page 8page 8TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 8SommaireLes spécificités des services vocaux en langage naturelLes spécificités des services vocaux en langage naturel• Le dialogue• le schéma fonctionnel• La technologie• Les ressources et process• La gestion de projetLa conception des servicesLa conception des services
  9. 9. CONCEPTIONPROJETPROCESS page 9page 9page 9page 9page 9TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 9Spécificités – FonctionnelSchéma fonctionnel• Moins structuré, moins arborescent• Plus déclaratif i.e table 150 motifs  15 destinations de transfert d’appelApproche Langage Naturel Approche Classique (grammaires)FONCTIONNEL
  10. 10. CONCEPTIONPROJETPROCESS page 10page 10page 10page 10page 10TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 10SommaireLes spécificités des services vocaux en langage naturelLes spécificités des services vocaux en langage naturel• Le dialogue• le schéma fonctionnel• La technologie• Les ressources et process• La gestion de projetLa conception des servicesLa conception des services
  11. 11. CONCEPTIONPROJETPROCESS page 11page 11page 11page 11page 11TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 11Spécificités - TechnologieDeux technologies requises :• La technologie utilisée pour guider la reconnaissancevocale Modèle de langage statistique (SLM)• Les technologies utilisées pour extraire une interprétation Extraction de mots clefs Parsing Robuste Modèles sémantiques statistiques (SSM) Appel à d’autres algorithmes de traitement du langageTECHNOLOGIES
  12. 12. CONCEPTIONPROJETPROCESS page 12page 12page 12page 12page 12TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 12Spécificités - TechnologieChaine de traitement pour le Langage NaturelGrammaire Slots sémantiques de la grammaire(calculés via ECMAScript ou autre,en même temps que la reconnaissance vocalealigne l’énoncé avec la grammaire)Approche classique :TECHNOLOGIES
  13. 13. CONCEPTIONPROJETPROCESS page 13page 13page 13page 13page 13TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 13Technologies – SLM vs grammaire1.end-pointing2. extraction devecteurs deparamètresy1y2..ynPhonème inconnu YPhonèmeX3. Alignementacoustico-phonétiquele 24 Janvier 20095. Séquence de motsreconnus /interprétation<date : [<day : 24><month : 1><year : 2009>]> le 24Janvier20094. contrainteslinguistiques :grammaire ou SLMTECHNOLOGIES
  14. 14. CONCEPTIONPROJETPROCESS page 14page 14page 14page 14page 14TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIREContraindre les suites de mots possibles…et donc les séquences possibles de phonèmes …et donc les séquences possibles de réalisations sonoresTechnologies – SLM vs. grammaireLe rôle de la grammaire ou du modèle de langageTECHNOLOGIES
  15. 15. CONCEPTIONPROJETPROCESS page 15page 15page 15page 15page 15TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 15Technologies – SLM vs. grammaireSource : F. Yvon, U. Paris 11TECHNOLOGIES
  16. 16. CONCEPTIONPROJETPROCESS page 16page 16page 16page 16page 16TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 16Technologies – SLM vs. grammaireSource : F. Yvon, U. Paris 11TECHNOLOGIES
  17. 17. CONCEPTIONPROJETPROCESS page 17page 17page 17page 17page 17TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 17Technologies – SLM vs. grammaireExemplesConfirmation( ?@hes@~.01[Sub_PHRASE_OUI { return("oui") }Sub_PHRASE_NON { return("non") }])Sub_PHRASE_OUI[ (?Sub_OUI Sub_C_EST_CA ?(en effet) )(Sub_OUI ?Sub_ADV_OUI)]Sub_C_EST_CA( cest [(?bien ça)(tout à fait ça) ])Sub_OUI[ oui(oui oui)ouai]GRAM…SLMGrammaire Modèle de langageTECHNOLOGIES
  18. 18. CONCEPTIONPROJETPROCESS page 18page 18page 18page 18page 18TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 18Technologies – SLM vs. grammaireConvergences• Un SLM peut être vu comme une règle de grammaireparticulière, et inséré dans une grammaire• Des grammaires peuvent être « insérées » dans unmodèle de langage pour définir des classes d’item etaméliorer la représentativité du corpus• Une question ouverte (« quel est le motif de votreappel? ») utilisant un SLM peut être suivie d’une questionplus précise (« connaissez-vous oui, ou non, votre numérode compte et votre code confidentiel? ») utilisant unegrammaire classiqueTECHNOLOGIES
  19. 19. CONCEPTIONPROJETPROCESS page 19page 19page 19page 19page 19TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 19Technologies - InterprétationProblématique• La grammaire qui guide la reconnaissance vocale possèdela structure de la phrase ainsi que tous les élémentssémantiques associés• Le SLM sert à évaluer les suites de mots les plusprobables, mais• ne possède aucune connaissance structurée ni aucuneconnaissance sémantique sur les suites de mots« reconnues »• Les suites de mots « reconnues » présentent une grandevariété, ne sont pas forcément grammaticalement correctes,ni exemptes d’erreurs (mots insérés, confondus ousupprimés)• Il faut donc ajouter une étape de traitement spécifique,combinée à une couche de connaissance, pour analyserles suites de mots reconnues et en extraire un sensTECHNOLOGIES
  20. 20. CONCEPTIONPROJETPROCESS page 20page 20page 20page 20page 20TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 20Technologies - InterprétationTechnologies utilisées pour extraire une interprétation• Extraction de mots clefs• Elaboration de règles de pattern-matching• Parsing Robuste• Modèles sémantiques statistiques (SSM)• Appel à d’autres algorithmes de traitement du langageTECHNOLOGIES
  21. 21. CONCEPTIONPROJETPROCESS page 21page 21page 21page 21page 21TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 21Conception du modèle d’interprétationCas typiques de choix de modèlesAppariement vers un petit nombre de catégories• Soit SSM• Soit modèle par règles (pattern matching ou robust parsing)Appariement vers un grand nombre de catégories• Soit SSM (attention au besoin de données)• Soit modèle par règles (attention effort expert important)Extraction d’informations précises• Soit définir des règles (pattern matching ou robust parsing)• Soit entraîner plusieurs SSM (un par slot)• Soit utiliser des algorithmes TALN existant (si possible spécialisésdans le domaine)Attention grande disparité des outils proposés par les éditeursTECHNOLOGIES
  22. 22. CONCEPTIONPROJETPROCESS page 22page 22page 22page 22page 22TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 22SommaireLes spécificités des services vocaux en langage naturelLes spécificités des services vocaux en langage naturel• Le dialogue• le schéma fonctionnel• La technologie• Les ressources et process• La gestion de projetLa conception des servicesLa conception des services
  23. 23. CONCEPTIONPROJETPROCESS page 23page 23page 23page 23page 23TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 23Spécificités – Ressources & ProcessRessources spécifiques :Des données, des données, des données…• Corpus de texte pour le SLM (en général énoncés enregistréset transcrits)• Corpus de texte annoté pour le SSM (enoncés enregistrés,transcrits et étiquetés avec un sens et/ou une catégorie et/ouune destination de transfert, un type d’action..) utile aussi pourévaluer les techniques d’interprétation autres que SSM, mais requérant alorsun volume moins important de donnéesEt des équipes capables de traiter ces données…Process spécifiques :Recueil et préparation des données• Il faut des données issues du système avant que le systèmesoit construit!  WOZ, bootstrap…Apprentissages, évaluation et révision des modèlesPROCESS
  24. 24. CONCEPTIONPROJETPROCESS page 24page 24page 24page 24page 24TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 24SommaireLes spécificités des services vocaux en langage naturelLes spécificités des services vocaux en langage naturel• Le dialogue• le schéma fonctionnel• La technologie• Les ressources et process• La gestion de projetLa conception des servicesLa conception des services
  25. 25. CONCEPTIONPROJETPROCESS page 25page 25page 25page 25page 25TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 25Spécificités – ProjetSpécificités impactant la gestion de projet et le cycle de vie del’application• Effort technique important à occurrence « chronique » (àchaque ré-apprentissage de modèle)• Délais incompressibles de recueil de données• Si démarrage sur une clientèle pilote, attention au délai pourrecueillir suffisamment d’enoncés pour le premier apprentissagede modèle• Sensibilité extrême au phrasé initial choisi pour les messages• Changer la phrase d’accueil en cours de projet nécessite a prioride relancer tout le process de recueil/apprentissage• Nécessité de placer les utilisateurs face au système finalavant de l’avoir élaboré !• Démarrage avec un magicien d’Oz ou un système de bootstrap• Procédure par étapes pour atteindre une forme mature du SLMPROJET
  26. 26. CONCEPTIONPROJETPROCESS page 26page 26page 26page 26page 26TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 26SommaireLes spécificités des services vocaux en langage naturelLes spécificités des services vocaux en langage naturel• Le dialogue• le schéma fonctionnel• La technologie• Les ressources et process• La gestion de projetLa conception des servicesLa conception des servicesCONCEPTION
  27. 27. CONCEPTIONPROJETPROCESS page 27page 27page 27page 27page 27TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 27Gestion de Projet - généralTout d’abord obéit aux règles générales de conception de toutservice vocalDéfinition des besoinsBesoins MOA & besoins publics ciblesDéfinir les objectifsConceptionFonctionnalitésPersona, terminologie, habillage sonore…Spécifications de dialogueImplémentationDev Application + connecteurs SI + ArchitecturetechniqueTests et RecettesTests unitaires développeurs + Campagne de testinterneDéploiementCommunication, accompagnement…Supervision & TuningStats appliRecueil de logs et d’audioTranscriptions et tuningRecueil des impressions terrain (utilisateurs ou personnes en contact avec utilisateurs)page 27page 27page 27page 27page 27page 27CONCEPTION
  28. 28. CONCEPTIONPROJETPROCESS page 28page 28page 28page 28page 28TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 28Gestion de Projet - planningPlanning typique lang-nat : collectes et bootstrapCONCEPTION
  29. 29. CONCEPTIONPROJETPROCESS page 29page 29page 29page 29page 29TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 29Gestion de projet - EtapesEtude de cas : Mise en place d’un accueil-routage• Etape 1a : choix initiaux• Etape 1b : références établies par le Client• Etape 1c : conception du dialogue• Etape 2 : mise en place du système de recueil initial• Etape 3 : recueil des données• Etape 4 : apprentissage du premier SLM et du premiermodèle d’interprétation• Etape 5 : lancement du système automatisé « v1.0 »• Etapes suivantes : cycle 3-4-5 reproduits une ou plusieursfois pour évaluer-améliorer les performances / suivre leschangements d’usage
  30. 30. CONCEPTIONPROJETPROCESS page 30page 30page 30page 30page 30TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 30Etape 1a : choix fonctionnels & techniquesChoix spécifiques lang-nat:• Où mettre de la lang-nat ?• Déterminer parties de dialogue nécessitant LN, et parties gérées plusefficacement avec grammaires classiques• Quelle est l’interprétation visée?• Selon besoin fonctionnel• exemple accueil-routage, étiquette globale « motif d’appel »• exemple helpdesk technique, étiquette + slots pour capturer nature duproblème, de l’applicatif etc.• Comment initier le recueil de données ?• Choix entre WOZ ou système de bootstrap, ou combinaison desdeux (via centre d’appel existant et « whispering »)• Étape clef, attention à la stabilité du phrasé des questions LN• Comment définir la mouture zéro du modèle statistique ?• Modèle vide  approche WOZ• à partir d’une grammaire « experte »• À partir d’un corpus approchantCONCEPTION
  31. 31. CONCEPTIONPROJETPROCESS page 31page 31page 31page 31page 31TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 31Etape 1b : Les référencesRéférences :• Motifs d’appels• Énoncés typiques associés• Destination associée• Classes de motifsPoints d’attention :• Requiert expertise métier et connaissance terrain• Utiliser toutes les sources dispo (centre d’appel, agences,analystes…)• Prévoir évolutions futures : séparer énonciations et nomsde produit (utile aussi à performances SLM)CONCEPTION
  32. 32. CONCEPTIONPROJETPROCESS page 32page 32page 32page 32page 32TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 32Etape 1c : conception dialogueFlux de dialogue :• phrasé accueil initial (définitif!)Que puis-je faire pour vous?Quel est le motif de votre appel?Formulez simplement le motif de votre appel…• relance / exemple suggéré en cas de « no-input » (privilégier unexemple unique)Dites par exemple « je voudrais modifier mon contrat »Merci d’énoncer un motif, par exemple « modifier mon contrat »…• formulation en retour de reco (pas trop spécifique)Entendu, je vous mets en relation…Je vous mets en relation avec le service des contratsUne demande concernant votre contrat, entendu, je vous mets en relation…• dialogues de sous-qualifications, désambigüisations ou filtrage(grammaires classiques)Un prêt entendu, est-ce un prêt habitat, un prêt personnel ou un prêt voiture?Dans ce cas, connaissez-vous, oui ou non, votre identifiant et votre code confidentiel?Entendu, êtes-vous déjà clients chez nous?CONCEPTION
  33. 33. CONCEPTIONPROJETPROCESS page 33page 33page 33page 33page 33TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 33Etape 2 : Système initialSystème mis en place pour le 1errecueil de données :• WOZ• Système à base de grammaires classiques ou SLM apprissur corpus artificiel ou approchant• Hybride : système pouvant transférer vers téléconseilleravec ou sans « whispering »• Faire levier des infrastructures et compétences existantes• Sans les saturer• en assurant la satisfaction clientCONCEPTION
  34. 34. CONCEPTIONPROJETPROCESS page 34page 34page 34page 34page 34TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 34Etape 3 : recueil de donnéesRecueil de données :• Supervision stats et quali• Volume de données à évaluer en fonction de complexitéde SLM et d’interprétation• Possibilité de démarrer la transcription en parallèle• ATTENTION transcription ≠ étiquetage• Si possible faire faire étiquetage par le Client (compétencesmétier)CONCEPTION
  35. 35. CONCEPTIONPROJETPROCESS page 35page 35page 35page 35page 35TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 35Etape 4 – appentissage SLMSLM – définition• Généralement modèle « bigram »P(<s> ma carte est restée bloquée </s>) =P(ma | <s>) * P(carte | ma) * P(est | carte) * P(restée | est) *P(bloquée | restée) * P(</s> | bloquée)• Modèle « trigram » uniquement pour les très gros corpusP(<s> ma carte est restée bloquée </s>) =P(ma | <s>) * P(carte | <s> ma) * P(est | ma carte) * P(restée | carteest) * P(bloquée | est restée) * P(</s> | restée bloquée)• Comment se présente un SLM?• Liste de paramètres pour estimer les probabilités = décomptesstatistiques pour les « unigrams », « bigrams », « trigrams »..• ATTENTION pour un vocabulaire de 1000 mots•  1 Million de bigrams et 1000 Millions de trigrams à estimerCONCEPTION
  36. 36. CONCEPTIONPROJETPROCESS page 36page 36page 36page 36page 36TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 36Difficultés – jamais assez de donnéesProblème de représentativité du corpusProblème des singletons et des évènements non-observés(dits « fantôme ») et des mots hors-vocabulaire (OOV)Statistiques sur corpus journalistique WSJCONCEPTION
  37. 37. CONCEPTIONPROJETPROCESS page 37page 37page 37page 37page 37TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 37Difficultés – jamais assez de donnéesLoi de ZipfFréquence * Rang = Constante Un petit nombre d’évènements distincts apparaissant dans le corpus avecune fréquence très élevée Un grand nombre d’évènements distincts apparaissant dans le corpusavec une fréquence très faibleCONCEPTION
  38. 38. CONCEPTIONPROJETPROCESS page 38page 38page 38page 38page 38TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 38ContournementsPour maximiser la représentativité ducorpus:Normaliser le corpus• Orthographe, majuscules,chiffres, formes phonétiques…Définir des Classes d’équivalence• Noms de ville, noms de produitsetc.• Ajouter éventuellement desvariantes et synonymes• Externaliser dans des règles degrammaireLimiter la taille du vocabulaire (etutiliser une étiquette OOV)Pour optimiser le SLM:Lissage des décomptes statistiquesOptimisation des paramètres choisisvia des évaluationssystématiques du modèle produitCONCEPTION
  39. 39. CONCEPTIONPROJETPROCESS page 39page 39page 39page 39page 39TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 39Evaluation d’un SLMPrincipe généralSéparer corpus d’apprentissage et corpus d’évaluationSoit un découpage fixe, par exemple 85%-15%Soit des découpages « tournant » (avec « held-out data ») Pour éviter effet de « sur-apprentissage » et sous-estimation desOOV, phénomènes fantômes etc.Evaluation par erreur de reco (WER)IdéalMais peut-être difficile et/ou long à réaliserEvaluation par « Perplexité »Très rapide à calculerDonne une idée du « facteur de branchement », i.e du nombre demots équiprobables « prédits » par le modèle après un motdonnéLe meilleurs modèle est celui avec la perplexité la plus basseCONCEPTION
  40. 40. CONCEPTIONPROJETPROCESS page 40page 40page 40page 40page 40TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 40Process technique SLM•Processing steps–Collection and cleaning–Normalization, define words, select vocabulary–Counting and model parameter estimation (Outils)–Evaluation with PP and WER•Outils éditeurs :–Nuance NL tools (pour SLM, SSM et robust parsing)–Telispeech Natural Language Tool Kit (NLTK, pour SLM,et en partie robust parsing)•Outils académiques les plus utilisés (SLM):–SRILM–CMU-CambridgeCONCEPTION
  41. 41. CONCEPTIONPROJETPROCESS page 41page 41page 41page 41page 41TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 41Etapes 5+ : lancement, ré-entraînements &évolutionsLancementCommunication interne / externeSupervision…Types de ré-entraînements• rapprochés pour bootstrapcollecter 50k enoncés en 3 X 17k énoncéséconomise la ressource humaine de 1èrecollecteconverge vers système automatique cible• plus espacés pour améliorations / suivi des usages /modification de l’accueil (rare)Evolutionsévolutions fonctionnelles possibles sans modification de laquestion LN (très générique)• Typiquement : ajout de destinations de routage• Impact sur l’organisation du centre d’appel, des agences…CONCEPTION
  42. 42. CONCEPTIONPROJETPROCESS page 42page 42page 42page 42page 42TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 42SIGLESASR automatic speech recognitionLN langage naturelNLTK natural language toolkitPP perplexitéSSM statistical semantic modelSLM statistical language modelTALN traitement du langage naturelOOV out of vocabulary (mot hors vocabulaire)WER word error rate (taux d’erreur de reconnaissance de mot)WOZ wizard of Oz (magicien d’Oz, système derrière lequel se cache un humain)CONCEPTION
  43. 43. CONCEPTIONPROJETPROCESS page 43page 43page 43page 43page 43TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIREariane.nabeth@hotline.fr

×