De quoi s'agit-il ?
À quoi ça sert ?
Natural language
generation
(Génération automatique de textes)
Qu’est-ce que le Natural Language Generation ?
2
Génération d'un "langage naturel" (texte, parole)
À partir d'une base de données
Sur la base de règles logiques (grammaire...)
2
STT NLU
NLGTTS
NLG « simple »
3
Modèles de textes, « remplissez les champs vides »
Exemple : Mailchimp
Exemple : Cards Against Humanity (générateurs de blagues)
Sur la base de quelques exemples de textes
Avec des annotations grammaticales détaillées
NLG « simple »
4
NLG « compliqué » : les 6 stades
5
 Détermination : déterminer ce qu'il faut mentionner dans le texte
 Structuration : structure globale (ordre des phrases, « flux »)
 Agrégation : structure locale (fusion de phrases...)
 Choix lexical : traduire des concepts en mots
(choisir le vocabulaire, choisir parmi des synonymes...)
 Expressions de référence : utiliser les bons pronoms, genres…
 Réalisation : la génération proprement dite (utiliser une
grammaire correcte, des temps adéquats…)
NLG basé sur l'intelligence artificielle
6
Saute l'analyse grammaticale et utilise le Machine Learning
Nécessite des milliers d'exemples manuscrits par « cas »
Exemple : décrire des images
Le NLG est souvent utilisé pour...
7
 générer des descriptions d'objets (boutiques en ligne) ;
 générer des réponses de chatbot à partir de données tabulaires ;
 le journalisme automatisé / assisté ;
 générer des articles en temps réel à partir de tweets, etc. ;
 partir d'un texte de base généré (mieux que « lorem ipsum ») ;
 le reporting (non graphique) ;
 générer des bulletins météorologiques à partir de données de capteurs ;
 générer un rapport de santé d’un système à partir des données du journal
d’un ordinateur ;
 créer un résumé des données financières / médicales ;
 générer des pages wiki.
Generative Pre-trained Transformer 3 (GPT-3)
8
Les meilleurs textes se distinguent à peine de ceux produits par des humains
Peut être entraîné pour des tâches spécifiques
Peut (aider à) écrire des (parties de) programmes informatiques
Disponibilité limitée pour les tests (été 2020)
Nouveau modèle très puissant développé récemment (2020)
Génère des textes, parfois sur la base de quelques mots ou phrases de départ
GPT-3 : seuls 12 % des évaluateurs ont reconnu le texte comme artificiel
après un texte de départ composé des mots en rouge, le reste du texte a été généré
United Methodists Agree to Historic Split
Those who oppose gay marriage will form their own denomination
Article : After two days of intense debate, the United Methodist Church has agreed to a historic split - one that
is expected to end in the creation of a new denomination, one that will be "theologically and socially
conservative," according to The Washington Post. The majority of delegates attending the church's annual
General Conference in May voted to strengthen a ban on the ordination of LGBTQ clergy and to write new rules
that will "discipline" clergy who officiate at same-sex weddings. But those who opposed these measures have a
new plan: They say they will form a separate denomination by 2020, calling their church the Christian
Methodist denomination.
The Post notes that the denomination, which claims 12.5 million members, was in the early 20th century the
"largest Protestant denomination in the U.S.,“ but that it has been shrinking in recent decades. The new split
will be the second in the church's history. The first occurred in 1968, when roughly 10 percent of the
denomination left to form the Evangelical United Brethren Church. The Post notes that the proposed split
"comes at a critical time for the church, which has been losing members for years," which has been "pushed
toward the brink of a schism over the role of LGBTQ people in the church." Gay marriage is not the only issue
that has divided the church. In 2016, the denomination was split over ordination of transgender clergy, with
the North Pacific regional conference voting to ban them from serving as clergy, and the South Pacific regional
conference voting to allow them.
9
GPT-3 : mais 62 % ont reconnu ce texte
après un texte de départ composé des mots en rouge, le reste du texte a été généré
• Title: Star's Tux Promise Draws Megyn Kelly's Sarcasm
• Subtitle: Joaquin Phoenix pledged to not change for each awards event
• Article: A year ago, Joaquin Phoenix made headlines when he appeared on the red carpet at the
Golden Globes wearing a tuxedo with a paper bag over his head that read, "I am a shape-shifter. I
can't change the world. I can only change myself." It was a promise to not change to fit into the
Hollywood mold: "I think that's a really special thing, to not change yourself. I think it's a really
special thing to say, `This is what's inside of me, I'm proud of it, and I'm not going to be ashamed
because of the way that someone else thinks I should be.'" Now, it's the Oscars, and Phoenix is at it
again. But this time, his publicist is saying he'll be wearing a tux no matter what. Megyn Kelly was
not impressed, and she let him have it on The Tonight Show. "You know, I feel like, I feel like you
could have worn the tux," she says. "But you're saying you're a shape-shifter. I don't know if you can
change your tux, but you can change your mind. You can change your mind. You can change your
mind." Phoenix says he did, but it didn't stick. "I was like,`Okay, I'm going to wear a tuxedo to this
thing.' And then I thought, `I don't want to wear a tuxedo to this thing.'" Kelly goes on to encourage
him to change his mind again, but Phoenix says it's too late: "I'm committed to wearing this."
Use cases au sein de l'État
 Génère des descriptions de données
tabulaires
 Historique des vaccinations
 Calendriers de médication
 Profil médical
 Conversion de rapports de laboratoire en
texte compréhensible
 Chatbots - interfaces
conversationnelles... ? 11
Merci !
Site web
www.smals.be
https://www.smalsresearch.be/
Phone
+3227875928
E-mail
research@smals.be

Generation automatique de textes

  • 1.
    De quoi s'agit-il? À quoi ça sert ? Natural language generation (Génération automatique de textes)
  • 2.
    Qu’est-ce que leNatural Language Generation ? 2 Génération d'un "langage naturel" (texte, parole) À partir d'une base de données Sur la base de règles logiques (grammaire...) 2 STT NLU NLGTTS
  • 3.
    NLG « simple» 3 Modèles de textes, « remplissez les champs vides » Exemple : Mailchimp Exemple : Cards Against Humanity (générateurs de blagues) Sur la base de quelques exemples de textes Avec des annotations grammaticales détaillées
  • 4.
  • 5.
    NLG « compliqué» : les 6 stades 5  Détermination : déterminer ce qu'il faut mentionner dans le texte  Structuration : structure globale (ordre des phrases, « flux »)  Agrégation : structure locale (fusion de phrases...)  Choix lexical : traduire des concepts en mots (choisir le vocabulaire, choisir parmi des synonymes...)  Expressions de référence : utiliser les bons pronoms, genres…  Réalisation : la génération proprement dite (utiliser une grammaire correcte, des temps adéquats…)
  • 6.
    NLG basé surl'intelligence artificielle 6 Saute l'analyse grammaticale et utilise le Machine Learning Nécessite des milliers d'exemples manuscrits par « cas » Exemple : décrire des images
  • 7.
    Le NLG estsouvent utilisé pour... 7  générer des descriptions d'objets (boutiques en ligne) ;  générer des réponses de chatbot à partir de données tabulaires ;  le journalisme automatisé / assisté ;  générer des articles en temps réel à partir de tweets, etc. ;  partir d'un texte de base généré (mieux que « lorem ipsum ») ;  le reporting (non graphique) ;  générer des bulletins météorologiques à partir de données de capteurs ;  générer un rapport de santé d’un système à partir des données du journal d’un ordinateur ;  créer un résumé des données financières / médicales ;  générer des pages wiki.
  • 8.
    Generative Pre-trained Transformer3 (GPT-3) 8 Les meilleurs textes se distinguent à peine de ceux produits par des humains Peut être entraîné pour des tâches spécifiques Peut (aider à) écrire des (parties de) programmes informatiques Disponibilité limitée pour les tests (été 2020) Nouveau modèle très puissant développé récemment (2020) Génère des textes, parfois sur la base de quelques mots ou phrases de départ
  • 9.
    GPT-3 : seuls12 % des évaluateurs ont reconnu le texte comme artificiel après un texte de départ composé des mots en rouge, le reste du texte a été généré United Methodists Agree to Historic Split Those who oppose gay marriage will form their own denomination Article : After two days of intense debate, the United Methodist Church has agreed to a historic split - one that is expected to end in the creation of a new denomination, one that will be "theologically and socially conservative," according to The Washington Post. The majority of delegates attending the church's annual General Conference in May voted to strengthen a ban on the ordination of LGBTQ clergy and to write new rules that will "discipline" clergy who officiate at same-sex weddings. But those who opposed these measures have a new plan: They say they will form a separate denomination by 2020, calling their church the Christian Methodist denomination. The Post notes that the denomination, which claims 12.5 million members, was in the early 20th century the "largest Protestant denomination in the U.S.,“ but that it has been shrinking in recent decades. The new split will be the second in the church's history. The first occurred in 1968, when roughly 10 percent of the denomination left to form the Evangelical United Brethren Church. The Post notes that the proposed split "comes at a critical time for the church, which has been losing members for years," which has been "pushed toward the brink of a schism over the role of LGBTQ people in the church." Gay marriage is not the only issue that has divided the church. In 2016, the denomination was split over ordination of transgender clergy, with the North Pacific regional conference voting to ban them from serving as clergy, and the South Pacific regional conference voting to allow them. 9
  • 10.
    GPT-3 : mais62 % ont reconnu ce texte après un texte de départ composé des mots en rouge, le reste du texte a été généré • Title: Star's Tux Promise Draws Megyn Kelly's Sarcasm • Subtitle: Joaquin Phoenix pledged to not change for each awards event • Article: A year ago, Joaquin Phoenix made headlines when he appeared on the red carpet at the Golden Globes wearing a tuxedo with a paper bag over his head that read, "I am a shape-shifter. I can't change the world. I can only change myself." It was a promise to not change to fit into the Hollywood mold: "I think that's a really special thing, to not change yourself. I think it's a really special thing to say, `This is what's inside of me, I'm proud of it, and I'm not going to be ashamed because of the way that someone else thinks I should be.'" Now, it's the Oscars, and Phoenix is at it again. But this time, his publicist is saying he'll be wearing a tux no matter what. Megyn Kelly was not impressed, and she let him have it on The Tonight Show. "You know, I feel like, I feel like you could have worn the tux," she says. "But you're saying you're a shape-shifter. I don't know if you can change your tux, but you can change your mind. You can change your mind. You can change your mind." Phoenix says he did, but it didn't stick. "I was like,`Okay, I'm going to wear a tuxedo to this thing.' And then I thought, `I don't want to wear a tuxedo to this thing.'" Kelly goes on to encourage him to change his mind again, but Phoenix says it's too late: "I'm committed to wearing this."
  • 11.
    Use cases ausein de l'État  Génère des descriptions de données tabulaires  Historique des vaccinations  Calendriers de médication  Profil médical  Conversion de rapports de laboratoire en texte compréhensible  Chatbots - interfaces conversationnelles... ? 11
  • 12.