1.
Classification de
courriers postaux
avec Elasticsearch
Fabien Baligand
Informatique CDC
Meetup Elastic FR
13 février 2018

2.
Qui suis-je ?
 Fabien BALIGAND
 Contributeur opensource sur Logstash, Elasticsearch & Kibana
 Créateur de 2 plugins Elastic :
 logstash-filter-aggregate
 kibana-enhanced-table
 Expert java & référent Elastic à Informatique CDC
@fbaligand

3.
Elastic Stack @ ICDC
 Log Analytics avec Logstash/Elasticsearch/Kibana
 Moteur de recherche métier
 Moteur de recherche éditorial
 Socle BAM des projets bancaires
 Moteur de chatbot métier (challenge IA)
 Classification de courriers postaux
2014
Now

4.
Classification de courriers postaux

5.
Besoin
 Dématérialisation des courriers postaux et de leur traitement
 Numérisation automatisée des courriers
 Classification automatisée des courriers
 Distribution automatisée et sécurisée des courriers
 Généralisation à tout type de courrier (fax, mail, formulaire web)

6.
Solution

7.
Zoom sur Elastic Stack
 Stockage des courriers en tant que documents Elasticsearch
 Chaîne d’analyse pour retrouver le code postal de l’expéditeur
 Recherche du service destinataire dans le courrier
 Par moteur de règles
 Par apprentissage supervisé
 Statistiques de performance de de la solution avec Kibana

8.
Structure des documents dans Elasticsearch
Courrier Document 1
Page 1
Page N
Document N
Page 1
Page N

9.
Mapping Elasticsearch

10.
Chaîne d’analyse « code postal expéditeur »
 Récupérer les patterns de codes postaux :
"75 000 PARIS"  "75"
"PARIS (75000)"  "75"
"CHAROLLES (SAONE-ET-LOIRE)"  "71"
 Eviter les faux positifs :
"49009 ANGERS" 
"12345 6789" 
 Récupérer uniquement le premier code postal (l’expéditeur)

11.
Chaîne d’analyse « code postal expéditeur »
"rue louis gain 49000 angers"  ""
"75 000 PARIS"  "75000 PARIS"
"PARIS (75000)"  "75000 PARIS"
"CHAROLLES (SAONE-ET-LOIRE)"  "`SAONE-ET-LOIRE` CHAROLLES"
"`SAONE-ET-LOIRE` CHAROLLES"  ["`SAONE-ET-LOIRE`", "CHAROLLES"]
"CHAROLLES"  "charolles"
"côte d’or"  "cote d’or"
"49909"  ""
`saone-et-loire` 71000
["71000 ", "charolles"]  "71000 charolles"
"71000 charolles" 
"71000 charolles"  "71"
["71", "21"]  "71"

12.
Classification par moteur de règles
 Utilisation du mécanisme de percolator d’Elasticsearch
« Donnes-moi un document,
je te dirai à quelle requête il correspond »
 Stockage d’un document-requête par service destinataire
« Indique les mots-clés et les codes postaux
associés au service destinataire »
 Requête à partir d’un courrier et récupération du service destinataire

13.
Exemple de document-requête

14.
Exemple de requête « percolate »

15.
Classification par apprentissage supervisé
 Utilisation du mécanisme de more-like-this d’Elasticsearch
« Donnes-moi un document,
je te dirai à quel document déjà classifié
il ressemble le plus »
 Stockage d’un jeu de courriers de référence déjà classifiés
 Enrichissement continu du jeu de courriers de référence

16.
Exemple de requête « more-like-this »

17.
Performance de la solution

18.
Conclusion
 POC validé  démarrage projet !
 Il faut plus de documents pour le MLT…
 Vers une solution hybride « Percolate + MLT »

19.
Questions