SlideShare une entreprise Scribd logo
1  sur  28
Proposition d’un modèle Text Mining
pour un système de résolution automatique des problèmes détectés
à partir des échanges par messageries entre collaborateurs
Soutenu par:
Wiam FADEL
Année Universitaire: 2019-2020
Membres de Jury :
Présidente : Dr. Badia ETTAKI, Prof à L’ESI.
Encadrant : Dr. Ing. Walid CHERIF, Prof à l’ESI.
Tuteur : Ing. Imane BELLA, Chef de projet Junior à Soft Centre.
Royaume du Maroc
Haut-Commissariat au Plan
Ecole Des Sciences de l’Information
Projet de fin d’étude pour l’obtention du titre:
Ingénieur d’Etat
En Ingénierie des Connaissances et Données
Plan
2
“Le Graal du 20ème siècle, c'était le pétrole. Le 21ème est celui des données,”Jalil Bensouda
3
“ La « data » est au cœur de l’IA,” Ghita Ammor
4
Contexte général
Présentation
de l’organisme
Conception du projet Réalisation Conclusion
Etude de l’existant Problématique Etude de besoins
Objectif du projet
Président Mr
Azzelarab HASSIBI
Directeur Général
Mr Jamal
BENHAMOU
26 donneurs
d’ordre clients Comité de Projet
Chef de projet
junior Mme.
Imane BELLA
Développeurs
Ingénieurs PFE
Ingénieurs
Permanents
Chercheurs Thésards
Développement
logiciel
Centre de
services partagés
Valorisation des
activités R&D
Services
mobiles
Monétique
Progiciels
Multimédia
Big Data
Analytic
5
Contexte général
Présentation
de l’organisme
Conception du projet Réalisation Conclusion
Etude de l’Existant Problématique
 Profil
 Connaissances
 Discussion
 Commentaire
 Publication
 Communautés
SoulChain est une plateforme sociale d’échange et de
partage.
Etude de besoins
Objectif du projet
Messages
6
Contexte général
Présentation
de l’organisme
Conception du projet Réalisation Conclusion
Etude de l’existant Problématique
La plateforme SoulChain doit être intelligente, de
manière qu’elle va comprendre les problèmes d’un
membre via ses messages qui sont liés au monde
professionnel, et cela, pour qu’elle soit capable de
recommander des solutions pertinentes.
Etude de besoins
Objectif du projet
Quels sont les opérations à réaliser pour recommander
la bonne solution, automatiquement et instantanément,
pour un problème exprimé dans les messages d’un
utilisateur
7
Contexte général
Présentation
de l’organisme
Conception du projet Réalisation Conclusion
Etude de l’existant Problématique Objectif du projet
L’objectif principal est d’aider les utilisateurs de la
plateforme ayant des problèmes en leur proposant des
ressources (vidéos tutoriels, articles, …) afin de les consulter
pour en ressortir des pistes utiles, ainsi que d’optimiser le
temps de la recherche et la lecture d’une panoplie des pages
web.
Etude de besoins
8
MESSAGES
Q W R U I P
S D F H J K L
Z X C V B
SPACE
SEN
D
Hi, I have a good accuracy for
my ML model, but prediction
is random,what’s problem?
Y O
N
E
M ‘
G
T
.
A
Message :
Hi, I have a good accuracy for my ML model, but
prediction is random,what’s problem?
Il s’agit d’un problème
professionnel
I don’t have ideas, check at
stackoverflow!
User is Writing….
Contexte général Conception du projet Réalisation Conclusion
Etude
de besoins
Récupération
de message
Prétraitement
de message
Classification
de message
Reformulation
de message en
une requête de
recherche
Questions de la recherche
9
MESSAGES
Q W R U I P
S D F H J K L
Z X C V B
SPACE
ROBOT : www.solute.... SEN
D
We are Happy to help you, I
will send a url where you can
find solution for your
problem
Y O
N
E
M ‘
G
T
.
A
www.solute....
Contexte général Conception du projet Réalisation Conclusion
Etude
de besoins
Choisir
la meilleur solution
Recommander
la solution
Questions de la recherche
10
Contexte général Conception du projet Réalisation Conclusion
Etude
de besoins
Questions de la recherche
11
“En 1956 , Newel, Simon & Shaw écrivent Logic Theorist, le premier programme délibérément
conçu pour imiter les capacités de résolution des problèmes d'un être humain. ”
12
Contexte général
Conception Général
Conception du projet Réalisation Conclusion
Conception phase 1 Conception phase 2
13
Phase 4
Phase 3
Phase 2
Phase 1
Contexte général
Conception Général
Conception du projet Réalisation Conclusion
Conception phase 2
Conception phase 1
14
Contexte général
Conception Général
Conception du projet Réalisation Conclusion
Conception phase 2
Conception phase 1
Acquisition
de messages
Nettoyage
de messages
Vectorisation
de messages
Entrainement
du modèle
Evaluation
du modèle
15
Contexte général
Conception Général
Conception du projet Réalisation Conclusion
Conception phase 2
Conception phase 1
Acquisition
de messages
Nettoyage
de messages
Vectorisation
de messages
Entrainement
du modèle
Evaluation
du modèle
16
Contexte général
Conception Général
Conception du projet Réalisation Conclusion
Conception phase 2
Conception phase 1
Acquisition
de messages
Nettoyage
de messages
Vectorisation
de messages
Entrainement
du modèle
Evaluation
du modèle
17
1
2
3
Contexte général
Conception Général
Conception du projet Réalisation Conclusion
Conception phase 2
Conception phase 1
Acquisition
de messages
Nettoyage
de messages
Vectorisation
de messages
Entrainement
du modèle
Evaluation
du modèle
18
Contexte général
Conception Général
Conception du projet Réalisation Conclusion
Conception phase 2
Conception phase 1
Acquisition
de messages
Nettoyage
de messages
Vectorisation
de messages
Entrainement
du modèle
Evaluation
du modèle
19
Contexte général
Conception Général
Conception du projet Réalisation Conclusion
Conception phase 1 Conception phase 2
20
21i
Contexte général
Conception Général
Conception du projet Réalisation Conclusion
Conception phase 1 Conception phase 2
Input: message
Prétraitement
Un mot de message est trouvé dans le
dictionnaire
Comparer le score total de chaque
catégorie
Dictionnaire
de la vie
privée
Output: message classifié
Si oui Sinon
Augmenter le score
de la catégorie ‘privé’
Augmenter le score de la
catégorie ‘professionnel’
22
“ …tout tourne autour de la Data.”
Contexte général
Outils et technologies
Conception du projet Réalisation Conclusion
Simulation du projet
Langage de programmation Outils de développement Environnement de Travail
23
Contexte général
Outils et technologies
Conception du projet Réalisation Conclusion
Simulation du projet
24
25
“Le grand paradoxe de l'automatisation est que le désir d'éliminer le travail
humain génère toujours de nouvelles tâches pour les humains.” Mary
L.Gray
Contexte général Conception du projet Réalisation Conclusion
Pour classifier les messages en deux catégories, on a
opté pour deux approches:
 L’approche basée sur le Machine Learning pour la
classification en message problème et message
non-problème.
 L’approche basée sur le dictionnaire pour filtrer les
messages professionnels des messages privés.
 Améliorer la pertinence de sélection des messages
problèmes professionnels.
 Trouver la bonne solution au problème du message
et la recommander aux utilisateurs.
Perspectives
26
Merci Pour Votre
Attention !
27
Proposition d’un modèle Text Mining
pour un système de résolution automatique des problèmes détectés
à partir des échanges par messageries entre collaborateurs
Soutenu par:
Wiam FADEL
Année Universitaire: 2019-2020
Membres de Jury :
Présidente : Dr. Badia ETTAKI, Prof à L’ESI.
Encadrant : Dr. Ing. Walid CHERIF, Prof à l’ESI.
Tuteur : Ing. Imane BELLA, Chef de projet Junior à Soft Centre.
Royaume du Maroc
Haut-Commissariat au Plan
Ecole Des Sciences de l’Information
Projet de fin d’étude pour l’obtention du titre:
Ingénieur d’Etat
En Ingénierie des Connaissances et Données

Contenu connexe

Tendances

Présentation pfe - Etude, conception et réalisation d'une application web de ...
Présentation pfe - Etude, conception et réalisation d'une application web de ...Présentation pfe - Etude, conception et réalisation d'une application web de ...
Présentation pfe - Etude, conception et réalisation d'une application web de ...Ayoub Mkharbach
 
Conception et Réalisation d’une Plateforme Web de Gestion des achats
Conception et Réalisation d’une Plateforme Web de Gestion des achats Conception et Réalisation d’une Plateforme Web de Gestion des achats
Conception et Réalisation d’une Plateforme Web de Gestion des achats Ayed CHOKRI
 
Conception et developpement d'un site web pour la suggestion et notification ...
Conception et developpement d'un site web pour la suggestion et notification ...Conception et developpement d'un site web pour la suggestion et notification ...
Conception et developpement d'un site web pour la suggestion et notification ...Mohamed Boubaya
 
Soutenance PFE ingénieur génie logiciel
Soutenance PFE ingénieur génie logicielSoutenance PFE ingénieur génie logiciel
Soutenance PFE ingénieur génie logicielSiwar GUEMRI
 
Rapport Projet de Fin d'Etudes
Rapport Projet de Fin d'EtudesRapport Projet de Fin d'Etudes
Rapport Projet de Fin d'EtudesHosni Mansour
 
Memoire licence informatique application gestion personnel par herma - zita...
Memoire licence  informatique application gestion personnel  par herma - zita...Memoire licence  informatique application gestion personnel  par herma - zita...
Memoire licence informatique application gestion personnel par herma - zita...Soumia Elyakote HERMA
 
Rapport PFE "Conception et développement d'un Portail web pour le Smart Met...
Rapport  PFE  "Conception et développement d'un Portail web pour le Smart Met...Rapport  PFE  "Conception et développement d'un Portail web pour le Smart Met...
Rapport PFE "Conception et développement d'un Portail web pour le Smart Met...Hajer Dahech
 
CONCEPTION ET REALISATION D ’ UNE APPLICATION WEB POUR GESTION DE P ROJETS DE...
CONCEPTION ET REALISATION D ’ UNE APPLICATION WEB POUR GESTION DE P ROJETS DE...CONCEPTION ET REALISATION D ’ UNE APPLICATION WEB POUR GESTION DE P ROJETS DE...
CONCEPTION ET REALISATION D ’ UNE APPLICATION WEB POUR GESTION DE P ROJETS DE...Madjid Meddah
 
Rapport restaurant le-roi
Rapport restaurant le-roiRapport restaurant le-roi
Rapport restaurant le-roiMarwa Bhouri
 
Rapport PFE Ahmed BEN JEMIA
Rapport PFE Ahmed BEN JEMIARapport PFE Ahmed BEN JEMIA
Rapport PFE Ahmed BEN JEMIAAhmed BEN JEMIA
 
Présentation de mon PFE
Présentation de mon PFEPrésentation de mon PFE
Présentation de mon PFENadir Haouari
 
Application de gestion, suivi,et de sécurité des chantiers en temps réels.
Application  de gestion, suivi,et de sécurité des chantiers en temps réels.Application  de gestion, suivi,et de sécurité des chantiers en temps réels.
Application de gestion, suivi,et de sécurité des chantiers en temps réels.Sabri El gharbi El yahmadi
 
Soutenance de Mon PFE de Stage (DUT)
Soutenance de Mon PFE de Stage (DUT) Soutenance de Mon PFE de Stage (DUT)
Soutenance de Mon PFE de Stage (DUT) Mohammed JAITI
 
Rapport PFE Ilef Ben Slima
Rapport PFE Ilef Ben SlimaRapport PFE Ilef Ben Slima
Rapport PFE Ilef Ben SlimaIlef Ben Slima
 
Rapport final pfe_systeme_de_gestion _de_cabinet_de_formation_mobile_web
Rapport final pfe_systeme_de_gestion _de_cabinet_de_formation_mobile_webRapport final pfe_systeme_de_gestion _de_cabinet_de_formation_mobile_web
Rapport final pfe_systeme_de_gestion _de_cabinet_de_formation_mobile_webSalma Gouia
 
rapport de projet de fin d'étude_PFE
rapport de projet de fin d'étude_PFErapport de projet de fin d'étude_PFE
rapport de projet de fin d'étude_PFEDonia Hammami
 

Tendances (20)

Présentation pfe - Etude, conception et réalisation d'une application web de ...
Présentation pfe - Etude, conception et réalisation d'une application web de ...Présentation pfe - Etude, conception et réalisation d'une application web de ...
Présentation pfe - Etude, conception et réalisation d'une application web de ...
 
Conception et Réalisation d’une Plateforme Web de Gestion des achats
Conception et Réalisation d’une Plateforme Web de Gestion des achats Conception et Réalisation d’une Plateforme Web de Gestion des achats
Conception et Réalisation d’une Plateforme Web de Gestion des achats
 
Conception et developpement d'un site web pour la suggestion et notification ...
Conception et developpement d'un site web pour la suggestion et notification ...Conception et developpement d'un site web pour la suggestion et notification ...
Conception et developpement d'un site web pour la suggestion et notification ...
 
gestion de projet
gestion de projetgestion de projet
gestion de projet
 
Soutenance PFE ingénieur génie logiciel
Soutenance PFE ingénieur génie logicielSoutenance PFE ingénieur génie logiciel
Soutenance PFE ingénieur génie logiciel
 
Rapport Projet de Fin d'Etudes
Rapport Projet de Fin d'EtudesRapport Projet de Fin d'Etudes
Rapport Projet de Fin d'Etudes
 
Memoire licence informatique application gestion personnel par herma - zita...
Memoire licence  informatique application gestion personnel  par herma - zita...Memoire licence  informatique application gestion personnel  par herma - zita...
Memoire licence informatique application gestion personnel par herma - zita...
 
Rapport PFE "Conception et développement d'un Portail web pour le Smart Met...
Rapport  PFE  "Conception et développement d'un Portail web pour le Smart Met...Rapport  PFE  "Conception et développement d'un Portail web pour le Smart Met...
Rapport PFE "Conception et développement d'un Portail web pour le Smart Met...
 
Rapport pfe
Rapport pfeRapport pfe
Rapport pfe
 
CONCEPTION ET REALISATION D ’ UNE APPLICATION WEB POUR GESTION DE P ROJETS DE...
CONCEPTION ET REALISATION D ’ UNE APPLICATION WEB POUR GESTION DE P ROJETS DE...CONCEPTION ET REALISATION D ’ UNE APPLICATION WEB POUR GESTION DE P ROJETS DE...
CONCEPTION ET REALISATION D ’ UNE APPLICATION WEB POUR GESTION DE P ROJETS DE...
 
Rapport restaurant le-roi
Rapport restaurant le-roiRapport restaurant le-roi
Rapport restaurant le-roi
 
Rapport de PFE
Rapport de PFERapport de PFE
Rapport de PFE
 
Rapport PFE Ahmed BEN JEMIA
Rapport PFE Ahmed BEN JEMIARapport PFE Ahmed BEN JEMIA
Rapport PFE Ahmed BEN JEMIA
 
Prez PFE
Prez PFEPrez PFE
Prez PFE
 
Présentation de mon PFE
Présentation de mon PFEPrésentation de mon PFE
Présentation de mon PFE
 
Application de gestion, suivi,et de sécurité des chantiers en temps réels.
Application  de gestion, suivi,et de sécurité des chantiers en temps réels.Application  de gestion, suivi,et de sécurité des chantiers en temps réels.
Application de gestion, suivi,et de sécurité des chantiers en temps réels.
 
Soutenance de Mon PFE de Stage (DUT)
Soutenance de Mon PFE de Stage (DUT) Soutenance de Mon PFE de Stage (DUT)
Soutenance de Mon PFE de Stage (DUT)
 
Rapport PFE Ilef Ben Slima
Rapport PFE Ilef Ben SlimaRapport PFE Ilef Ben Slima
Rapport PFE Ilef Ben Slima
 
Rapport final pfe_systeme_de_gestion _de_cabinet_de_formation_mobile_web
Rapport final pfe_systeme_de_gestion _de_cabinet_de_formation_mobile_webRapport final pfe_systeme_de_gestion _de_cabinet_de_formation_mobile_web
Rapport final pfe_systeme_de_gestion _de_cabinet_de_formation_mobile_web
 
rapport de projet de fin d'étude_PFE
rapport de projet de fin d'étude_PFErapport de projet de fin d'étude_PFE
rapport de projet de fin d'étude_PFE
 

Similaire à Présentation FADEL Wiam sur le nlp et machine learning

Développement d'un forum de discussion
Développement d'un forum de discussionDéveloppement d'un forum de discussion
Développement d'un forum de discussionYoussef NIDABRAHIM
 
Avancement de mon doctorat (Damien Clauzel, janvier 2009)
Avancement de mon doctorat (Damien Clauzel, janvier 2009)Avancement de mon doctorat (Damien Clauzel, janvier 2009)
Avancement de mon doctorat (Damien Clauzel, janvier 2009)Damien Clauzel
 
La professionnalisation des étudiants en informatique par les projets libres,...
La professionnalisation des étudiants en informatique par les projets libres,...La professionnalisation des étudiants en informatique par les projets libres,...
La professionnalisation des étudiants en informatique par les projets libres,...Morgan Magnin
 
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)Ardesi Midi-Pyrénées
 
BigText, compréhension et inférence avancées sur les textes
BigText, compréhension et inférence avancées sur les textesBigText, compréhension et inférence avancées sur les textes
BigText, compréhension et inférence avancées sur les textesPALO IT
 
MDA for Cross-Platform Mobile Development
MDA for Cross-Platform Mobile DevelopmentMDA for Cross-Platform Mobile Development
MDA for Cross-Platform Mobile DevelopmentSalma ES-Salmani
 
Prefercom présentation
Prefercom présentationPrefercom présentation
Prefercom présentationLEVY REMI
 
Gestion des contrats assistances
Gestion des contrats assistancesGestion des contrats assistances
Gestion des contrats assistancessaadhamzaoui
 
Gestion des contrats assistances
Gestion des contrats assistancesGestion des contrats assistances
Gestion des contrats assistancessaadhamzaoui
 
Programmation en technologie (C.Blin)
Programmation en technologie (C.Blin)Programmation en technologie (C.Blin)
Programmation en technologie (C.Blin)APMEPIledeFrance
 
Présentation info
Présentation infoPrésentation info
Présentation infoQuinaThomas
 
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptx
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptxChapitre 1 - Introcution & cycles de développement - Etudiant.pptx
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptxssuserec8501
 
Présentation projet Mund@
Présentation projet Mund@Présentation projet Mund@
Présentation projet Mund@Romain Cambier
 
Nouvelles méthodes de développement web avec les technologies centrées doc...
Nouvelles méthodes de développement web avec les technologies centrées doc...Nouvelles méthodes de développement web avec les technologies centrées doc...
Nouvelles méthodes de développement web avec les technologies centrées doc...stsire
 
Expériences de gestion des connaissances avec IDELIANCE: supprimons le document!
Expériences de gestion des connaissances avec IDELIANCE: supprimons le document!Expériences de gestion des connaissances avec IDELIANCE: supprimons le document!
Expériences de gestion des connaissances avec IDELIANCE: supprimons le document!Jean Rohmer
 

Similaire à Présentation FADEL Wiam sur le nlp et machine learning (20)

Développement d'un forum de discussion
Développement d'un forum de discussionDéveloppement d'un forum de discussion
Développement d'un forum de discussion
 
output
outputoutput
output
 
Avancement de mon doctorat (Damien Clauzel, janvier 2009)
Avancement de mon doctorat (Damien Clauzel, janvier 2009)Avancement de mon doctorat (Damien Clauzel, janvier 2009)
Avancement de mon doctorat (Damien Clauzel, janvier 2009)
 
La professionnalisation des étudiants en informatique par les projets libres,...
La professionnalisation des étudiants en informatique par les projets libres,...La professionnalisation des étudiants en informatique par les projets libres,...
La professionnalisation des étudiants en informatique par les projets libres,...
 
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
 
PreferCom
PreferComPreferCom
PreferCom
 
BigText, compréhension et inférence avancées sur les textes
BigText, compréhension et inférence avancées sur les textesBigText, compréhension et inférence avancées sur les textes
BigText, compréhension et inférence avancées sur les textes
 
MDA for Cross-Platform Mobile Development
MDA for Cross-Platform Mobile DevelopmentMDA for Cross-Platform Mobile Development
MDA for Cross-Platform Mobile Development
 
Projet+com02.ppt
Projet+com02.pptProjet+com02.ppt
Projet+com02.ppt
 
Prefercom présentation
Prefercom présentationPrefercom présentation
Prefercom présentation
 
Gestion des contrats assistances
Gestion des contrats assistancesGestion des contrats assistances
Gestion des contrats assistances
 
Gestion des contrats assistances
Gestion des contrats assistancesGestion des contrats assistances
Gestion des contrats assistances
 
Programmation en technologie (C.Blin)
Programmation en technologie (C.Blin)Programmation en technologie (C.Blin)
Programmation en technologie (C.Blin)
 
Lmo02.ppt
Lmo02.pptLmo02.ppt
Lmo02.ppt
 
Présentation info
Présentation infoPrésentation info
Présentation info
 
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptx
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptxChapitre 1 - Introcution & cycles de développement - Etudiant.pptx
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptx
 
Présentation projet Mund@
Présentation projet Mund@Présentation projet Mund@
Présentation projet Mund@
 
Diapo PFE
Diapo PFEDiapo PFE
Diapo PFE
 
Nouvelles méthodes de développement web avec les technologies centrées doc...
Nouvelles méthodes de développement web avec les technologies centrées doc...Nouvelles méthodes de développement web avec les technologies centrées doc...
Nouvelles méthodes de développement web avec les technologies centrées doc...
 
Expériences de gestion des connaissances avec IDELIANCE: supprimons le document!
Expériences de gestion des connaissances avec IDELIANCE: supprimons le document!Expériences de gestion des connaissances avec IDELIANCE: supprimons le document!
Expériences de gestion des connaissances avec IDELIANCE: supprimons le document!
 

Présentation FADEL Wiam sur le nlp et machine learning

  • 1. Proposition d’un modèle Text Mining pour un système de résolution automatique des problèmes détectés à partir des échanges par messageries entre collaborateurs Soutenu par: Wiam FADEL Année Universitaire: 2019-2020 Membres de Jury : Présidente : Dr. Badia ETTAKI, Prof à L’ESI. Encadrant : Dr. Ing. Walid CHERIF, Prof à l’ESI. Tuteur : Ing. Imane BELLA, Chef de projet Junior à Soft Centre. Royaume du Maroc Haut-Commissariat au Plan Ecole Des Sciences de l’Information Projet de fin d’étude pour l’obtention du titre: Ingénieur d’Etat En Ingénierie des Connaissances et Données
  • 3. “Le Graal du 20ème siècle, c'était le pétrole. Le 21ème est celui des données,”Jalil Bensouda 3
  • 4. “ La « data » est au cœur de l’IA,” Ghita Ammor 4
  • 5. Contexte général Présentation de l’organisme Conception du projet Réalisation Conclusion Etude de l’existant Problématique Etude de besoins Objectif du projet Président Mr Azzelarab HASSIBI Directeur Général Mr Jamal BENHAMOU 26 donneurs d’ordre clients Comité de Projet Chef de projet junior Mme. Imane BELLA Développeurs Ingénieurs PFE Ingénieurs Permanents Chercheurs Thésards Développement logiciel Centre de services partagés Valorisation des activités R&D Services mobiles Monétique Progiciels Multimédia Big Data Analytic 5
  • 6. Contexte général Présentation de l’organisme Conception du projet Réalisation Conclusion Etude de l’Existant Problématique  Profil  Connaissances  Discussion  Commentaire  Publication  Communautés SoulChain est une plateforme sociale d’échange et de partage. Etude de besoins Objectif du projet Messages 6
  • 7. Contexte général Présentation de l’organisme Conception du projet Réalisation Conclusion Etude de l’existant Problématique La plateforme SoulChain doit être intelligente, de manière qu’elle va comprendre les problèmes d’un membre via ses messages qui sont liés au monde professionnel, et cela, pour qu’elle soit capable de recommander des solutions pertinentes. Etude de besoins Objectif du projet Quels sont les opérations à réaliser pour recommander la bonne solution, automatiquement et instantanément, pour un problème exprimé dans les messages d’un utilisateur 7
  • 8. Contexte général Présentation de l’organisme Conception du projet Réalisation Conclusion Etude de l’existant Problématique Objectif du projet L’objectif principal est d’aider les utilisateurs de la plateforme ayant des problèmes en leur proposant des ressources (vidéos tutoriels, articles, …) afin de les consulter pour en ressortir des pistes utiles, ainsi que d’optimiser le temps de la recherche et la lecture d’une panoplie des pages web. Etude de besoins 8
  • 9. MESSAGES Q W R U I P S D F H J K L Z X C V B SPACE SEN D Hi, I have a good accuracy for my ML model, but prediction is random,what’s problem? Y O N E M ‘ G T . A Message : Hi, I have a good accuracy for my ML model, but prediction is random,what’s problem? Il s’agit d’un problème professionnel I don’t have ideas, check at stackoverflow! User is Writing…. Contexte général Conception du projet Réalisation Conclusion Etude de besoins Récupération de message Prétraitement de message Classification de message Reformulation de message en une requête de recherche Questions de la recherche 9
  • 10. MESSAGES Q W R U I P S D F H J K L Z X C V B SPACE ROBOT : www.solute.... SEN D We are Happy to help you, I will send a url where you can find solution for your problem Y O N E M ‘ G T . A www.solute.... Contexte général Conception du projet Réalisation Conclusion Etude de besoins Choisir la meilleur solution Recommander la solution Questions de la recherche 10
  • 11. Contexte général Conception du projet Réalisation Conclusion Etude de besoins Questions de la recherche 11
  • 12. “En 1956 , Newel, Simon & Shaw écrivent Logic Theorist, le premier programme délibérément conçu pour imiter les capacités de résolution des problèmes d'un être humain. ” 12
  • 13. Contexte général Conception Général Conception du projet Réalisation Conclusion Conception phase 1 Conception phase 2 13 Phase 4 Phase 3 Phase 2 Phase 1
  • 14. Contexte général Conception Général Conception du projet Réalisation Conclusion Conception phase 2 Conception phase 1 14
  • 15. Contexte général Conception Général Conception du projet Réalisation Conclusion Conception phase 2 Conception phase 1 Acquisition de messages Nettoyage de messages Vectorisation de messages Entrainement du modèle Evaluation du modèle 15
  • 16. Contexte général Conception Général Conception du projet Réalisation Conclusion Conception phase 2 Conception phase 1 Acquisition de messages Nettoyage de messages Vectorisation de messages Entrainement du modèle Evaluation du modèle 16
  • 17. Contexte général Conception Général Conception du projet Réalisation Conclusion Conception phase 2 Conception phase 1 Acquisition de messages Nettoyage de messages Vectorisation de messages Entrainement du modèle Evaluation du modèle 17 1 2 3
  • 18. Contexte général Conception Général Conception du projet Réalisation Conclusion Conception phase 2 Conception phase 1 Acquisition de messages Nettoyage de messages Vectorisation de messages Entrainement du modèle Evaluation du modèle 18
  • 19. Contexte général Conception Général Conception du projet Réalisation Conclusion Conception phase 2 Conception phase 1 Acquisition de messages Nettoyage de messages Vectorisation de messages Entrainement du modèle Evaluation du modèle 19
  • 20. Contexte général Conception Général Conception du projet Réalisation Conclusion Conception phase 1 Conception phase 2 20
  • 21. 21i Contexte général Conception Général Conception du projet Réalisation Conclusion Conception phase 1 Conception phase 2 Input: message Prétraitement Un mot de message est trouvé dans le dictionnaire Comparer le score total de chaque catégorie Dictionnaire de la vie privée Output: message classifié Si oui Sinon Augmenter le score de la catégorie ‘privé’ Augmenter le score de la catégorie ‘professionnel’
  • 22. 22 “ …tout tourne autour de la Data.”
  • 23. Contexte général Outils et technologies Conception du projet Réalisation Conclusion Simulation du projet Langage de programmation Outils de développement Environnement de Travail 23
  • 24. Contexte général Outils et technologies Conception du projet Réalisation Conclusion Simulation du projet 24
  • 25. 25 “Le grand paradoxe de l'automatisation est que le désir d'éliminer le travail humain génère toujours de nouvelles tâches pour les humains.” Mary L.Gray
  • 26. Contexte général Conception du projet Réalisation Conclusion Pour classifier les messages en deux catégories, on a opté pour deux approches:  L’approche basée sur le Machine Learning pour la classification en message problème et message non-problème.  L’approche basée sur le dictionnaire pour filtrer les messages professionnels des messages privés.  Améliorer la pertinence de sélection des messages problèmes professionnels.  Trouver la bonne solution au problème du message et la recommander aux utilisateurs. Perspectives 26
  • 28. Proposition d’un modèle Text Mining pour un système de résolution automatique des problèmes détectés à partir des échanges par messageries entre collaborateurs Soutenu par: Wiam FADEL Année Universitaire: 2019-2020 Membres de Jury : Présidente : Dr. Badia ETTAKI, Prof à L’ESI. Encadrant : Dr. Ing. Walid CHERIF, Prof à l’ESI. Tuteur : Ing. Imane BELLA, Chef de projet Junior à Soft Centre. Royaume du Maroc Haut-Commissariat au Plan Ecole Des Sciences de l’Information Projet de fin d’étude pour l’obtention du titre: Ingénieur d’Etat En Ingénierie des Connaissances et Données

Notes de l'éditeur

  1. Madame la présidente, honorable jury, bonjour. Je m’appelle FADEL Wiam, Aujourd’hui et dans le cadre de l’obtention de mon diplôme d’ingénieur d’Etat en Connaissances et Données, j’ai l’honneur de soumettre a votre appréciation le résultat de mon projet de fin d’étude , réalisé au sein de soft Centre sous titre : Intitulé:   « ……. » .
  2. Pour bien mener cette présentation nous adopterons le plan suivant (plan):, je commencerai d’abord par une introduction, je présenterai ensuite le contexte général du projet, Je me focaliserai dans la troisième partie sur la conception du projet, après, une réalisation qui contient une simulation de notre travail et finissant enfin par une conclusion et une perspective.
  3. l’intelligence artificielle est déjà très présente dans nos vies, à travers évidemment nos smartphones  – nouveaux GPS, assistants vocaux, etc. Pour le moment, les observateurs soulignent que les sociétés marocaines sont assez peu avancées sur ce sujet. Les grandes entreprises pour l’instant hésitent à capitaliser sur leurs données, à part dans les secteurs banque et assurance, et les télécoms.Plus généralement, la marche vers l’IA se fait progressivement, avec par exemple la multiplication des chatbots pour répondre aux clients Chez la startup marocaine soft centre , j’ai l’occasion de travailler dans leur projet un use case qui se concentre sur une messagerie en combinant l’intelligence artificielle.
  4. Nous entamons d’abord par le contexte général qui a pour objectif de présenter l’organisme d’accueil,l’etude de l’existant, la problématique, l’objectif principal , l’etude des besoins et les questions de recherche
  5. Comme chaque entreprise ou société, Soft Center comprend une hiérarchie que l’on présente sous forme de l’organigramme suivant : Mon projet PFE est effectué au sein du département de Développement en tant qu’ingénieur PFE. Le Soft Centre, dont la Présidence est assurée par l’ANRT ,est un Centre de développement logiciel mis à disposition des opérateurs du secteur de l’Industrie des Technologies de l’Information ; Il y a 3 domaines d’intervention de soft centre : • La recherche appliquée et le développement logiciel; à savoir la génération de projets de recherche et développement logiciel ‘’à la demande’’. • Le centre de services partagés, via la mise à disposition de ressources mutualisées au profit des opérateurs du secteur des TI,. • Valorisation des activités R&D, via la mise en œuvre de programmes d’accélération technologiques,. Les axes de recherche du Soft Centre sont: Services mobiles Monétique Progiciels Multimédia Big Data Analytic
  6. SoulChain est une application mobile consiste à concevoir et à développer une plateforme sociale d’échange et de partage, qui va regrouper des personnes possédant un centre d'intérêt, ou un besoin commun. Nous décrivons cette plateforme a travers ces simples fonctions de base: un profil membre personnelle une liste des connaissances un espace de discussion elle donne la possibilité de publier des commentaires et des publications Elle offre aussi La possibilité de créer des communautés autour d'un thème d'intérêt. Mon sujet de PFE est basé sur cet espace de discussion tout en exploitant les messages de chat comme matière première. Mais réellement toute l’application est en cours de construction.Et nous travaillons sur messages aléatoires
  7. Afin de bien comprendre notre problématique,……,.
  8. Puisque le projet est en cours de construction, nous allons donner d’après le cahier de charge, un schéma qui ressemble à l’environnement dont nous allons appliquer notre système. Ce schéma va nous aider a faire une étude de besoins détaillée pour bien déterminer ce que veut le client. Dans la plateforme Soulchain , les utilisateurs échangent des messages dans une messagerie. Un utilisateur dit  <<…..>>,l’autre repons<<….>>.afin d’appliquer l’intelligence artificielle a cette messagerie,notre système a besoin de récupérer le message de notre utilisateur, ensuite il passe a prétraiter le message, après il a besoin de classifier le message afin de déterminer s’il s’agit d’un problème professionnel ou pas , si oui , le système a besoin de reformuler le message comme une requête de recherche pour le moteur de recherche.
  9. L’etape suivante consiste a choisir parmi les résultats du moteur de recherche , la bonne solution ,c’est une étape critique, car c’est le choix de la solution qui va évaluer la pertinence de système. et a la fin, le système recommande la solution , automatiquement et instantanément a l’utilisateur.par exemple il dit :<<…>>. Nous passons maintenant a poser les questions de recherche pour réaliser le projet
  10. Notre matière première est les messages, et on n’a pas une accessibilité à une base de données réelle du projet en question, alors quel sont les sources et les méthodes pour construire une grande base de données labélisée des messages? Pour classifier le message,Quelle est la meilleure approche pour classifier le texte, le machine Learning ou bien l’approche basée sur le dictionnaire ?Quels sont les algorithmes les plus performants pour la classification de texte? Enfin pour Trouver la solution pour un message détecté problème professionnel. Comment on peut reformuler une requête de recherche d’après un message détecté problème ? Quelles sont les démarches pour choisir la solution la plus pertinente ?
  11. nous allons définir une conception adaptée aux besoins collectés afin de détailler chaque phase de la réalisation du projet. Nous entamons d’abord par une conception général, et par la suite une conception détaillée de chaque phase qu’on a realise.
  12. Pour la conception générale, Le processus de travail comporte quatre phases principales, phase 1,phase 2, phase3 et phase 4. Notre Input : est les messages de chat d’un membre de la plateforme SoulChain. D’abord le système récupère le messages de cet utilisateur. Pour la Phase 1 : on fait une Classification des messages en Message problème et Message non-problème. Pour la Phase 2 : on fait une Classification des Messages détectés problème, en Problème de monde professionnel et Problème de la vie privée. Pour la Phase 3 : on fait une Extraction du Sujet d’un message détecté problème professionnel, en reformulant le message comme une requête pour les moteurs de recherche. Pour la Phase 4 :on fait le Choix de la solution la plus pertinente pour le problème, et faire la recommander automatiquement au membre concerné. Pour les messages qui ne porte aucun problème nous avons les ignorer, de même pour les messages prives. Comme Output :nous obtiendrons des Solutions sous format des documents, des articles, des vidéos...qu’on va recommander automatiquement. Étant donné la complexité du projet et en raison des contraintes de temps, nous n'arrivions pas à réaliser le mécanisme de recommandation. Nous nous focalisons sur la détection automatique des messages problèmes qui appartiennent au monde professionnel
  13. Cette phase va se concentrer sur la classification des messages en message problème et message non problème. Pour réaliser la phase 1, nous choisissons d’appliquer le Machine Learning pour une classification binomiale de texte. L’algorithme qu’on a utilisé derrière est Logistic Regression. Notre input est une base de données de messages labélisés, qui sera nettoyée, vectorisée et entrainée, ensuite on a évalué le modele,et avec une bonne accuracy , nous avons enregistre le modele, afin de donner à notre système la capacité de prédire sur des nouveaux messages. Nous allons détailler par la suite chaque etape de ce processus de machine learning
  14.   Dans cette étape notre input est pas de données, alors Pour l’acquisition des messages, nous avons fait du Web Scraping. Au départ , nous avons identifie la structure de notre base de données , elle contient juste une colonne a part la colonne des labels,c’est les messages , de type Texte. Apres nous avons entame l’etape de web scraping c.-à-d., nous avons fait une extraction des publications des utilisateurs à partir des sites web de questions-réponses par sujets. Nous avons considéré les publications des utilisateurs comme des messages SMS, et pour labelliser ces messages, on a étiqueté les publications des utilisateurs qui appartiennent au sujet ‘problème’ avec le label ‘problem’, tandis que pour les publications de différents sujets on a les étiquetés avec le label ‘not problem’. Lors de l’implémentation du code d’extraction, nous avons choisi d’enregistrer tous les messages et leurs labels dans un fichier CSV.
  15. Une fois que notre base de données est prête, dans cette étape, nous avons transforme les valeurs du label d’un type textuel à un type numérique, car la majorité des algorithmes agit mieux avec des entrées numériques. Apres Nous avons élimine les éléments qui peuvent impacter le succès de l’apprentissage comme les valeurs manquantes. Aussi, nous avons divise les messages en listes des mots ainsi que nous avons converti tous en minuscules, Apres nous avons eliminer la ponctuation, les mots vides, …, surtout que les messages longs contiennent un nombre important de ponctuations, ce qui nécessitent un traitement avec dévouement. Les expressions de la question et le point d’interrogation ‘?’ peuvent être un pattern important pour identifier qu’un message contient un problème, c’est pour cela qu’on ne va pas les éliminer.et cela, pour appliquer une lemmatisation sur chaque mot du message. Cette opération va réduire les différentes formes d’un mot, et gagner du temps et du stockage Comme output on a un dateset nettoyé
  16. D’abord on a divisé notre base de données en 2/3 apprentissage (Train) et 1/3 test. Afin d’entrainer notre modèle d’apprentissage, nous devons préparer les données au format adéquat à l’entrée de l’algorithme, à savoir des vecteurs. Pour ce faire nous utiliserons la technique du CountVectorizer qui permet de représenter les données sous formats des vecteurs de nombres entiers. CountVectorizer implémente la représentation avec bags-of-words qui se déroule en 3 étapes distinctes : Tokenisation de chaque message de la base de données d’apprentissage.  Construction du vocabulaire avec cette base de données d’apprentissage, on récupère tous les tokens existant. On construit un vecteur pour chaque message avec le nombre d'apparition de chaque mot du vocabulaire.
  17. Après la construction de vocabulaire nous avons transformé toute la base de données en vecteurs de nombre entiers. Une fois que nos données sont préparées pour l’entrainement, l’étape d’apprentissage consiste à faire des calculs, extraire les caractéristiques des messages et les classifier en deux catégories ‘problem’ et ‘not problem’. L’algorithme derrière est la régression logistique, c’est la meilleure pour la classification binaire.
  18. Après l’entraînement du modèle, l'objectif de l'évaluation est de tester un modèle sur des données différentes de celles sur lesquelles il a été entraîné. Cela permet d'obtenir une estimation non biaisée des performances d'apprentissage. Comme métrique d’évaluation, nous allons utiliser l’Accuracy de la classification pour mesurer la performance de notre modèle. Pour la description complète de modèle on a utilisé la matrice de confusion Si l’Accuracy donne de bons résultats on enregistre le modèle et on l’utilise pour la prédiction sur des nouveaux messages, sinon, on essaie d’appliquer la méthode de Hyperparamètre de tuning pour choisir les meilleurs paramètres pour l’entrainement du modèle ou bien de revoir notre base de données si elle est bien labélisée et équilibrée
  19. Cette phase va se concentrer sur la classification des messages détectés problèmes en message professionnel et message privé. Pour réaliser la phase 2, nous choisissons d’appliquer l’approche basée sur le dictionnaire pour une classification binomiale de texte. Notre input est un message, qui sera nettoyé, divisé en liste des mots et lemmatisé, afin de faire une comparaison avec le dictionnaire et filtrer à travers des calculs les messages professionnels des messages privées.
  20. Un mot est considéré privé lorsqu’il est trouvé dans le dictionnaire, et tout ce qui n’est pas privé est professionnel. Le score d’un mot privé est 1. Le score d’un mot professionnel est 0.75 s’il est un nom, sinon le score est 0.5
  21. Nous passant maintenant a la réalisation , dont nous allons voir les outils open source qu’on a utilise, ainsi que une simulation par une simple flask api.
  22. https://openclassrooms.com/fr/courses/4425066-concevez-un-site-avec-flask/4526015-affichez-le-contenu-dun-template
  23. Madame la présidente, honorable jury, bonjour. Je m’appelle FADEL Wiam, Aujourd’hui et dans le cadre de l’obtention de mon diplôme d’ingénieur d’Etat en Connaissances et Données, j’ai l’honneur de soumettre a votre appréciation le résultat de mon projet de fin d’étude , réalisé au sein de soft Centre sous titre : Intitulé:   « ……. » .