Apprentissage et utilisation de modèles graphiques probabilistes pour la modélisation de systèmes complexes, 7 sept 2023, conférence "Recherche en IA pour la Santé et l'Industrie", Nantes Université et TRAIL
Réseaux bayésiens, vers des modèles d’IA directement compréhensibles et soutenables pour la modélisation de systèmes complexes, 5 juin. 2023, colloque "Modélisation et IA en Sciences et Technologies", Journées Scientifiques de l'Université de Nantes
Réseaux bayésiens, vers des modèles d’IA directement compréhensibles et soutenables pour la modélisation de systèmes complexes, 5 juin. 2023, colloque "Modélisation et IA en Sciences et Technologies", Journées Scientifiques de l'Université de Nantes
Cartes auto organisées pour l’analyse exploratoire deJovani NDABTJE
L’objet de cet article est de présenter comment on peut se servir de l’algorithme
de Kohonen pour représenter des données multidimensionnelles, grâce à la
propriété d’auto-organisation. On montre comment obtenir ces cartes tant pour
des données quantitatives que pour des données qualitatives, ou pour un mélange
des deux.
AGMQ 2011 : Les données libres et le territoirenoucher
Colloque annuel de l'Association de Géomatique Municipale du Québec (AGMQ) sur le thème "Les données libres et le territoire" organisé à l'Université Laval, Québec, le 3 mai 2011. Conférence introductive de Matthieu Noucher (France).
Softshake 2015 - Des small data aux big data - Méthodes et TechnologiesOCTO Technology Suisse
L'importance de la donnée et les informations que nous pouvons en tirer sont en train de révolutionner notre monde. De plus en plus massives et hétérogènes, l'exploitation de ces données induit de faire appel à de nouvelles méthodes et technologies. Ces évolutions récentes en termes de moyens de stockage, de capacités de calcul et de méthodes d'analyse donnent une nouvelle place aux données dans notre quotidien.
Cette présentation offre une découverte du monde du big data en introduisant les différentes méthodes et technologies utilisées et en les illustrant de plusieurs cas pratiques.
Etude de visualisation des données selon le modèle LRM - Journée professionne...ABES
Etude de visualisation des données selon le modèle LRM
Présentation lors de la 4e journée professionnelle du groupe Systèmes & Données (BnF, 15 novembre 2019) du programme Transition Bibliographique : N’oubliez pas les données d’autorité
Raphaëlle Poveda, Maité Roux - Abes
Livre blanc Verteego : intelligence artificielle et territoiresJeremy Fain
Les territoires sont-ils le futur terrain de jeu de l'intelligence artificielle ? L'intelligence artificielle peut-il contribuer à créer des Smarter Cities ? La vague de digitalisation des administrations inclut-elle le prédictif et l'accompagnement d'usages nouveaux qu'il permet ? La data est-elle un danger autant qu'une opportunité ? Quelle gouvernance pour la data dans nos collectivités ? Ce livre blanc s'attache à éclairer certaines de ces questions.
Analyse de réseaux en sciences sociales en général... et en histoire en parti...Laurent Beauguitte
Présentation sur l'analyse de réseaux en sciences sociales et en histoire faite à l'école d'été Ferney-Voltaire le 25 août 2014 (http://ferney2014.sciencesconf.org/)
Un mémoire de fin d’étude est le document qui atteste et attestera,
dans l’avenir, que l’étudiant a mener à bien une étude introduction à la recherche scientifique à l’université.
Les lecteurs, de ce document, auront à découvrir que le prétendu candidat, a suivi un plan d’études tracer sous la direction d’un encadreur habilité à encadrer de telle expériences.
L’image de marque des deux parties, encadreur et étudiant(s) est trop influencée par la qualité dans laquelle ce document a été rédigé.
En gros, un mémoire traite une PROBLEMATIQUE, bien défini, déterministe, observable, quantifiable, entre autre, réalisable. Ces exigences sont celle du côté encadrement alors que la qualité finale dépend du travail de l’étudiant.
This document discusses advances in learning Bayesian networks from various types of data. It begins by introducing Bayesian networks and some extensions like dynamic Bayesian networks and relational Bayesian networks. It then discusses different types of data that can be used for learning Bayesian networks, such as incomplete, high-dimensional, streaming, structured, and temporal data. The objectives of the talk are to discuss how to learn Bayesian networks from these different contexts, provide an overview of foundational and recent algorithms, and highlight contributions in these areas. The talk will focus on learning Bayesian networks from complex and large-scale data.
Cartes auto organisées pour l’analyse exploratoire deJovani NDABTJE
L’objet de cet article est de présenter comment on peut se servir de l’algorithme
de Kohonen pour représenter des données multidimensionnelles, grâce à la
propriété d’auto-organisation. On montre comment obtenir ces cartes tant pour
des données quantitatives que pour des données qualitatives, ou pour un mélange
des deux.
AGMQ 2011 : Les données libres et le territoirenoucher
Colloque annuel de l'Association de Géomatique Municipale du Québec (AGMQ) sur le thème "Les données libres et le territoire" organisé à l'Université Laval, Québec, le 3 mai 2011. Conférence introductive de Matthieu Noucher (France).
Softshake 2015 - Des small data aux big data - Méthodes et TechnologiesOCTO Technology Suisse
L'importance de la donnée et les informations que nous pouvons en tirer sont en train de révolutionner notre monde. De plus en plus massives et hétérogènes, l'exploitation de ces données induit de faire appel à de nouvelles méthodes et technologies. Ces évolutions récentes en termes de moyens de stockage, de capacités de calcul et de méthodes d'analyse donnent une nouvelle place aux données dans notre quotidien.
Cette présentation offre une découverte du monde du big data en introduisant les différentes méthodes et technologies utilisées et en les illustrant de plusieurs cas pratiques.
Etude de visualisation des données selon le modèle LRM - Journée professionne...ABES
Etude de visualisation des données selon le modèle LRM
Présentation lors de la 4e journée professionnelle du groupe Systèmes & Données (BnF, 15 novembre 2019) du programme Transition Bibliographique : N’oubliez pas les données d’autorité
Raphaëlle Poveda, Maité Roux - Abes
Livre blanc Verteego : intelligence artificielle et territoiresJeremy Fain
Les territoires sont-ils le futur terrain de jeu de l'intelligence artificielle ? L'intelligence artificielle peut-il contribuer à créer des Smarter Cities ? La vague de digitalisation des administrations inclut-elle le prédictif et l'accompagnement d'usages nouveaux qu'il permet ? La data est-elle un danger autant qu'une opportunité ? Quelle gouvernance pour la data dans nos collectivités ? Ce livre blanc s'attache à éclairer certaines de ces questions.
Analyse de réseaux en sciences sociales en général... et en histoire en parti...Laurent Beauguitte
Présentation sur l'analyse de réseaux en sciences sociales et en histoire faite à l'école d'été Ferney-Voltaire le 25 août 2014 (http://ferney2014.sciencesconf.org/)
Un mémoire de fin d’étude est le document qui atteste et attestera,
dans l’avenir, que l’étudiant a mener à bien une étude introduction à la recherche scientifique à l’université.
Les lecteurs, de ce document, auront à découvrir que le prétendu candidat, a suivi un plan d’études tracer sous la direction d’un encadreur habilité à encadrer de telle expériences.
L’image de marque des deux parties, encadreur et étudiant(s) est trop influencée par la qualité dans laquelle ce document a été rédigé.
En gros, un mémoire traite une PROBLEMATIQUE, bien défini, déterministe, observable, quantifiable, entre autre, réalisable. Ces exigences sont celle du côté encadrement alors que la qualité finale dépend du travail de l’étudiant.
This document discusses advances in learning Bayesian networks from various types of data. It begins by introducing Bayesian networks and some extensions like dynamic Bayesian networks and relational Bayesian networks. It then discusses different types of data that can be used for learning Bayesian networks, such as incomplete, high-dimensional, streaming, structured, and temporal data. The objectives of the talk are to discuss how to learn Bayesian networks from these different contexts, provide an overview of foundational and recent algorithms, and highlight contributions in these areas. The talk will focus on learning Bayesian networks from complex and large-scale data.
Learning graphical models in high dimensional settings
Apr 04, 2017 - Apr 07, 2017
ICMS, 15 South College Street
Probabilistic Relational Models (PRMs) extend Bayesian networks to work with relational databases rather than propositional data. Existing approaches for PRM structure learning are inspired from classical methods of learning the BN structure. We will present in this talk our works about:
- hybrid structure learning methods, with our adaptation of the Max-Min Hill Climbing (MMHC) algorithm proposed for Bayesian networks.
- exact and anytime structure learning methods, with a preliminary work.
Bayesian networks (BNs) are a powerful tool for graphical representation of the underlying knowledge in the data and reasoning with incomplete or imprecise observations.
BNs have been extended (or generalized) in several ways, as for instance, causal BNs, dynamic BNs, Relational BNs, ...
In this lecture, we will focus on Bayesian network learning.
BN learning can differ with respect to the task : generative model versus discriminative one ? Then, the learning task can also differ w.r.t the nature of the data : complete data, incomplete data, non i.i.d data, number of variables >> number of samples, data stream, presence of prior knowledge ...
Given the diversity of these problems, many approaches have emerged in the literature. I will present a brief panorama of those algorithms and describe our current works in this field, with works about BN structure learning, dynamic BN structure learning and relational BN structure learning.
This document surveys learning possibilistic networks from data. It discusses possibilistic networks and inference methods. For learning, it reviews that parameter learning is challenging as there is no existing solution to directly learn conditional possibility distributions from data. Structure learning also has open questions as existing constraint-based, score-based and hybrid methods have limitations. In conclusion, possibilistic networks are well studied for inference but learning from data remains an open problem area.
Ontological knowledge integration for Bayesian network structure learningUniversity of Nantes
Intégration de connaissances ontologiques pour l'apprentissage des réseaux bayésiens
5èmes Journées thématiques "Apprentissage Artificiel & Fouille de Données", 28 juin 2012, Université Paris 13, France.
(title in French, but slides english)
Des modèles graphiques probabilistes aux modeles graphiques de duréeUniversity of Nantes
journée Automates Probabilistes LINA, 8 nov. 2013, Nantes, France
- introduction aux modèles graphiques probabilistes (MGP)
- et aux MGP dynamiques
- un exemple original : les modèles graphiques de durée
Des modèles graphiques probabilistes aux modeles graphiques de durée
SlidesTRAIL.pdf
1. Apprentissage et utilisation de modèles graphiques
probabilistes pour la modélisation de systèmes
complexes
vers des modèles d'IA compréhensibles et soutenables
Philippe Leray
Nantes Université, LS2N, Capacités
Philippe.Leray@ls2n.fr
2. Plan
2/27
applicable dans de
nombreux contextes et
domaines d’application
3. applicables dans de
nombreux contextes et
domaines d’application
2. réseaux bayésiens
1. introduction
3. Qui suis-je ?
1993 : Ingénieur ISEP, option Informatique
1993 : DEA Intelligence Artificielle, Reconnaissance des Formes et Applications, Univ. Paris 6
1998 : Thèse de Doctorat, Univ. Paris 6
apprentissage et diagnostic de systèmes complexes : réseaux de neurones et réseaux bayésiens
1999 : Maître de conférences, INSA Rouen
2006 : Habilitation à Diriger les Recherches, Univ. Rouen
réseaux bayésiens : apprentissage et modélisation de systèmes complexes
2007 : Professeur des Universités, Polytech'Nantes - Univ. Nantes
2017 : Responsable scientifique Capacités SAS, cellule Data-IA
3/27
4. Intérêt pour l’Intelligence Artificielle
198x : Que peut-on faire d'intelligent avec un TRS 80 ou un Amstrad CPC 6128 ?
1994 : Découverte des réseaux de neurones :
construire un modèle intelligent à partir de données !
1997 : Découverte des réseaux bayésiens (RB) : et en plus on peut raisonner !!!
1999 : Apprentissage des RB sous toutes leurs formes
applications à la modélisation de systèmes complexes
2007 : PILGRIM, bibliothèque C++ dédiée aux modèles graphiques probabilistes
2023 : Bientôt 30 thèses encadrées sur le sujet, du très théorique au très appliqué
Des projets R&D dans des domaines très larges : fiabilité, maintenance, sécurité,
bio-informatique, santé, recommandation, ...
4/27
5. Un peu d’histoire
1970-90 : L’ère des systèmes experts
des connaissances décrites sous forme de règles logiques
des mécanismes de raisonnement à partir d’observation
Judea Pearl (1936-…) : et si on rajoutait de l’incertain ?
1982 : Reverent Bayes on inference engines: a distributed hierarchical approach
1988 : Probabilistic Reasoning in Intelligent Systems
2000 : Causality : Models, reasoning, inference
2012 : ACM A.M. Turing Award for contributions that transformed AI
2018 : The Book of Why: The New Science of Cause and Effect
5/27
6. Model-based vs. Model-blind learning
6/27
Model-based learning
représentation mentale du système
manipulable à volonté (« What if »)
réseaux bayésiens
Model-blind learning
Pearl, J. (2018). Theoretical Impediments to Machine Learning With Seven Sparks from the Causal Revolution, January 15, 2018,
7. Plan
7/27
applicable dans de
nombreux contextes et
domaines d’application
3. applicables dans de
nombreux contextes et
domaines d’application
2. réseaux bayésiens
1. introduction
8. Qu’est-ce qu’un réseau bayésien ?
Est-ce que je vais me casser la jambe aujourd’hui ?
pour cela, il faudrait que je glisse dans la rue
ce qui s’explique généralement par le fait que
le sol est mouillé, et/ou que je suis dans la lune
mais si je suis dans la lune, je risque aussi
d’oublier mes papiers
description graphique des connaissances
représentation intuitive, compréhensible
interprétation causale (parfois)
8/27
9. Et l’incertain dans tout cela ?
si je fais pas attention, il est rare que
j’oublie mes papiers (une fois sur dix)
par contre si je je fais pas attention,
il y a 3 chances sur 4 que j’oublie mes papiers !
je n’ai jamais eu la jambe cassée
sans avoir glissé avant
et en glissant, il y a généralement 9 chances sur 10
que je ne me casse pas la jambe
représentation probabiliste de l’incertain
9/27
Qu’est-ce qu’un réseau bayésien ?
10. Et à quoi cela peut bien servir ?
je me réveille ce matin,
sans rien connaître de ma journée
risque d’oublier mes papiers : 23 %
risque d’inattention : 20 %
risque de glissade : 22 %
risque de jambe cassée : 2 %
un modèle qui n’a pas « d’entrées » ou de « sorties »
10/27
Qu’est-ce qu’un réseau bayésien ?
11. Et à quoi cela peut bien servir ?
aujourd’hui est un bon jour : pas de pluie
et je n’ai pas oublié mes papiers !
risque d’inattention : 20 % → 6 %
risque de glissade : 22 % → 1 %
risque de jambe cassée : 2 % → presque 0 % !
raisonnement en présence de données incomplètes
11/27
Qu’est-ce qu’un réseau bayésien ?
12. Et à quoi cela peut bien servir ?
aujourd’hui est un mauvais jour : il pleut
et j’ai oublié mes papiers !
risque d’inattention : 20 % → 65 %
risque de glissade : 22 % → 81 %
risque de jambe cassée : 2 % → 8 % !
12/27
Qu’est-ce qu’un réseau bayésien ?
13. Et à quoi cela peut bien servir ?
j’ai glissé, mais il ne pleut pas aujourd’hui !
risque d’inattention : 20 % → 96 %
risque d’oublier mes papiers : 23 % → 73 %
risque de jambe cassée : 2 % → 10 % !
13/27
Qu’est-ce qu’un réseau bayésien ?
déduction : glissade sans pluie donc inattention
14. Réseaux bayésiens et Machine Learning
Small Data
construction du graphe par formalisation des
connaissances expertes
élicitation des probabilités : idem
validation du modèle en illustrant son
comportement dans des cas d’utilisations
connus, ou en utilisant les quelques données
disponibles
on peut construire un modèle réaliste même sans données !
14/27
15. Medium Data
construction du graphe par formalisation
des connaissances expertes
apprentissage des probabilités
par des approches statistiques standards,
avec données complètes ou incomplètes
vers une IA plus soutenable
15/27
Réseaux bayésiens et Machine Learning
16. Big Data
apprentissage du graphe
à partir des données
combinaison possible avec
des connaissances
expertes
découverte de connaissances
à partir de données
avec un modèle appris interprétable
16/27
Réseaux bayésiens et Machine Learning
17. La descendance
De nombreuses extensions pour traiter des problèmes de plus en plus complexes
données discrètes et continues : réseaux conditionnels gaussiens
prise en compte de décisions et de leur coût : diagrammes d’influence
données séquentielles : réseaux bayésiens dynamiques
fichiers de logs : modèles graphiques d’événements
données relationnelles : modèles relationnels probabilistes
bases de données de graphe : modèles entité-association probabilistes
17/27
19. Des exemples récents
Medical Companion – prévention de la récidive de tentative de suicide
19/27
- l’assistant pose des questions au
patient
- les résultats aux questions
permettent d’évaluer différentes
« dimensions » de l’état du patient
(anxiété, appétit, sommeil, …), et
son état global
- des préconisations sont
proposées au patient en fonction
des variations de son état
Mouchabac, S., Leray, P., Adrien, V., Gollier-Briant, F., and Bonnot, O. (2021). Beyond big data in behavioral psychiatry, the place of bayesian network. / example from a preclinical trial of an innovative smartphone
application to prevent suicide relapse. Journal of Medical Internet Research,
20. Des exemples récents
Apprentissage fédéré préservant la confidentialité pour des applications médicales
personnalisées
20/27
- chaque assistant recueille les données de son patient
- ces données peuvent servir à
personnaliser le modèle pour ce patient
- mais comment faire pour qu’elles puissent aussi aider à
améliorer les autres modèles ?
= apprentissage fédéré / multi-tâches
et en garantissant la confidentialité des données ?
= confidentialité préférentielle
Benikhlef, S., Leray, P., Raschia, G., M.Ben Messaoud, and Sakly, F. (2021). Multi-task transfer learning for Bayesian network structures. In Proceedings of the 16th European Conference on Symbolic and
Quantitative Approaches to Reasoning with Uncertainty (ECSQARU 2021), pages 217-228, Prague, Czechia.
21. Des exemples récents
Modèles graphiques d’événements pour la modélisation du processus chirurgical
21/27
- les robots chirurgicaux sont commandés par des
chirurgiens
- des données brutes concernant les actions sont recueillies
- les chirurgies sont annotées
Objectif :
- construire/apprendre des modèles graphiques
d’événements à partir de ces logs, et d’ontologies,
pour décrire les séquencements d’actions possibles,
et la variabilité inhérente à une chirurgie
22. Des exemples récents
Détection d’outliers dans des données tabulaires mixtes
22/27
- le réseau bayésien « capture » des dépendances
probabilistes entre les variables du tableau de
données
- des groupes de variables incohérents peuvent être
identifiés et montrés à l’utilisateur
- le modèle peut aussi proposer des corrections les
plus probables
Dufraisse, E., Leray, P., Nedellec, R., and Benkhelif, T. (2020). Interactive anomaly detection in mixed tabular data using bayesian networks. In Jaeger, M. and Nielsen, T. D., editors, Proceedings of the 10th
International Conference on Probabilistic Graphical Models (PGM 2020), volume 138 of Proceedings of Machine Learning Research, pages 1-12, Aalborg, Denmark. PMLR.
23. Des exemples récents
Modèle de vieillissement des composants d’une maison et estimation des coûts associés
23/27
Blanchard J., Leray, P., Marandel, F.. and Piton, T. (2023). Une extension des modèles graphiques de durée pour estimer l'évolution des coûts de maintenance dans le logement résidentiel, JFRB 2023, Nantes,
France
24. Des exemples récents
Réseaux bayésiens pour l’usinage intelligent
24/27
Construire un réseau bayésien
- pour prédire l’usure de l’électro-broche utilisée dans
les machines-outils d’usinage à grande vitesse
- pendant la surveillance du processus
- mais de manière non supervisée ?
- et se servant aussi d’autres données capturées
(par d’autres capteurs) en dehors du processus
d’usinage ?
= co-training non supervisé
Monvoisin, M., Leray, P., and Ritou, M. (2021). Unsupervised co-training of bayesian networks for condition prediction. In 34th International Conference on Industrial Engineering and Other Applications of Applied
Intelligent Systems, IEA/AIE 2021, July 26-29, 2021, Kuala Lumpur, Malaysia, pages 577-588.
25. Des exemples récents
Bayesian Knowledge Tracing : estimation du niveau de compétence d’apprenants
25/27
- on observe les résultats d’un apprenant sur
différents exercices réalisés au cours du temps
- on peut prédire l’évolution de son niveau dans
les compétences associées
- et s’appuyer sur ce modèle pour différentes
tâches de plus haut niveau :
* recommander l’exercice suivant
* qualifier des stratégies d’auto-régulation, ...
Couland Q. , Leray, P. and Boulahmel A. (2023). Un modèle générique avec structuration des compétences et facteurs externes pour le Bayesian Knowledge Tracing, JFRB 2023, Nantes, France
26. En conclusion
Une famille de modèles
graphiques probabilistes,
représentation compacte de
connaissances
pouvant modéliser efficacement
des systèmes complexes
apprentissage possible,
de manière itérative,
du 100 % expert
au 100 % données
explicable, ouvert, interprétable moteur de raisonnement
à partir de données
incomplètes ou imprécises
small
data
medium
data
big
data
26/27
applicable dans de
nombreux contextes et
domaines d’application
27. Nos compétences
De l’étude théorique, ou la preuve de concept, … jusqu’à la solution embarquée
PILGRIM
Projets R&D
collaboratifs
Prestations
Dévelop. spécifiques
Maintenance
Licencing
Maturation
Librairie C++
27/27
Philippe.Leray@ls2n.fr