Introduction aux mod`eles graphiques
probabilistes
Philippe LERAY
philippe.leray@univ-nantes.fr
Equipe COnnaissances et D´...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Introduction
Un domaine vaste
Pr´esentation et figures in...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Un domaine vaste ... suite
Exact Inference
9.1-4, 10.1-2...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Plan
Rappels : Probabilit´es et Graphes
3 ´etapes ...
1 ...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Rappels Probabilit´es
Ind´ependance
A et B sont ind´epen...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Rappels Graphes
Terminologie
Un graphe = un ensemble de ...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Principe des PGM
Repr´esentation des connaissances
Un gr...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Plan
Rappels : Probabilit´es et Graphes
3 ´etapes ...
1 ...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
les r´eseaux bay´esiens [Pearl 88]
Grade
Letter
SAT
Inte...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
RB comme mod`eles d’ind´ependance
La d´ependance est sym...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Factorisation de la loi jointe
Avantage
D´ecomposition d...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Des extensions
pour de nombreux probl`emes
Causalit´e : ...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Plan
Rappels : Probabilit´es et Graphes
3 ´etapes ...
1 ...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
les MRF ...[Kindermann & Snell 80]
A2,1 A2,2
A3,1 A3,2 A...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Factorisation de la loi jointe
Avantage
D´ecomposition d...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Des extensions
pour de nombreux probl`emes
Des structure...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Plan
Rappels : Probabilit´es et Graphes
3 ´etapes ...
1 ...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
les chains graphs ...[Lauritzen 96]
Mod`ele partiellemen...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Plan
Rappels : Probabilit´es et Graphes
3 ´etapes ...
1 ...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Inf´erence P(X|E)?
RB, MRF, ... mˆeme combat
probl`eme N...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Exemple : arbre de jonction
Principe
convertir le PGM en...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Plan
Rappels : Probabilit´es et Graphes
3 ´etapes ...
1 ...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Apprentissage : deux ”philosophies”
Trouver le mod`ele o...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Taxonomie des tˆaches d’apprentissage
MGP = un graphe et...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Plan
Rappels : Probabilit´es et Graphes
3 ´etapes ...
1 ...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
App. g´en´eratif et RB
Estimation de param`etres Donn´ee...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Apprentissage (donn´ees compl`etes)
Autre approche
Appro...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Apprentissage (donn´ees compl`etes)
Maximum a Posteriori...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Algorithme Expectation Maximisation
Apprentissage avec d...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
G´en´eratif ou discriminant ?
apprentissage (g´en´eratif...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Et la structure ?
Deux probl`emes :
Taille de l’espace d...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Algorithmes existants
Apprentissage de la structure - do...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Plan
Rappels : Probabilit´es et Graphes
3 ´etapes ...
1 ...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Et l`a, ca se complique ...
Apprentissage des param`etre...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
App. g´en´eratif et MRF
Estimation de param`etres Donn´e...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
App. discriminant et CRF
Et dans le cas discriminant Don...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Et la structure ?
Apprentissage de la structure - donn´e...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Pour conclure ...
Domaine vaste ... tr`es vaste
principe...
Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion
Des questions ?
Exact Inference
9.1-4, 10.1-2
Approx. In...
Prochain SlideShare
Chargement dans…5
×

Introduction aux modèles graphiques probabilistes

1 060 vues

Publié le

Journée GRCE Modèles Graphiques, 20 Juin 2011, Paris, France

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
1 060
Sur SlideShare
0
Issues des intégrations
0
Intégrations
45
Actions
Partages
0
Téléchargements
22
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Introduction aux modèles graphiques probabilistes

  1. 1. Introduction aux mod`eles graphiques probabilistes Philippe LERAY philippe.leray@univ-nantes.fr Equipe COnnaissances et D´ecision – LINA – UMR 6241 Site de l’Ecole Polytechnique de l’Universit´e de Nantes
  2. 2. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Introduction Un domaine vaste Pr´esentation et figures inspir´ees de [Koller & Friedman 09] 1200p. `a r´esumer en mois d’une heure :-) Philippe Leray GRCE 2/39
  3. 3. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Un domaine vaste ... suite Exact Inference 9.1-4, 10.1-2 Approx. Inference 11.3.1-5, 12.1, 12.3.1-3 BN Learning 17.1-2, 19.1.1, 19.1.3, 19.2.2 Learning Undirected Models 20.1-2, 20.3.1-2 Representation Core 2, 3.1-2, 4.1-2 Bayesian Networks 3.3-4, 5.1-4 Undirected Models 4.3-7 Continuous Models 5.5, 7, 14.1-2, 14.3.1-2, 14.5.1-3 Relational Models 6.3-4, 17.5, (18.6.2) MAP Inference 13.1-4 Structure Learning 17.3-4, 18.1, 18.3-4, 18.6 Causality 21.1-2, 21.6.1 (21.7) Decision Making 22.1-2, 23.1-2, 23.4-5 Advanced Approx. Inference 8, 10.3, 11, 12.3-4 Advanced Learning 18.5, 19, 20 Temporal Models 6.2, 15.1-2, 15.3.1, 15.3.3 Philippe Leray GRCE 3/39
  4. 4. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Plan Rappels : Probabilit´es et Graphes 3 ´etapes ... 1 repr´esentation 2 inf´erence 3 apprentissage ... pour 3 familles de PGM 1 graphes dirig´es : r´eseaux bay´esiens 2 graphes non dirig´es : r´eseaux de Markov (MRF) 3 graphes partiellement dirig´es : chain graphs Philippe Leray GRCE 4/39
  5. 5. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Rappels Probabilit´es Ind´ependance A et B sont ind´ependants ssi : P(A, B) = P(A) × P(B) P(A|B) = P(A) P(B|A) = P(B) Ind´ependance conditionnelle A et B sont ind´ependants conditionnellement `a C ssi : P(A|B, C) = P(A|C) Philippe Leray GRCE 5/39
  6. 6. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Rappels Graphes Terminologie Un graphe = un ensemble de nœuds et d’arˆetes Graphes orient´es (dirig´es), non dirig´es, partiellement dirig´es Graphes orient´es sans circuit Philippe Leray GRCE 6/39
  7. 7. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Principe des PGM Repr´esentation des connaissances Un graphe comme mod`ele d’ind´ependance Raisonnement Des algorithmes d’inf´erence probabiliste tirant partie de la structure graphique du mod`ele Construction Des connaissances a priori pouvant d´eterminer tout ou partie de la structure graphique Des algorithmes d’apprentissage d´eterminant le reste du mod`ele `a partir de donn´ees Philippe Leray GRCE 7/39
  8. 8. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Plan Rappels : Probabilit´es et Graphes 3 ´etapes ... 1 repr´esentation 2 inf´erence 3 apprentissage ... pour 3 familles de PGM 1 graphes dirig´es : r´eseaux bay´esiens 2 graphes non dirig´es : r´eseaux de Markov (MRF) 3 graphes partiellement dirig´es : chain graphs Philippe Leray GRCE 8/39
  9. 9. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion les r´eseaux bay´esiens [Pearl 88] Grade Letter SAT IntelligenceDifficulty d1 d0 0.6 0.4 i1i0 0.7 0.3 i0 i1 s1s0 0.95 0.2 0.05 0.8 g1 g2 g2 l1 l0 0.1 0.4 0.99 0.9 0.6 0.01 i0,d0 i0 ,d1 i0 ,d0 i0,d1 g2 g3g1 0.3 0.05 0.9 0.5 0.4 0.25 0.08 0.3 0.3 0.7 0.02 0.2 Philippe Leray GRCE 9/39
  10. 10. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion RB comme mod`eles d’ind´ependance La d´ependance est sym´etrique, alors pourquoi utiliser un graphe orient´e ? Exemple avec 3 nœuds, et 3 structures simples A → C → B : connexion s´erie A et B sont d´ependants, mais ind´ependants conditionnement `a C A ← C → B : connexion divergente pareil A → C ← B : connexion convergente (V-structure) A et B sont ind´ependants, mais d´ependants conditionnement `a C Philippe Leray GRCE 10/39
  11. 11. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Factorisation de la loi jointe Avantage D´ecomposition de la loi jointe (globale) en un produit de distributions conditionnelles locales P(S) = Πn i=1P(Xi |parents(Xi )) Philippe Leray GRCE 11/39
  12. 12. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Des extensions pour de nombreux probl`emes Causalit´e : RB causal Variables continues : RB gaussien, hybride (CG) Temporalit´e : RB temporel , HMM, Filtre de Kalman D´ecision : Diagramme d’influence Classification : Naive Bayes, multinets, ... Obs0 Weather0 Velocity0 Location0 Failure0 Obs0 Weather0 Velocity0 Location0 Failure0 Obs1 Weather1 Velocity1 Location1 Failure1 Obs2 Weather2 Velocity2 Location2 Failure2 Obs' Weather Weather' Velocity Velocity' Location Location' Failure Failure' (c) DBN unrolled over 3 steps(b) 0(a) → Time slice t Time slice t+1 Time slice 0 Time slice 0 Time slice 1 Time slice 2 Philippe Leray GRCE 12/39
  13. 13. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Plan Rappels : Probabilit´es et Graphes 3 ´etapes ... 1 repr´esentation 2 inf´erence 3 apprentissage ... pour 3 familles de PGM 1 graphes dirig´es : r´eseaux bay´esiens 2 graphes non dirig´es : r´eseaux de Markov (MRF) 3 graphes partiellement dirig´es : chain graphs Philippe Leray GRCE 13/39
  14. 14. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion les MRF ...[Kindermann & Snell 80] A2,1 A2,2 A3,1 A3,2 A3,3 A3,4 A4,1 A4,2 A4,3 A4,4 A2,3 A2,4 A1,1 A1,2 A1,3 A1,4 Philippe Leray GRCE 14/39
  15. 15. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Factorisation de la loi jointe Avantage D´ecomposition de la loi jointe (globale) en un produit de potentiels locaux Z constante de normalisation globale P(S) = 1 Z Πnc c=1φ(Xc) Philippe Leray GRCE 15/39
  16. 16. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Des extensions pour de nombreux probl`emes Des structures ”historiques” : mod`ele d’Ising, machine de Boltzmann + Var. latentes : Deep Belief Networks Variables continues : Gaussian MRF Temporalit´e : Dynamic MRF Classification : Conditional Random Field Mrs. Green spoke today in New York Green chairs the finance committee B-PER I-PER OTH OTH OTH B-LOC I-LOC B-PER OTHOTHOTHOTH KEY Philippe Leray GRCE 16/39
  17. 17. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Plan Rappels : Probabilit´es et Graphes 3 ´etapes ... 1 repr´esentation 2 inf´erence 3 apprentissage ... pour 3 familles de PGM 1 graphes dirig´es : r´eseaux bay´esiens 2 graphes non dirig´es : r´eseaux de Markov (MRF) 3 graphes partiellement dirig´es : chain graphs Philippe Leray GRCE 17/39
  18. 18. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion les chains graphs ...[Lauritzen 96] Mod`ele partiellement dirig´e repr´esentation de la loi jointe par un produit de facteurs ”conditionnels” D BA IF G EC H D BA IF G EC H Philippe Leray GRCE 18/39
  19. 19. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Plan Rappels : Probabilit´es et Graphes 3 ´etapes ... 1 repr´esentation 2 inf´erence 3 apprentissage ... pour 3 familles de PGM 1 graphes dirig´es : r´eseaux bay´esiens 2 graphes non dirig´es : r´eseaux de Markov (MRF) 3 graphes partiellement dirig´es : chain graphs Philippe Leray GRCE 19/39
  20. 20. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Inf´erence P(X|E)? RB, MRF, ... mˆeme combat probl`eme NP-difficile heureusement, c’est dans le pire des cas pour des probl`emes r´eels, il existe des algorithmes efficaces inf´erence exacte ´elimination de variables conditionnement arbre de jonction inf´erence approch´ee simulation : MCMC, filtrage particulaire, ... approximations variationnelles : Mean field, ... Philippe Leray GRCE 20/39
  21. 21. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Exemple : arbre de jonction Principe convertir le PGM en un arbre de jonction de cliques faire circuler des messages dans cet arbre A noter g´en´eralisation d’un ”vieux” principe HMM : forward-backward [Rabiner 89] BN Polyarbres : Message Passing [Pearl 88] complexit´e : exponentielle par rapport `a la taille des cliques Philippe Leray GRCE 21/39
  22. 22. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Plan Rappels : Probabilit´es et Graphes 3 ´etapes ... 1 repr´esentation 2 inf´erence 3 apprentissage ... pour 3 familles de PGM 1 graphes dirig´es : r´eseaux bay´esiens 2 graphes non dirig´es : r´eseaux de Markov (MRF) 3 graphes partiellement dirig´es : chain graphs Philippe Leray GRCE 22/39
  23. 23. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Apprentissage : deux ”philosophies” Trouver le mod`ele optimal qui ... Apprentissage g´en´eratif approche le mieux P(X, Y ) pas de variable cible Apprentissage g´en´eratif mod`ele plus g´en´eral ⇒ biais meilleur traitement des donn´ees incompl`etes Apprentissage discriminant approche le mieux P(Y |X) une variable cible Y privil´egi´ee Apprentissage g´en´eratif mod`ele plus sp´ecifique meilleurs r´esultats si donn´ees importantes Philippe Leray GRCE 23/39
  24. 24. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Taxonomie des tˆaches d’apprentissage MGP = un graphe et des param`etres apprentissage des param`etres / structure donn´ee apprentissage de la structure ... `a partir de donn´ees donn´ees compl`etes donn´ees incompl`etes variables latentes ? Philippe Leray GRCE 24/39
  25. 25. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Plan Rappels : Probabilit´es et Graphes 3 ´etapes ... 1 repr´esentation 2 inf´erence 3 apprentissage ... pour 3 familles de PGM 1 graphes dirig´es : r´eseaux bay´esiens 2 graphes non dirig´es : r´eseaux de Markov (MRF) 3 graphes partiellement dirig´es : chain graphs Philippe Leray GRCE 25/39
  26. 26. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion App. g´en´eratif et RB Estimation de param`etres Donn´ees compl`etes D Approche statistique classique = max. de vraisemblance (MV) ˆθMV = argmax P(D|θ) Probabilit´e d’un ´ev´enement = fr´equence d’apparition de l’´ev´enement Maximum de vraisemblance (MV) ˆP(Xi = xk|Pa(Xi ) = xj ) = ˆθMV i,j,k = Ni,j,k k Ni,j,k Ni,j,k = nb d’occurences de {Xi = xk et Pa(Xi ) = xj } Philippe Leray GRCE 26/39
  27. 27. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Apprentissage (donn´ees compl`etes) Autre approche Approche bay´esienne = max. `a posteriori (MAP) ˆθMAP = argmax P(θ|D) = argmax P(D|θ)P(θ) besoin d’une loi a priori sur les param`etres P(θ) souvent distribution conjugu´ee `a la loi de X si P(X) multinomiale, P(θ) conjugu´ee = Dirichlet : P(θ) ∝ n i=1 qi j=1 ri k=1 (θi,j,k)αi,j,k −1 o`u αi,j,k sont les cœfficients de la distribution de Dirichlet associ´ee au coefficient θi,j,k Philippe Leray GRCE 27/39
  28. 28. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Apprentissage (donn´ees compl`etes) Maximum a Posteriori (MAP) ˆP(Xi = xk|Pa(Xi ) = xj ) = ˆθMAP i,j,k = Ni,j,k + αi,j,k − 1 k (Ni,j,k + αi,j,k − 1) Autre approche bay´esienne esp´erance `a posteriori (EAP) : calculer l’esp´erance a posteriori de θi,j,k au lieu du max. ˆP(Xi = xk|Pa(Xi ) = xj ) = ˆθEAP i,j,k = Ni,j,k + αi,j,k k (Ni,j,k + αi,j,k) Philippe Leray GRCE 28/39
  29. 29. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Algorithme Expectation Maximisation Apprentissage avec donn´ees incompl`etes Principe tr`es g´en´eral [Dempster 77] Principe Algorithme it´eratif initialiser les param`etres θ(0) E estimer la distribution des valeurs manquantes `a partir des param`etres actuels θ(t) = calculer P(Xmanquant|Xmesur´es) dans le RB actuel = faire des inf´erences M r´e-estimer les param`etres θ(t+1) `a partir des donn´ees compl´et´ees en utilisant MV, MAP, ou EAP Philippe Leray GRCE 29/39
  30. 30. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion G´en´eratif ou discriminant ? apprentissage (g´en´eratif) des param`etres des RB donn´ees compl`etes forme close calculable en une it´eration (MV, MAP, EAP) donn´ees incompl`etes algorithme it´eratif (EM), optimum local apprentissage (discriminant) des param`etres des RB donn´ees compl`etes algorithme it´eratif de type descente de gradient donn´ees incompl`etes algorithme ”doublement” it´eratif (EM), optimum local Philippe Leray GRCE 30/39
  31. 31. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Et la structure ? Deux probl`emes : Taille de l’espace de recherche le nombre de structures possibles `a partir de n nœuds est super-exponentiel [Robinson 77] NS(5) = 29281 NS(10) = 4.2 × 1018 Identifiabilit´e Les donn´ees refl`etent la loi jointe et ses d´ependances / ind´ependances entre variables Equivalence de Markov : plusieurs graphes peuvent repr´esenter un mˆeme mod`ele d’ind´ependance Suffisance causale : et s’il y avait des variables latentes ? Philippe Leray GRCE 31/39
  32. 32. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Algorithmes existants Apprentissage de la structure - donn´ees compl`etes 1 Recherche d’ind´ependances conditionnelles dans les donn´ees 2 M´ethodes d’optimisation d’une fonction de score avantage : score d´ecomposable localement 3 M´ethodes hybrides de recherche de voisinage locale + optimisation globale et ensuite ? donn´ees incompl`etes EM dans l’espace des structures (SEM) [Friedman 97] variables latentes heuristiques de d´ecouverte + recherche gloutonne pour fixer leur cardinalit´e Philippe Leray GRCE 32/39
  33. 33. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Plan Rappels : Probabilit´es et Graphes 3 ´etapes ... 1 repr´esentation 2 inf´erence 3 apprentissage ... pour 3 familles de PGM 1 graphes dirig´es : r´eseaux bay´esiens 2 graphes non dirig´es : r´eseaux de Markov (MRF) 3 graphes partiellement dirig´es : chain graphs Philippe Leray GRCE 33/39
  34. 34. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Et l`a, ca se complique ... Apprentissage des param`etres, donn´ees compl`etes RB P(S) = Πi P(Xi |pa(Xi )) chaque terme est une distribution de probabilit´e estimable s´epar´ement MRF P(S) = 1 Z Πcφ(Xc) la constante Z globale empˆeche l’estimation locale Seule une classe de MRF (MRF cordaux) ´equivalente aux RB s’apprend aussi facilement que les RB. Philippe Leray GRCE 34/39
  35. 35. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion App. g´en´eratif et MRF Estimation de param`etres Donn´ees compl`etes D la fonction log-vraisemblance est unimodale probl`eme : pas de forme close du maximum pour les MRF ⇒ descente de gradient et convergence vers optimum global probl`eme : le calcul du gradient n´ecessite une ´etape d’inf´erence dans le r´eseau possibilit´e d’utiliser des m´ethodes d’inf´erence approch´ees ou d’utiliser une approximation de la vraisemblance plus sympathique (pseudo-likelihood, marge ...) Et les donn´ees incompl`etes ? perte de la concavit´e du log-vraisemblance utilisation possible d’EM mais convergence locale (idem. RB) Philippe Leray GRCE 35/39
  36. 36. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion App. discriminant et CRF Et dans le cas discriminant Donn´ees compl`etes D la fonction log-vraisemblance conditionnelle est aussi unimodale par contre, le conditionnement par rapport `a la variable cible n´ecessite plusieurs ´etapes d’inf´erence dans le r´eseau - plus d’´etapes d’inf´erence + inf´erences avec conditionnement sur Y ⇒ calculs plus simples Philippe Leray GRCE 36/39
  37. 37. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Et la structure ? Apprentissage de la structure - donn´ees compl`etes 1 Recherche d’ind´ependances conditionnelles dans les donn´ees plus simple que pour les RB, car les ind´ependances se traduisent plus simplement en terme graphique mˆeme probl`eme de fiabilit´e du test / taille des donn´ees 2 M´ethodes d’optimisation d’une fonction de score probl`eme : les scores sont bas´es sur la vraisemblance donc calculables plus difficilement et ne sont plus d´ecomposables n´ecessit´e d’approcher l’impact (variation de score) des op´erateurs classiques permettant de parcourir l’espace des MRF Philippe Leray GRCE 37/39
  38. 38. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Pour conclure ... Domaine vaste ... tr`es vaste principes g´en´eraux sp´ecificit´es li´ees `a la nature de ces mod`eles peu de r´ef´erences indiqu´ees ⇒ un bon point de d´epart = [Koller & Friedman 09] Ce n’est qu’une introduction ... `a suivre : des mod`eles sp´ecifiques (MRF, CRF, Deep BN ...) appliqu´es `a vos domaines d’int´erˆet :-) Philippe Leray GRCE 38/39
  39. 39. Introduction Rappels Mod`eles Inf´erence Apprentissage Conclusion Des questions ? Exact Inference 9.1-4, 10.1-2 Approx. Inference 11.3.1-5, 12.1, 12.3.1-3 BN Learning 17.1-2, 19.1.1, 19.1.3, 19.2.2 Learning Undirected Models 20.1-2, 20.3.1-2 Representation Core 2, 3.1-2, 4.1-2 Bayesian Networks 3.3-4, 5.1-4 Undirected Models 4.3-7 Continuous Models 5.5, 7, 14.1-2, 14.3.1-2, 14.5.1-3 Relational Models 6.3-4, 17.5, (18.6.2) MAP Inference 13.1-4 Structure Learning 17.3-4, 18.1, 18.3-4, 18.6 Causality 21.1-2, 21.6.1 (21.7) Decision Making 22.1-2, 23.1-2, 23.4-5 Advanced Approx. Inference 8, 10.3, 11, 12.3-4 Advanced Learning 18.5, 19, 20 Temporal Models 6.2, 15.1-2, 15.3.1, 15.3.3 Philippe Leray GRCE 39/39

×