Approximate Bayesian Computation (ABC)

               Robin Ryder

                 CREST


             3 novembre 2009
...
Introduction




      Contexte : inf´rence bay´sienne
                    e         e
      Donn´es D ; On cherche ` esti...
Solution : Approximate Bayesian Computation (ABC)




                                                    3/24
Plan




       Pr´sentation de l’algorithme de base
         e
       Application : datation de l’ancˆtre des primates
  ...
Contexte




     Vraisemblance L(θ|D) difficile ou impossible ` calculer
                                                a
...
Algorithme Approximate Bayesian Computation




                                              6/24
Algorithme Approximate Bayesian Computation




  Donn´es discr`tes D.
        e       e
  Distribution a priori π(θ).
  O...
Algorithme Approximate Bayesian Computation




  Donn´es discr`tes ou continues D
        e       e
  Distribution a prio...
3   Si d(D , D) < , accepter θ ; sinon, rejeter θ
Probl`mes :
     e
      Si   est petit, faible taux d’acceptation
     ...
Datation de l’ancˆtre commun des primates
                 e



  Plagnol & Tavar´ (2004) et Wilkinson (2008)
            ...
Statistique exhaustive


  Donn´es discr`tes ou continues D
        e       e
  Distribution a priori π(θ)
               ...
Approximations




    3   Si d(S(D ), S(D)) < , accepter θ ; sinon, rejeter θ
  Deux approximations :
         >0
       ...
Choix de




     Quantile ` 1%
              a
     Attribuer des poids selon d(D , D) : (θi , ωi )




                 ...
Repliement de prot´ines
                  e
  Structure primaire :
  KCNTATCATQRLANFLVHSSNNFGAILSSTNVGSNTY
  Structure ter...
Choix de mod`le
            e




  Choix de mod`le (structure 3D de prot´ines), Grelaud et al. (2009)
                e  ...
Repliement de prot´ines
                  e




                                        1
      Vraisemblance : L(θ|D) =  ...
ABC pour choix de mod`le
                     e




   1   Tirer m ∼ πM (·)
   2   Tirer θm ∼ πm (·)
   3   Simuler D ∼ fm...
Ca marche ?
¸




  Gauche :   = 0 ; Droite :   quantile ` 1%
                                       a




               ...
R´sultats
 e




            19/24
ABC-MCMC




  1   Partant de θn , proposer θn+1 = θ
                                          →θn
  2   Calculer α = min ...
ABC-MCMC




   1   Partant de θn , proposer θn+1 = θ
   2   Simuler D = f (θ )
                                          ...
Erreur dans le mod`le
                  e



  Supposons qu’il y ait une erreur dans notre mod`le : D = f (θ) + ,
        ...
1   Partant de (θn , Dn ), proposer θn+1 = θ
2   Simuler D = f (θ )
                                         →θ )π(θ )
3  ...
Questions ?




              24/24
Prochain SlideShare
Chargement dans…5
×

Approximate Bayesian Computation (ABC)

1 568 vues

Publié le

Publié dans : Formation, Technologie, Voyages
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
1 568
Sur SlideShare
0
Issues des intégrations
0
Intégrations
10
Actions
Partages
0
Téléchargements
31
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Approximate Bayesian Computation (ABC)

  1. 1. Approximate Bayesian Computation (ABC) Robin Ryder CREST 3 novembre 2009 1/24
  2. 2. Introduction Contexte : inf´rence bay´sienne e e Donn´es D ; On cherche ` estimer un param`tre θ e a e Distribution a posteriori L(θ|D)π(θ) Beaucoup de m´thodes (par ex. MCMC) se fondent sur un e calcul de la vraisemblance L(θ|D) = P(D|θ) Probl`me : Comment faire lorsque ce calcul est trop difficile e ou trop coˆteux ? u 2/24
  3. 3. Solution : Approximate Bayesian Computation (ABC) 3/24
  4. 4. Plan Pr´sentation de l’algorithme de base e Application : datation de l’ancˆtre des primates e Utilisation de statistiques exhaustives ; facteur de Bayes Application : Repliement de prot´ines e ABC-MCMC 4/24
  5. 5. Contexte Vraisemblance L(θ|D) difficile ou impossible ` calculer a Mais facile de simuler un nouveau jeu de donn´es d’apr`s le e e mod`le : D = f (θ) e 5/24
  6. 6. Algorithme Approximate Bayesian Computation 6/24
  7. 7. Algorithme Approximate Bayesian Computation Donn´es discr`tes D. e e Distribution a priori π(θ). On cherche Θ ∼ π(θ) · P(D|θ) 1 Tirer θ ∼ π 2 Simuler des donn´es D ∼ f (θ) e 3 Si D = D, accepter θ ; sinon, rejeter θ 4 R´p´ter jusqu’` obtenir un ´chantillon de la taille voulue e e a e On obtient un ´chantillon distribu´ selon la densit´ e e e π(θ) · P(D’ = D|θ). Exactement la loi a posteriori. Tr`s lent. e 7/24
  8. 8. Algorithme Approximate Bayesian Computation Donn´es discr`tes ou continues D e e Distribution a priori π(θ) . On cherche Θ ∼ π(θ) · P(D|θ) Seuil 1 Tirer θ ∼ π 2 Simuler des donn´es D ∼ f (θ) e 3 Si d(D , D) < , accepter θ ; sinon, rejeter θ 4 R´p´ter jusqu’` obtenir un ´chantillon de la taille voulue e e a e On obtient un ´chantillon distribu´ approximativement selon la loi e e a posteriori. (Pritchard et al., 1999) 8/24
  9. 9. 3 Si d(D , D) < , accepter θ ; sinon, rejeter θ Probl`mes : e Si est petit, faible taux d’acceptation Si est grand, mauvaise approximation (quand → ∞, on simule l’a priori) Comment choisir d ? 9/24
  10. 10. Datation de l’ancˆtre commun des primates e Plagnol & Tavar´ (2004) et Wilkinson (2008) e ˆ Age de l’ancˆtre commun des primates : Biologie mol´culaire e e 90 MA ; Fossiles 60 MA Processus de branchement (param`tre λ) ; ˆge de la racine : τ e a Sur les Ni esp`ces existant au temps ti (i = 1 . . . 14), on en e observe Di ∼ Bin(Ni , αi ) Param`tres : θ = (τ, λ, α) e Intervale HPD 95% : 68-99 MA 10/24
  11. 11. Statistique exhaustive Donn´es discr`tes ou continues D e e Distribution a priori π(θ) . On cherche Θ ∼ π(θ) · P(D|θ) Seuil Statistique S, id´alement exhaustive e 1 Tirer θ ∼ π 2 Simuler des donn´es D ∼ f (θ) e 3 Si d(S(D ), S(D)) < , accepter θ ; sinon, rejeter θ 4 R´p´ter jusqu’` obtenir un ´chantillon de la taille voulue e e a e On obtient un ´chantillon distribu´ approximativement selon la loi e e a posteriori. 11/24
  12. 12. Approximations 3 Si d(S(D ), S(D)) < , accepter θ ; sinon, rejeter θ Deux approximations : >0 S statistique non exhaustive 12/24
  13. 13. Choix de Quantile ` 1% a Attribuer des poids selon d(D , D) : (θi , ωi ) 13/24
  14. 14. Repliement de prot´ines e Structure primaire : KCNTATCATQRLANFLVHSSNNFGAILSSTNVGSNTY Structure tertiaire : (Figure : RCSB) 14/24
  15. 15. Choix de mod`le e Choix de mod`le (structure 3D de prot´ines), Grelaud et al. (2009) e e θ = (m, θm ) Facteur de Bayes : BFm0 /m1 (D) = P(M=m0 |D)π(M=m0 ) P(M=m1 |D)π(M=m1 ) 15/24
  16. 16. Repliement de prot´ines e 1 Vraisemblance : L(θ|D) = Zθ exp(θ i∼i I{xi =xi } ) 1 L(θm |D) = Zθm ,m exp(θm m i ∼i I{xi =xi } ), m = 0 . . . M − 1, θm ∈ Θm Sm = ∼ i mi I{xi =xi } S = (S0 (·), . . . , SM−1 (·)) est une statistique exhaustive pour (m, θ0 , . . . , θM−1 ) 16/24
  17. 17. ABC pour choix de mod`le e 1 Tirer m ∼ πM (·) 2 Tirer θm ∼ πm (·) 3 Simuler D ∼ fm (θm ) 4 Si d(S(D ), S(D)) < , accepter θ ; sinon, rejeter θ 5 R´p´ter e e 17/24
  18. 18. Ca marche ? ¸ Gauche : = 0 ; Droite : quantile ` 1% a 18/24
  19. 19. R´sultats e 19/24
  20. 20. ABC-MCMC 1 Partant de θn , proposer θn+1 = θ →θn 2 Calculer α = min 1, P(D|θ )π[(θ )q(θ→θ ) ) P(D|θ)π(θ)q(θn 3 θn+1 = θ avec probabilit´ α ; sinon, θn+1 = θn e 20/24
  21. 21. ABC-MCMC 1 Partant de θn , proposer θn+1 = θ 2 Simuler D = f (θ ) →θ 3 Calculer α = min Id(D ,D)< , π(θ )q(θn →θ n)) π(θ)q(θ 4 θn+1 = θ avec probabilit´ h ; sinon, θn+1 = θn e (Marjoram et al., PNAS, 2003) 21/24
  22. 22. Erreur dans le mod`le e Supposons qu’il y ait une erreur dans notre mod`le : D = f (θ) + , e ∼π 1 Tirer θ ∼ π 2 Simuler D ∼ f (θ) 3 Accepter θ avec probability (proportionnelle `) π (d(D , D)) a 4 R´p´ter e e (Wilkinson, 2008) 22/24
  23. 23. 1 Partant de (θn , Dn ), proposer θn+1 = θ 2 Simuler D = f (θ ) →θ )π(θ ) 3 Calculer α = min 1, π (d(D n,D))q(θn →θ n)π(θn ) π (d(D ,D)q(θ 4 θn+1 = θ avec probabilit´ α ; sinon, θn+1 = θn e 23/24
  24. 24. Questions ? 24/24

×