SlideShare une entreprise Scribd logo
1  sur  21
Télécharger pour lire hors ligne
Pr´dicteurs Conformes Sparses
                e
                   Universit´ Paris-Est – Marne-la-Vall´e
                            e                          e

                        Groupe de travail pr´vision
                                            e
                           Crest, 8 Avril 2011




M. Hebiri (UMLV)                    SCP                     8 Avril 2011   1 / 21
Outline


1   Cadre de travail


2   Pr´-requis
      e


3   Pr´dicteurs Conformes Sparses
      e
      Lasso Conformal Predictor
      Famille de pr´dicteurs conformes
                   e


4   Exp´riences num´riques
       e           e
      M´thodes et comparaison
        e
      Performances



      M. Hebiri (UMLV)              SCP   8 Avril 2011   2 / 21
Cadre Transductif




R´f´rences:
 ee
    Vapnik ’98
    Joachims ’99




     M. Hebiri (UMLV)          SCP          8 Avril 2011   3 / 21
Mod`le de r´gression lin´aire
                            e       e            e
Observations: En = {(x1 , y1 ), . . . , (xn , yn ), xnew }

                                   yi = xi β ∗ + ξi


     Vecteur des variables : xi = (xi,1 , . . . , xi,p ) ∈ Rp ,   i≥1
     Nouvelle observation : xnew ∈       Rp
     R´sponse : yi ∈ R,
      e                        i≥1
     Param`tre inconnu : β ∗ = (β1 , . . . , βp ) ∈ Rp
          e                      ∗            ∗

     Bruit : ξi ∼ N (0, σ 2 ), σ 2 connu.




      M. Hebiri (UMLV)                    SCP                       8 Avril 2011   4 / 21
Objectifs
Objectif I : Etant donn´ En et ε > 0, construire un pr´dicteur conforme
                        e                             e
(intervalle de confiance) Γε de niveau 1 − ε pour ynew
Outil : Mesure de conformit´ entre xnew et les xi d´j` observ´s
                           e                       ea        e
    distance (g´om´trique, voisinage, etc.)
               e e
    distance de similarit´ : ` d´finir par la suite
                         e a e

Objectif II : Exploiter la sparsit´ du mod`le (beaucoup de composantes
                                  e       e
dans β ∗ sont ´gale ` zero) si n´cessaire
              e     a           e
Outil : Recourrir ` une proc´dure de s´lection de variables (LASSO, etc.)
                  a         e         e
Remarque : ce deuxi`me objectif est particuli`rement int´ressant lorsque
                   e                         e          e
   → le nombre de variables est tr`s grand (comparativement au nombre
                                  e
d’observations)
   → le nombre de variables vraiment pertinentes est petit
     M. Hebiri (UMLV)                SCP                     8 Avril 2011   5 / 21
Pr´diction Conforme :
       e                                         Vovk et al.             ’05
Notations :
   y ∈ R : valeur possible de ynew
    |A| : cardinal de l’ensemble A
Score de Non-conformit´ α(y) = (α1 (y), . . . , αn (y), αnew (y))
                      e
    αi (y) : similarit´ entre (xnew , y) et (xi , yi )
                      e
    information relative : p-value
                         1
             p(y) =         | {i ∈ {1, . . . , n, new} : αnew (y) ≤ αi (y)} |
                        n+1
              1
    p(y) ∈ [ n+1 ; 1]
    plus p(y) est petite, moins la paire test´e (xnew , y) est vraisemblable
                                             e
    (ce choix fait de y une valeur aberrante lorsqu’elle est combin´e avec
                                                                     e
    xnew )
Pr´dicteur Conforme Γε : valeurs y ∈ R telle que p(y) > ε.
  e
     M. Hebiri (UMLV)                     SCP                         8 Avril 2011   6 / 21
Estimateur LASSO : Tibshirani ’96
LASSO
                                   n                        p
                    ˆ          1                  2
                    β = Argmin           (yi − xi β) + λ         |βj |
                         β∈Rp n    i=1                     j=1

    Param`tre de r´gularisation : λ
         e        e

Motivation :
                    ˆ
    Solution sparse β (i.e., beaucoup de coefficients r´duits ` 0)
                                                     e      a
    R´sultats interpr´tables quand le mod`le est sparse
     e               e                   e




     M. Hebiri (UMLV)                     SCP                            8 Avril 2011   7 / 21
Algorithmique
Solution approch´e : LARS algorithme (Efron et al. ’04)
                e
                                                           Algorithme LARS : données de diabètes


                                           600


                                           400


                                           200
                        Coefficients βj




                                             0


                                          −200


                                          −400


                                          −600



                                                 0   0.2             0.4                 0.6       0.8   1
                                                                                         mc
                                                                   ( Σ | βj | ) / ( Σ | βj    |)




       ˆ           ˆ
   → βλ1 , . . . , βλK : approximations de la solution LASSO aux points de
transition λ = λ1 , . . . , λK
     M. Hebiri (UMLV)                                                      SCP                               8 Avril 2011   8 / 21
Suite...
                      ˆ
    Etape k : µk = xk βλk = xk (xk xk )−1 (xk y −
              ˆ                                       λk
                                                           sk )
                                                       2
          vecteur des r´ponses : y = (y1 , . . . , yn )
                        e
          matrice des donn´es : x = (x1 , . . . , xn )
                             e
          vecteur signe : sk
          xk est la restriction de x aux colonnes correspondant aux variables
          s´lectionn´es
           e        e
                                                    ˆ
Ne prend pas en compte xnew dans la construction de β !




    M. Hebiri (UMLV)                   SCP                         8 Avril 2011   9 / 21
Pr´dicteurs Conformes Sparses
                    e
     On consid`re les donn´es augment´es : x = (x1 , . . . , xn , xnew ) et
                 e             e        e
     y = (y1 , . . . , yn , y)
     Pour tout point de transition λk , on d´finit l’estimateur LASSO µk
                                            e                              ˆ
     sur la base de xk et y
On d´finit le score de Non-conformit´
    e                              e

                         αk (y) := |y − µk | = |Ak + Ck + Bk y|
                                        ˆ

o` | · | s’interpr`te composante par composante et
 u                e

            Ak = (ak , . . . , ak , ak ) := (I − Hk ) (y1 , . . . , yn , 0)
           
                       1            n new
               Bk = (bk , . . . , bk , bk ) := (I − Hk ) (0, . . . , 0, 1)
                       1           n new
               Ck = (ck , . . . , ck , ck ) := λk xk (xk xk )−1 sk
           
                       1           n new        2


     Les αk (y) sont lin´aires par morceaux
                        e
      M. Hebiri (UMLV)                    SCP                           8 Avril 2011   10 / 21
Pr´dicteurs Conformes Sparses
                   e
                       1
    p-value: pk (y) = n+1 | i : αi (y) ≤ αnew (y) |
                                 k        k

    Pr´dicteur ` l’´tape k : Γε = {y ∈ R : pk (y) > ε}
      e        a e             k

Proposition
                       k        k
Les points y tels que αi (y) = αnew (y) existent
       k = bk
i) si bi    new : quand y est ´gal `
                              e    a

            ak − ak + ck − ck
             i    new     i new               ak + ak + ck + ck
                                               i    new     i new
        −                           et    −                       .
                  bk − bk
                   i    new                         bk + bk
                                                     i    new

ii) si bk = bk = 0 : lorsque y est ´gal `
        i    new                   e    a

                             ak + ak + ck + ck
                              i    new    i  new
                         −
                                      2bk
                                        i

Conformal Lasso Predictor Γε : le plus petit Γε
                           opt                k
     M. Hebiri (UMLV)               SCP                      8 Avril 2011   11 / 21
Exemple de pr´dicteurs conformes
                       e
                                Conformal predictors when n=300
                       80


                       60


                       40


                       20
                  k
                 Γε



                        0


                      −20
                                                          y
                                                           new
                      −40
                                                          CoLP

                      −60


                      −80
                            0   10       20          30          40   50
                                              iteration


→ Le Conformal Lasso Predictor est le plus petit intervalle
→ Dans cet exemple, il contient la vraie valeur de ynew
→ En g´n´ral : ∀λ fix´ P(ynew ∈ Γλ ) ≥ 1 − ε
      e e           e
  M. Hebiri (UMLV)                            SCP                          8 Avril 2011   12 / 21
Extension
Estimateur de la forme :

                           µ = u(x, s)y + v(x, s)
                           ˆ

o` u(·) et v(·) sont des fonctions constantes par morceaux par rapport ` y
 u                                                                     a

On s’int´resse `
        e      a
    CoLP: u(x, s) = xk (xk xk )−1 xk
            v(x, s) = −λk xk (xk xk )−1 sk

    CoRP: u(x, s) = x(x x + µIp )−1 x et v = 0

    CENeP: u(x, s) = xk (xk xk + µk Ik )−1 xk
            v(x, s) = −λk xk (xk xk )−1 sk



     M. Hebiri (UMLV)                SCP                    8 Avril 2011   13 / 21
Cadre exp´rimental
                                    e
    Tous les intervalles de confiance construits sont de niveau
    1 − ε = 90%
    Toutes les exp´riences de simulations sont r´p´t´es M = 1000 fois
                  e                             e ee
    Mesures de performance :
           Pr´cision : taille de l’intervalle
             e
                                       M
           Validit´ : VALε = M −1
                  e                        I(ynew ∈ (Γε )m )
                                                      opt
                                     m=1
           S´lection de variable : reconstitution du support de β ∗
            e


M´thodes de r´f´rence :
 e           ee
    S´lection de variables : LASSO original (Tibshirani ’96) et
      e
    l’Elastic-Net original (Zou & Hastie ’05) (bas´ sur le crit`re BIC)
                                                  e            e
    Pr´cision et validit´ : CoRP (Vovk et al. ’05)
      e                 e

     M. Hebiri (UMLV)                      SCP                        8 Avril 2011   14 / 21
Donn´es simul´es avec p = 50
                       e        e
A∗ = {j : βj = 0} : ensemble des variables pertinentes
            ∗

    Exemple(a): A∗ = {1}; d´croissance exponentielle des corr´lations
                               e                             e
    entre les variables successives {15, . . . , 35}
    Exemple(b): A∗ = {1, . . . , 5} ∪ {10, . . . , 25} ; les corr´lations sont
                                                                 e
    comme dans l’Exemple(a)
    Exemple(c): A∗ = {1, . . . , 15}; trois groupes de variables tr`se
    corr´l´es : G1 = {1, . . . , 5}, G2 = {6, . . . , 10} and G1 = {11, . . . , 15}
        ee
    Exemple(d): A∗ = {1, . . . , p}; d´croissance exponentielle des
                                      e
    corr´lations entre les variables successives {1, . . . , p}
        e




     M. Hebiri (UMLV)                  SCP                         8 Avril 2011   15 / 21
Validit´
                                       e


                         Table: Contrˆle de VALε
                                     o
Exemple[n/σ]         CoRP          CoLP          CoLaRP          CENeP
Ex (a)[300/1]      0.90± 0.02   0.88± 0.02      0.85± 0.02    0.88± 0.02
Ex (a)[300/7]      0.89± 0.02   0.91± 0.02      0.89± 0.02    0.90± 0.02
Ex (a)[300/15]     0.89± 0.02   0.89 ± 0.02     0.88± 0.02    0.89± 0.02
Ex (b)[300/1]      0.90± 0.02   0.88± 0.02      0.87± 0.02    0.87± 0.02
Ex (c)[300/1]      0.90± 0.02   0.90± 0.02      0.89± 0.02    0.90± 0.02
Ex (d)[300/1]      0.89± 0.02   0.90± 0.02      0.90± 0.02    0.90± 0.02
Ex (a)[50/3]       0.89± 0.02   0.67± 0.03      0.41± 0.03    0.79± 0.02
Ex (a)[20/3]       0.86± 0.02   0.60± 0.03      0.30± 0.03    0.69± 0.03
Exemple[n/σ]         CoRP          CoLP       Stopped-CoLP   2-PN-CoLP
Ex (a)[50/7]       0.85± 0.02   0.62± 0.03      0.82± 0.02    0.88± 0.02
Ex (b)[50/1]       0.88± 0.02   0.56± 0.03      0.82± 0.02   0.91 ± 0.02
Ex (c)[20/15]      0.88± 0.02   0.61± 0.03      0.77± 0.03    0.90± 0.02
Ex (d)[20/1]       0.90± 0.02   0.60± 0.03      0.79± 0.02    0.89± 0.02




M. Hebiri (UMLV)                     SCP                       8 Avril 2011   16 / 21
S´lection de variables :
             e                                                                                         Exemple(b)[300/5]
            50                                                                            50


            45                                                                            45


            40                                                                            40


            35                                                                            35


            30                                                                            30
Iteration




                                                                              Iteration
            25                                                                            25


            20                                                                            20
                                                      CoLP
            15                                        CoRLaP                              15                                   CENeP
                                                      Lasso                                                                    Elastic−Net
            10                                                                            10


             5                                                                             5


             0                                                                             0
                 0    5    10   15   20    25    30     35     40   45   50                    0   5    10   15   20    25    30    35       40   45      50

                                     Variable index                                                               Variable index




                     M. Hebiri (UMLV)                                    SCP                                                   8 Avril 2011            17 / 21
Pr´cision :
                                             e                                         Exemple(b)[n/5]
                                                                                                                        4
                  90                                                                                                x 10
                                                                                                              2.5
                                                             Selected predictor
                  80
                                                                                                                                                 Selected predictor
                                                                                                                                                 Failed predictor

                  70                                                                                           2



                  60
Intervals sizes




                                                                                            Intervals sizes
                                                                                                              1.5
                  50


                  40
                                                                                                               1

                  30


                  20
                                                                                                              0.5


                  10


                   0                                                                                           0
                       0    5    10   15    20      25       30     35     40     45   50                           0       50   100   150      200      250     300    350     400

                                                 Iteration                                                                                   Iteration




                           M. Hebiri (UMLV)                                            SCP                                                               8 Avril 2011         18 / 21
Donn´es R´elles
                                e    e
On utilise les donn´es “House Boston” (506 observations et 13 variables)
                   e
    On ajoute artificiellement 483 variables bruits → p = 500
     On effectue 150 permutations des lignes de la matrice des donn´es et
                                                                    e
     du vecteur r´ponse
                 e
       → on s´lectionne n = 50 couples (xi , yi )
              e
       → on choisit une lignes au hasard comme ´tant (xnew , ynew )
                                                  e


Table: contrˆle de VALε et du numbre de variables bruits s´lectionn´es (variables
            o                                             e        e
X14 ` X500 ) (p = 500 et n = 50).
    a

              CoRP          CoLP        CENeP      Stopped-CoLP   2-PN-CoLP
   VALε     0.93± 0.01   0.43± 0.04   0.85± 0.02     0.85± 0.02    0.93± 0.01
   Noise      100 %        20.3 %        4.0 %          5.9 %           5.9 %



     M. Hebiri (UMLV)                   SCP                       8 Avril 2011   19 / 21
Conclusion
Pr´dicteurs Conformes Sparses
   e
   → crit`re naturelle de s´lection de l’intervalle optimal
          e                e
   → bonne performance dans le cas p ≤ n
   → correction dans le cas p > n : permet d’´galer (ou d’am´lorer)
                                                 e           e
les performances du CoRP (avec une pr´cisioin toujours meilleure)
                                          e

Validit´ th´orique (Vovk et al. ’05)
       e e

Perspective : consistance en s´lection de variables (th´orique) lorsque
                                e                      e
la s´lection est bas´e sur le crit`re de pr´cision !
    e               e             e        e




M. Hebiri (UMLV)               SCP                       8 Avril 2011   20 / 21
Merci de votre attention




M. Hebiri (UMLV)              SCP             8 Avril 2011   21 / 21

Contenu connexe

Tendances

Modelisation non supervisee
Modelisation non superviseeModelisation non supervisee
Modelisation non superviseeminiloka
 
M2 An 1986 20 3 371 0
M2 An 1986  20 3 371 0M2 An 1986  20 3 371 0
M2 An 1986 20 3 371 0guest8b8369
 
Math%E9matiques%20 Ct
Math%E9matiques%20 CtMath%E9matiques%20 Ct
Math%E9matiques%20 Ctglenoo
 
Fonction quadratique TS-4
Fonction quadratique TS-4Fonction quadratique TS-4
Fonction quadratique TS-4mathemathieu
 
Estimation de copules, une approche bayésienne
Estimation de copules, une approche bayésienneEstimation de copules, une approche bayésienne
Estimation de copules, une approche bayésienneBigMC
 
Equations différentielles, DUT MP, CM 5
Equations différentielles, DUT MP, CM 5Equations différentielles, DUT MP, CM 5
Equations différentielles, DUT MP, CM 5Christophe Palermo
 
Espace vectoriel euclidien
Espace vectoriel euclidienEspace vectoriel euclidien
Espace vectoriel euclidienTanger Outlets
 
Théorie 1234
Théorie 1234Théorie 1234
Théorie 1234goosyboy
 
Equations différentielles, DUT MP, CM 4
Equations différentielles, DUT MP, CM 4Equations différentielles, DUT MP, CM 4
Equations différentielles, DUT MP, CM 4Christophe Palermo
 
Ch2 Algorthmique Avancée - Récursivité
Ch2 Algorthmique Avancée - RécursivitéCh2 Algorthmique Avancée - Récursivité
Ch2 Algorthmique Avancée - Récursivitélotfibenromdhane
 
Ch3 Algorthmique Avancée - Méthodes Récursives
Ch3 Algorthmique Avancée - Méthodes RécursivesCh3 Algorthmique Avancée - Méthodes Récursives
Ch3 Algorthmique Avancée - Méthodes Récursiveslotfibenromdhane
 
Mathématiques - Formule d'inversion de Pascal
Mathématiques - Formule d'inversion de PascalMathématiques - Formule d'inversion de Pascal
Mathématiques - Formule d'inversion de PascalLoïc Dilly
 
Sommation séries entières
Sommation séries entièresSommation séries entières
Sommation séries entièresLoïc Dilly
 

Tendances (20)

Comment faire disparaître les rides
Comment faire disparaître les ridesComment faire disparaître les rides
Comment faire disparaître les rides
 
Modelisation non supervisee
Modelisation non superviseeModelisation non supervisee
Modelisation non supervisee
 
M2 An 1986 20 3 371 0
M2 An 1986  20 3 371 0M2 An 1986  20 3 371 0
M2 An 1986 20 3 371 0
 
Math%E9matiques%20 Ct
Math%E9matiques%20 CtMath%E9matiques%20 Ct
Math%E9matiques%20 Ct
 
Fonction quadratique TS-4
Fonction quadratique TS-4Fonction quadratique TS-4
Fonction quadratique TS-4
 
Estimation de copules, une approche bayésienne
Estimation de copules, une approche bayésienneEstimation de copules, une approche bayésienne
Estimation de copules, une approche bayésienne
 
A slides 11
A slides 11A slides 11
A slides 11
 
Cours mef
Cours mefCours mef
Cours mef
 
Equations différentielles, DUT MP, CM 5
Equations différentielles, DUT MP, CM 5Equations différentielles, DUT MP, CM 5
Equations différentielles, DUT MP, CM 5
 
Espace vectoriel euclidien
Espace vectoriel euclidienEspace vectoriel euclidien
Espace vectoriel euclidien
 
Théorie 1234
Théorie 1234Théorie 1234
Théorie 1234
 
Rapportfinal2x
Rapportfinal2xRapportfinal2x
Rapportfinal2x
 
Equations différentielles, DUT MP, CM 4
Equations différentielles, DUT MP, CM 4Equations différentielles, DUT MP, CM 4
Equations différentielles, DUT MP, CM 4
 
Ch2 Algorthmique Avancée - Récursivité
Ch2 Algorthmique Avancée - RécursivitéCh2 Algorthmique Avancée - Récursivité
Ch2 Algorthmique Avancée - Récursivité
 
Traitement de signal 1
Traitement de signal 1Traitement de signal 1
Traitement de signal 1
 
Espacesvec
EspacesvecEspacesvec
Espacesvec
 
Ch3 Algorthmique Avancée - Méthodes Récursives
Ch3 Algorthmique Avancée - Méthodes RécursivesCh3 Algorthmique Avancée - Méthodes Récursives
Ch3 Algorthmique Avancée - Méthodes Récursives
 
Mathématiques - Formule d'inversion de Pascal
Mathématiques - Formule d'inversion de PascalMathématiques - Formule d'inversion de Pascal
Mathématiques - Formule d'inversion de Pascal
 
Sommation séries entières
Sommation séries entièresSommation séries entières
Sommation séries entières
 
Cours différentielles
Cours différentiellesCours différentielles
Cours différentielles
 

En vedette

Acta constitutiva de ct
Acta constitutiva de ctActa constitutiva de ct
Acta constitutiva de ctangelikiux
 
Samsung Galaxy S4 et Google
Samsung Galaxy S4  et GoogleSamsung Galaxy S4  et Google
Samsung Galaxy S4 et GoogleXavier LAIR
 
Recetas de la cocina cubana iv
Recetas de la cocina cubana ivRecetas de la cocina cubana iv
Recetas de la cocina cubana ivFree lancer
 
WoW Folien
WoW FolienWoW Folien
WoW Folienfosbe
 

En vedette (6)

Acta constitutiva de ct
Acta constitutiva de ctActa constitutiva de ct
Acta constitutiva de ct
 
Samsung Galaxy S4 et Google
Samsung Galaxy S4  et GoogleSamsung Galaxy S4  et Google
Samsung Galaxy S4 et Google
 
Recetas de la cocina cubana iv
Recetas de la cocina cubana ivRecetas de la cocina cubana iv
Recetas de la cocina cubana iv
 
WoW Folien
WoW FolienWoW Folien
WoW Folien
 
Clermont
ClermontClermont
Clermont
 
S7 edge 1
S7 edge 1S7 edge 1
S7 edge 1
 

Similaire à Prédiction conforme sparse

(Statdes regression biv_ensta_21oct2010)
(Statdes regression biv_ensta_21oct2010)(Statdes regression biv_ensta_21oct2010)
(Statdes regression biv_ensta_21oct2010)mohamedchaouche
 
chapitre1.2_glm regressions logistiques.s
chapitre1.2_glm regressions logistiques.schapitre1.2_glm regressions logistiques.s
chapitre1.2_glm regressions logistiques.swidedbenmoussa2021
 
Cours acp mehdi_aman
Cours acp mehdi_amanCours acp mehdi_aman
Cours acp mehdi_amanMehdi Aman
 
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012Sujet et Correction épreuve de mathématiques ESSEC ECE 2012
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012Ahmed Ammar Rebai PhD
 
éChantillonnage estimation
éChantillonnage   estimationéChantillonnage   estimation
éChantillonnage estimationmarouane hdidou
 
Mettre obligatoirement le titre de la leçon ici
Mettre obligatoirement le titre de la leçon iciMettre obligatoirement le titre de la leçon ici
Mettre obligatoirement le titre de la leçon iciwospro-academy
 
47811458 exercices-systemes-echantillonnes
47811458 exercices-systemes-echantillonnes47811458 exercices-systemes-echantillonnes
47811458 exercices-systemes-echantillonnesTRIKI BILEL
 
Exam of June 2016, Mathematical Statistics 3rd year
Exam of June 2016, Mathematical Statistics 3rd yearExam of June 2016, Mathematical Statistics 3rd year
Exam of June 2016, Mathematical Statistics 3rd yearChristian Robert
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multipleafryma
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multipleafryma
 
Epreuve de mathématiques informatique (modélisation) Agro/Véto BCPST 2017
Epreuve de mathématiques informatique (modélisation) Agro/Véto BCPST 2017Epreuve de mathématiques informatique (modélisation) Agro/Véto BCPST 2017
Epreuve de mathématiques informatique (modélisation) Agro/Véto BCPST 2017Ahmed Ammar Rebai PhD
 
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdf
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdffr_Tanagra_Naive_Bayes_Classifier_Explained.pdf
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdfSidiAbdallah1
 
en analyse des composantes de donnees.pdf
en analyse des composantes de donnees.pdfen analyse des composantes de donnees.pdf
en analyse des composantes de donnees.pdfELHASSANEAJARCIF1
 
Euclidien12octobre
Euclidien12octobreEuclidien12octobre
Euclidien12octobreche7t
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multiplemohamedchaouche
 
analyse_discriminante.pdf
analyse_discriminante.pdfanalyse_discriminante.pdf
analyse_discriminante.pdfSidiAbdallah1
 
JIM-2022 3 Puissances et racines
JIM-2022 3 Puissances et racinesJIM-2022 3 Puissances et racines
JIM-2022 3 Puissances et racinesClément Boulonne
 

Similaire à Prédiction conforme sparse (20)

Exam 0607
Exam 0607Exam 0607
Exam 0607
 
(Statdes regression biv_ensta_21oct2010)
(Statdes regression biv_ensta_21oct2010)(Statdes regression biv_ensta_21oct2010)
(Statdes regression biv_ensta_21oct2010)
 
chapitre1.2_glm regressions logistiques.s
chapitre1.2_glm regressions logistiques.schapitre1.2_glm regressions logistiques.s
chapitre1.2_glm regressions logistiques.s
 
Cours acp mehdi_aman
Cours acp mehdi_amanCours acp mehdi_aman
Cours acp mehdi_aman
 
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012Sujet et Correction épreuve de mathématiques ESSEC ECE 2012
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012
 
AD-CH1-FCA-MAC-2019-21.pdf
AD-CH1-FCA-MAC-2019-21.pdfAD-CH1-FCA-MAC-2019-21.pdf
AD-CH1-FCA-MAC-2019-21.pdf
 
éChantillonnage estimation
éChantillonnage   estimationéChantillonnage   estimation
éChantillonnage estimation
 
Mettre obligatoirement le titre de la leçon ici
Mettre obligatoirement le titre de la leçon iciMettre obligatoirement le titre de la leçon ici
Mettre obligatoirement le titre de la leçon ici
 
47811458 exercices-systemes-echantillonnes
47811458 exercices-systemes-echantillonnes47811458 exercices-systemes-echantillonnes
47811458 exercices-systemes-echantillonnes
 
Exam of June 2016, Mathematical Statistics 3rd year
Exam of June 2016, Mathematical Statistics 3rd yearExam of June 2016, Mathematical Statistics 3rd year
Exam of June 2016, Mathematical Statistics 3rd year
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multiple
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multiple
 
Epreuve de mathématiques informatique (modélisation) Agro/Véto BCPST 2017
Epreuve de mathématiques informatique (modélisation) Agro/Véto BCPST 2017Epreuve de mathématiques informatique (modélisation) Agro/Véto BCPST 2017
Epreuve de mathématiques informatique (modélisation) Agro/Véto BCPST 2017
 
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdf
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdffr_Tanagra_Naive_Bayes_Classifier_Explained.pdf
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdf
 
en analyse des composantes de donnees.pdf
en analyse des composantes de donnees.pdfen analyse des composantes de donnees.pdf
en analyse des composantes de donnees.pdf
 
Euclidien12octobre
Euclidien12octobreEuclidien12octobre
Euclidien12octobre
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multiple
 
analyse_discriminante.pdf
analyse_discriminante.pdfanalyse_discriminante.pdf
analyse_discriminante.pdf
 
JIM-2022 3 Puissances et racines
JIM-2022 3 Puissances et racinesJIM-2022 3 Puissances et racines
JIM-2022 3 Puissances et racines
 
Comparaison
ComparaisonComparaison
Comparaison
 

Plus de Cdiscount

Presentation r markdown
Presentation r markdown Presentation r markdown
Presentation r markdown Cdiscount
 
R2DOCX : R + WORD
R2DOCX : R + WORDR2DOCX : R + WORD
R2DOCX : R + WORDCdiscount
 
Fltau r interface
Fltau r interfaceFltau r interface
Fltau r interfaceCdiscount
 
Dataiku r users group v2
Dataiku   r users group v2Dataiku   r users group v2
Dataiku r users group v2Cdiscount
 
Paris2012 session4
Paris2012 session4Paris2012 session4
Paris2012 session4Cdiscount
 
Paris2012 session3b
Paris2012 session3bParis2012 session3b
Paris2012 session3bCdiscount
 
Scm prix blé_2012_11_06
Scm prix blé_2012_11_06Scm prix blé_2012_11_06
Scm prix blé_2012_11_06Cdiscount
 
Scm indicateurs prospectifs_2012_11_06
Scm indicateurs prospectifs_2012_11_06Scm indicateurs prospectifs_2012_11_06
Scm indicateurs prospectifs_2012_11_06Cdiscount
 
State Space Model
State Space ModelState Space Model
State Space ModelCdiscount
 
Paris2012 session2
Paris2012 session2Paris2012 session2
Paris2012 session2Cdiscount
 
Paris2012 session1
Paris2012 session1Paris2012 session1
Paris2012 session1Cdiscount
 
Introduction à la cartographie avec R
Introduction à la cartographie avec RIntroduction à la cartographie avec R
Introduction à la cartographie avec RCdiscount
 
Prévisions trafic aérien
Prévisions trafic aérienPrévisions trafic aérien
Prévisions trafic aérienCdiscount
 
Parallel R in snow (english after 2nd slide)
Parallel R in snow (english after 2nd slide)Parallel R in snow (english after 2nd slide)
Parallel R in snow (english after 2nd slide)Cdiscount
 
Robust sequentiel learning
Robust sequentiel learningRobust sequentiel learning
Robust sequentiel learningCdiscount
 
Premier pas de web scrapping avec R
Premier pas de  web scrapping avec RPremier pas de  web scrapping avec R
Premier pas de web scrapping avec RCdiscount
 

Plus de Cdiscount (20)

R Devtools
R DevtoolsR Devtools
R Devtools
 
Presentation r markdown
Presentation r markdown Presentation r markdown
Presentation r markdown
 
R2DOCX : R + WORD
R2DOCX : R + WORDR2DOCX : R + WORD
R2DOCX : R + WORD
 
Gur1009
Gur1009Gur1009
Gur1009
 
Fltau r interface
Fltau r interfaceFltau r interface
Fltau r interface
 
Dataiku r users group v2
Dataiku   r users group v2Dataiku   r users group v2
Dataiku r users group v2
 
Paris2012 session4
Paris2012 session4Paris2012 session4
Paris2012 session4
 
Paris2012 session3b
Paris2012 session3bParis2012 session3b
Paris2012 session3b
 
Scm prix blé_2012_11_06
Scm prix blé_2012_11_06Scm prix blé_2012_11_06
Scm prix blé_2012_11_06
 
Scm indicateurs prospectifs_2012_11_06
Scm indicateurs prospectifs_2012_11_06Scm indicateurs prospectifs_2012_11_06
Scm indicateurs prospectifs_2012_11_06
 
Scm risques
Scm risquesScm risques
Scm risques
 
State Space Model
State Space ModelState Space Model
State Space Model
 
Paris2012 session2
Paris2012 session2Paris2012 session2
Paris2012 session2
 
Paris2012 session1
Paris2012 session1Paris2012 session1
Paris2012 session1
 
Introduction à la cartographie avec R
Introduction à la cartographie avec RIntroduction à la cartographie avec R
Introduction à la cartographie avec R
 
HADOOP + R
HADOOP + RHADOOP + R
HADOOP + R
 
Prévisions trafic aérien
Prévisions trafic aérienPrévisions trafic aérien
Prévisions trafic aérien
 
Parallel R in snow (english after 2nd slide)
Parallel R in snow (english after 2nd slide)Parallel R in snow (english after 2nd slide)
Parallel R in snow (english after 2nd slide)
 
Robust sequentiel learning
Robust sequentiel learningRobust sequentiel learning
Robust sequentiel learning
 
Premier pas de web scrapping avec R
Premier pas de  web scrapping avec RPremier pas de  web scrapping avec R
Premier pas de web scrapping avec R
 

Prédiction conforme sparse

  • 1. Pr´dicteurs Conformes Sparses e Universit´ Paris-Est – Marne-la-Vall´e e e Groupe de travail pr´vision e Crest, 8 Avril 2011 M. Hebiri (UMLV) SCP 8 Avril 2011 1 / 21
  • 2. Outline 1 Cadre de travail 2 Pr´-requis e 3 Pr´dicteurs Conformes Sparses e Lasso Conformal Predictor Famille de pr´dicteurs conformes e 4 Exp´riences num´riques e e M´thodes et comparaison e Performances M. Hebiri (UMLV) SCP 8 Avril 2011 2 / 21
  • 3. Cadre Transductif R´f´rences: ee Vapnik ’98 Joachims ’99 M. Hebiri (UMLV) SCP 8 Avril 2011 3 / 21
  • 4. Mod`le de r´gression lin´aire e e e Observations: En = {(x1 , y1 ), . . . , (xn , yn ), xnew } yi = xi β ∗ + ξi Vecteur des variables : xi = (xi,1 , . . . , xi,p ) ∈ Rp , i≥1 Nouvelle observation : xnew ∈ Rp R´sponse : yi ∈ R, e i≥1 Param`tre inconnu : β ∗ = (β1 , . . . , βp ) ∈ Rp e ∗ ∗ Bruit : ξi ∼ N (0, σ 2 ), σ 2 connu. M. Hebiri (UMLV) SCP 8 Avril 2011 4 / 21
  • 5. Objectifs Objectif I : Etant donn´ En et ε > 0, construire un pr´dicteur conforme e e (intervalle de confiance) Γε de niveau 1 − ε pour ynew Outil : Mesure de conformit´ entre xnew et les xi d´j` observ´s e ea e distance (g´om´trique, voisinage, etc.) e e distance de similarit´ : ` d´finir par la suite e a e Objectif II : Exploiter la sparsit´ du mod`le (beaucoup de composantes e e dans β ∗ sont ´gale ` zero) si n´cessaire e a e Outil : Recourrir ` une proc´dure de s´lection de variables (LASSO, etc.) a e e Remarque : ce deuxi`me objectif est particuli`rement int´ressant lorsque e e e → le nombre de variables est tr`s grand (comparativement au nombre e d’observations) → le nombre de variables vraiment pertinentes est petit M. Hebiri (UMLV) SCP 8 Avril 2011 5 / 21
  • 6. Pr´diction Conforme : e Vovk et al. ’05 Notations : y ∈ R : valeur possible de ynew |A| : cardinal de l’ensemble A Score de Non-conformit´ α(y) = (α1 (y), . . . , αn (y), αnew (y)) e αi (y) : similarit´ entre (xnew , y) et (xi , yi ) e information relative : p-value 1 p(y) = | {i ∈ {1, . . . , n, new} : αnew (y) ≤ αi (y)} | n+1 1 p(y) ∈ [ n+1 ; 1] plus p(y) est petite, moins la paire test´e (xnew , y) est vraisemblable e (ce choix fait de y une valeur aberrante lorsqu’elle est combin´e avec e xnew ) Pr´dicteur Conforme Γε : valeurs y ∈ R telle que p(y) > ε. e M. Hebiri (UMLV) SCP 8 Avril 2011 6 / 21
  • 7. Estimateur LASSO : Tibshirani ’96 LASSO n p ˆ 1 2 β = Argmin (yi − xi β) + λ |βj | β∈Rp n i=1 j=1 Param`tre de r´gularisation : λ e e Motivation : ˆ Solution sparse β (i.e., beaucoup de coefficients r´duits ` 0) e a R´sultats interpr´tables quand le mod`le est sparse e e e M. Hebiri (UMLV) SCP 8 Avril 2011 7 / 21
  • 8. Algorithmique Solution approch´e : LARS algorithme (Efron et al. ’04) e Algorithme LARS : données de diabètes 600 400 200 Coefficients βj 0 −200 −400 −600 0 0.2 0.4 0.6 0.8 1 mc ( Σ | βj | ) / ( Σ | βj |) ˆ ˆ → βλ1 , . . . , βλK : approximations de la solution LASSO aux points de transition λ = λ1 , . . . , λK M. Hebiri (UMLV) SCP 8 Avril 2011 8 / 21
  • 9. Suite... ˆ Etape k : µk = xk βλk = xk (xk xk )−1 (xk y − ˆ λk sk ) 2 vecteur des r´ponses : y = (y1 , . . . , yn ) e matrice des donn´es : x = (x1 , . . . , xn ) e vecteur signe : sk xk est la restriction de x aux colonnes correspondant aux variables s´lectionn´es e e ˆ Ne prend pas en compte xnew dans la construction de β ! M. Hebiri (UMLV) SCP 8 Avril 2011 9 / 21
  • 10. Pr´dicteurs Conformes Sparses e On consid`re les donn´es augment´es : x = (x1 , . . . , xn , xnew ) et e e e y = (y1 , . . . , yn , y) Pour tout point de transition λk , on d´finit l’estimateur LASSO µk e ˆ sur la base de xk et y On d´finit le score de Non-conformit´ e e αk (y) := |y − µk | = |Ak + Ck + Bk y| ˆ o` | · | s’interpr`te composante par composante et u e  Ak = (ak , . . . , ak , ak ) := (I − Hk ) (y1 , . . . , yn , 0)  1 n new Bk = (bk , . . . , bk , bk ) := (I − Hk ) (0, . . . , 0, 1) 1 n new Ck = (ck , . . . , ck , ck ) := λk xk (xk xk )−1 sk  1 n new 2 Les αk (y) sont lin´aires par morceaux e M. Hebiri (UMLV) SCP 8 Avril 2011 10 / 21
  • 11. Pr´dicteurs Conformes Sparses e 1 p-value: pk (y) = n+1 | i : αi (y) ≤ αnew (y) | k k Pr´dicteur ` l’´tape k : Γε = {y ∈ R : pk (y) > ε} e a e k Proposition k k Les points y tels que αi (y) = αnew (y) existent k = bk i) si bi new : quand y est ´gal ` e a ak − ak + ck − ck i new i new ak + ak + ck + ck i new i new − et − . bk − bk i new bk + bk i new ii) si bk = bk = 0 : lorsque y est ´gal ` i new e a ak + ak + ck + ck i new i new − 2bk i Conformal Lasso Predictor Γε : le plus petit Γε opt k M. Hebiri (UMLV) SCP 8 Avril 2011 11 / 21
  • 12. Exemple de pr´dicteurs conformes e Conformal predictors when n=300 80 60 40 20 k Γε 0 −20 y new −40 CoLP −60 −80 0 10 20 30 40 50 iteration → Le Conformal Lasso Predictor est le plus petit intervalle → Dans cet exemple, il contient la vraie valeur de ynew → En g´n´ral : ∀λ fix´ P(ynew ∈ Γλ ) ≥ 1 − ε e e e M. Hebiri (UMLV) SCP 8 Avril 2011 12 / 21
  • 13. Extension Estimateur de la forme : µ = u(x, s)y + v(x, s) ˆ o` u(·) et v(·) sont des fonctions constantes par morceaux par rapport ` y u a On s’int´resse ` e a CoLP: u(x, s) = xk (xk xk )−1 xk v(x, s) = −λk xk (xk xk )−1 sk CoRP: u(x, s) = x(x x + µIp )−1 x et v = 0 CENeP: u(x, s) = xk (xk xk + µk Ik )−1 xk v(x, s) = −λk xk (xk xk )−1 sk M. Hebiri (UMLV) SCP 8 Avril 2011 13 / 21
  • 14. Cadre exp´rimental e Tous les intervalles de confiance construits sont de niveau 1 − ε = 90% Toutes les exp´riences de simulations sont r´p´t´es M = 1000 fois e e ee Mesures de performance : Pr´cision : taille de l’intervalle e M Validit´ : VALε = M −1 e I(ynew ∈ (Γε )m ) opt m=1 S´lection de variable : reconstitution du support de β ∗ e M´thodes de r´f´rence : e ee S´lection de variables : LASSO original (Tibshirani ’96) et e l’Elastic-Net original (Zou & Hastie ’05) (bas´ sur le crit`re BIC) e e Pr´cision et validit´ : CoRP (Vovk et al. ’05) e e M. Hebiri (UMLV) SCP 8 Avril 2011 14 / 21
  • 15. Donn´es simul´es avec p = 50 e e A∗ = {j : βj = 0} : ensemble des variables pertinentes ∗ Exemple(a): A∗ = {1}; d´croissance exponentielle des corr´lations e e entre les variables successives {15, . . . , 35} Exemple(b): A∗ = {1, . . . , 5} ∪ {10, . . . , 25} ; les corr´lations sont e comme dans l’Exemple(a) Exemple(c): A∗ = {1, . . . , 15}; trois groupes de variables tr`se corr´l´es : G1 = {1, . . . , 5}, G2 = {6, . . . , 10} and G1 = {11, . . . , 15} ee Exemple(d): A∗ = {1, . . . , p}; d´croissance exponentielle des e corr´lations entre les variables successives {1, . . . , p} e M. Hebiri (UMLV) SCP 8 Avril 2011 15 / 21
  • 16. Validit´ e Table: Contrˆle de VALε o Exemple[n/σ] CoRP CoLP CoLaRP CENeP Ex (a)[300/1] 0.90± 0.02 0.88± 0.02 0.85± 0.02 0.88± 0.02 Ex (a)[300/7] 0.89± 0.02 0.91± 0.02 0.89± 0.02 0.90± 0.02 Ex (a)[300/15] 0.89± 0.02 0.89 ± 0.02 0.88± 0.02 0.89± 0.02 Ex (b)[300/1] 0.90± 0.02 0.88± 0.02 0.87± 0.02 0.87± 0.02 Ex (c)[300/1] 0.90± 0.02 0.90± 0.02 0.89± 0.02 0.90± 0.02 Ex (d)[300/1] 0.89± 0.02 0.90± 0.02 0.90± 0.02 0.90± 0.02 Ex (a)[50/3] 0.89± 0.02 0.67± 0.03 0.41± 0.03 0.79± 0.02 Ex (a)[20/3] 0.86± 0.02 0.60± 0.03 0.30± 0.03 0.69± 0.03 Exemple[n/σ] CoRP CoLP Stopped-CoLP 2-PN-CoLP Ex (a)[50/7] 0.85± 0.02 0.62± 0.03 0.82± 0.02 0.88± 0.02 Ex (b)[50/1] 0.88± 0.02 0.56± 0.03 0.82± 0.02 0.91 ± 0.02 Ex (c)[20/15] 0.88± 0.02 0.61± 0.03 0.77± 0.03 0.90± 0.02 Ex (d)[20/1] 0.90± 0.02 0.60± 0.03 0.79± 0.02 0.89± 0.02 M. Hebiri (UMLV) SCP 8 Avril 2011 16 / 21
  • 17. S´lection de variables : e Exemple(b)[300/5] 50 50 45 45 40 40 35 35 30 30 Iteration Iteration 25 25 20 20 CoLP 15 CoRLaP 15 CENeP Lasso Elastic−Net 10 10 5 5 0 0 0 5 10 15 20 25 30 35 40 45 50 0 5 10 15 20 25 30 35 40 45 50 Variable index Variable index M. Hebiri (UMLV) SCP 8 Avril 2011 17 / 21
  • 18. Pr´cision : e Exemple(b)[n/5] 4 90 x 10 2.5 Selected predictor 80 Selected predictor Failed predictor 70 2 60 Intervals sizes Intervals sizes 1.5 50 40 1 30 20 0.5 10 0 0 0 5 10 15 20 25 30 35 40 45 50 0 50 100 150 200 250 300 350 400 Iteration Iteration M. Hebiri (UMLV) SCP 8 Avril 2011 18 / 21
  • 19. Donn´es R´elles e e On utilise les donn´es “House Boston” (506 observations et 13 variables) e On ajoute artificiellement 483 variables bruits → p = 500 On effectue 150 permutations des lignes de la matrice des donn´es et e du vecteur r´ponse e → on s´lectionne n = 50 couples (xi , yi ) e → on choisit une lignes au hasard comme ´tant (xnew , ynew ) e Table: contrˆle de VALε et du numbre de variables bruits s´lectionn´es (variables o e e X14 ` X500 ) (p = 500 et n = 50). a CoRP CoLP CENeP Stopped-CoLP 2-PN-CoLP VALε 0.93± 0.01 0.43± 0.04 0.85± 0.02 0.85± 0.02 0.93± 0.01 Noise 100 % 20.3 % 4.0 % 5.9 % 5.9 % M. Hebiri (UMLV) SCP 8 Avril 2011 19 / 21
  • 20. Conclusion Pr´dicteurs Conformes Sparses e → crit`re naturelle de s´lection de l’intervalle optimal e e → bonne performance dans le cas p ≤ n → correction dans le cas p > n : permet d’´galer (ou d’am´lorer) e e les performances du CoRP (avec une pr´cisioin toujours meilleure) e Validit´ th´orique (Vovk et al. ’05) e e Perspective : consistance en s´lection de variables (th´orique) lorsque e e la s´lection est bas´e sur le crit`re de pr´cision ! e e e e M. Hebiri (UMLV) SCP 8 Avril 2011 20 / 21
  • 21. Merci de votre attention M. Hebiri (UMLV) SCP 8 Avril 2011 21 / 21