SlideShare une entreprise Scribd logo
1  sur  53
Télécharger pour lire hors ligne
Introduction : problème de la prévision
Dépendance faible et inégalités PAC-Bayésiennes




   Prévision de séries temporelles faiblement
                 dépendantes
               Avec M. Cornec (INSEE), O. Wintenberger (Dauphine), X. Li (Cergy)




                                      Pierre Alquier




     Groupe de travail “Prévision”, ENGREF, 13 avril 2012
                                 Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision
Dépendance faible et inégalités PAC-Bayésiennes




1   Résumé des épisodes précédents : prévision de la croissance
    du PIB
      Introduction et notations
      Application à la prévision de la croissance du PIB


2   Dépendance faible et inégalités PAC-Bayésiennes
      Estimateur de Gibbs / minimisation du risque empirique
      Bornes PAC-Bayésiennes
      Exemples




                                 Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Contexte

 Soit (Xt )t∈Z un processus stationnaire à valeurs dans Rm . On
 observe (X1 , ..., Xn ). But : apprendre à prédire le processus.




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Contexte

 Soit (Xt )t∈Z un processus stationnaire à valeurs dans Rm . On
 observe (X1 , ..., Xn ). But : apprendre à prédire le processus.

 On se donne une famille de prédicteurs (experts) :

                     F ⊂ f : (Rm )k → Rm mesurables .

 Définition
                  ˆ
 Pour tout f ∈ F, Xtf := f (Xt−1 , . . . , Xt−k ).



                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Familles classiques de prédicteurs
  Définition
                   ˆ
  Pour tout f ∈ F, Xtf = f (Xt−1 , . . . , Xt−k ).




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision    Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes    Application à la prévision de la croissance du PIB



Familles classiques de prédicteurs
  Définition
                   ˆ
  Pour tout f ∈ F, Xtf = f (Xt−1 , . . . , Xt−k ).

  Prédicteurs AR(k) :
                                                    k
                                 ˆ
                                 Xtf = θ0 +               θi Xt−i .
                                                    i=1

  Modèle additif non paramétrique, pour une base (ϕj )∞ ,
                                                      j=1

                                          k     ∞
                              ˆ
                              Xtf =                 θi,j ϕj (Xt−i ).
                                         i=1 j=1


                                   Pierre Alquier    Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Fonction de perte & risque

                                  ˆ
  Soit une fonction de perte : (Xtf , Xt ) ≥ 0 mesure l’erreur
  commise par le prédicteur f à la date t.

  Définition - le risque R
  Pour tout f ∈ F, R(f ) := E                       ˆ
                                                    Xtf , Xt       .




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Fonction de perte & risque

                                  ˆ
  Soit une fonction de perte : (Xtf , Xt ) ≥ 0 mesure l’erreur
  commise par le prédicteur f à la date t.

  Définition - le risque R
  Pour tout f ∈ F, R(f ) := E                       ˆ
                                                    Xtf , Xt       .

  On peut l’estimer par
  Définition - le risque empirique rn
                                              1      n              ˆ
  Pour tout f ∈ F, rn (f ) :=                n−k     t=k+1          Xtf , Xt .



                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Le problème de la prévision de la croissance


  But : lors du 3ème mois du trimestre t, annoncer quelle sera la
  croissance ∆GDPt lors de ce trimestre.

  Information disponible :




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Le problème de la prévision de la croissance


  But : lors du 3ème mois du trimestre t, annoncer quelle sera la
  croissance ∆GDPt lors de ce trimestre.

  Information disponible :
    1  le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1.




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Le problème de la prévision de la croissance


  But : lors du 3ème mois du trimestre t, annoncer quelle sera la
  croissance ∆GDPt lors de ce trimestre.

  Information disponible :
    1  le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1.
    2  les enquêtes de conjoncture, mensuelles, de l’INSEE.




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Le problème de la prévision de la croissance


  But : lors du 3ème mois du trimestre t, annoncer quelle sera la
  croissance ∆GDPt lors de ce trimestre.

  Information disponible :
    1  le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1.
    2  les enquêtes de conjoncture, mensuelles, de l’INSEE.
    3  toute autre information quantitative ou qualitative.




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Les enquêtes de conjoncture

  Il s’agit de questionnaires mensuels envoyés aux plus grandes
  entreprises françaises, et à un échantillon d’entreprises plus
  petites. Ces données :




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Les enquêtes de conjoncture

  Il s’agit de questionnaires mensuels envoyés aux plus grandes
  entreprises françaises, et à un échantillon d’entreprises plus
  petites. Ces données :
     1  proviennent directement des agents qui font vivre
        l’économie.




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Les enquêtes de conjoncture

  Il s’agit de questionnaires mensuels envoyés aux plus grandes
  entreprises françaises, et à un échantillon d’entreprises plus
  petites. Ces données :
     1  proviennent directement des agents qui font vivre
        l’économie.
     2  sont disponibles quasiment en temps réel (lors du
        troisième mois du trimestre, on connaît les résultats pour
        les deux premiers mois).




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Les enquêtes de conjoncture

  Il s’agit de questionnaires mensuels envoyés aux plus grandes
  entreprises françaises, et à un échantillon d’entreprises plus
  petites. Ces données :
     1  proviennent directement des agents qui font vivre
        l’économie.
     2  sont disponibles quasiment en temps réel (lors du
        troisième mois du trimestre, on connaît les résultats pour
        les deux premiers mois).
  → les résultats sont synthétisés par l’INSEE dans l’indicateur
  de climat, disons It−1 .


                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Résultats connus

  La famille de prédicteurs
            f
  ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 |

  a été utilisée par Cornec (CIRET conference, 2010). On
  obtient :




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Résultats connus

  La famille de prédicteurs
            f
  ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 |

  a été utilisée par Cornec (CIRET conference, 2010). On
  obtient :
    1  des prévisions globalement aussi précises que celles de
       l’INSEE.




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision   Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes   Application à la prévision de la croissance du PIB



Résultats connus

  La famille de prédicteurs
            f
  ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 |

  a été utilisée par Cornec (CIRET conference, 2010). On
  obtient :
    1  des prévisions globalement aussi précises que celles de
       l’INSEE.
    2  des prévisions d’autant moins précises que la conjoncture
       est mauvaise.
  → nécessité de donner un intervalle de confiance ou une
  indication de précision.

                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision    Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes    Application à la prévision de la croissance du PIB



Résultats : prévision

                                                    Prévisions en utilisant la fa-
                                                    mille de prédicteurs de Cor-
                                                    nec et la fonction de perte
                                                     (x, x ) = |x − x |.
                                                    Prédicteur :
                                                            ˆ
                                                            f ∈ arg min rn (f ).
                                                                          f ∈F

                                                    Les performances moyennes
                                                    sont voisines de celles obte-
                                                    nues par l’INSEE.


                                   Pierre Alquier    Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévision    Introduction et notations
  Dépendance faible et inégalités PAC-Bayésiennes    Application à la prévision de la croissance du PIB



Résultats : intervalles de confiance



                                                    Intervalles de confiance en
                                                    utilisant la fonction de perte
                                                    quantile de Koenker :

                                                      (x, x )
                                                    = (x−x )(τ −1(x−x < 0)).




                                   Pierre Alquier    Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
        Introduction : problème de la prévision
                                                  Bornes PAC-Bayésiennes
Dépendance faible et inégalités PAC-Bayésiennes
                                                  Exemples




1   Résumé des épisodes précédents : prévision de la croissance
    du PIB
      Introduction et notations
      Application à la prévision de la croissance du PIB


2   Dépendance faible et inégalités PAC-Bayésiennes
      Estimateur de Gibbs / minimisation du risque empirique
      Bornes PAC-Bayésiennes
      Exemples




                                 Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                      Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                      Exemples


Et en théorie ?
  On a utilisé
                                     ˆ
                                     f = arg min rn (f )
                                                    f ∈F

  mais il n’y a pas, a priori, de théorie pour justifier une telle
  méthode !




                                   Pierre Alquier     Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                      Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                      Exemples


Et en théorie ?
  On a utilisé
                                     ˆ
                                     f = arg min rn (f )
                                                    f ∈F

  mais il n’y a pas, a priori, de théorie pour justifier une telle
  méthode !
  Justifié par la théorie des processus ARMA si on suppose que
  la croissance du PIB est un processus ARMA ( ).
  Il reste deux possibilités :




                                   Pierre Alquier     Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                      Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                      Exemples


Et en théorie ?
  On a utilisé
                                     ˆ
                                     f = arg min rn (f )
                                                    f ∈F

  mais il n’y a pas, a priori, de théorie pour justifier une telle
  méthode !
  Justifié par la théorie des processus ARMA si on suppose que
  la croissance du PIB est un processus ARMA ( ).
  Il reste deux possibilités :
    1    “Je n’ai pas besoin de théorie, ça marche en pratique !
        La théorie produit des choses optimales en théorie mais
        qui ne marchent pas en pratique.”



                                   Pierre Alquier     Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                      Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                      Exemples


Et en théorie ?
  On a utilisé
                                     ˆ
                                     f = arg min rn (f )
                                                    f ∈F

  mais il n’y a pas, a priori, de théorie pour justifier une telle
  méthode !
  Justifié par la théorie des processus ARMA si on suppose que
  la croissance du PIB est un processus ARMA ( ).
  Il reste deux possibilités :
    1    “Je n’ai pas besoin de théorie, ça marche en pratique !
        La théorie produit des choses optimales en théorie mais
        qui ne marchent pas en pratique.”
    2   Y si ça marche en pratique, la théorie doit pouvoir dire
        quelque chose dessus !
                                   Pierre Alquier     Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Fonction de perte  risque (suite)
              ˆ
  Rappel : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le
  prédicteur f à la date t.

  Rappel - le risque de prévision R
  Pour tout f ∈ F, R(f ) := E                       ˆ
                                                    Xtf , Xt       .




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Fonction de perte  risque (suite)
              ˆ
  Rappel : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le
  prédicteur f à la date t.

  Rappel - le risque de prévision R
  Pour tout f ∈ F, R(f ) := E                       ˆ
                                                    Xtf , Xt        .

                       ˆ
  Pour tout estimateur f ,
                             ˆ               ˆ
                           R(f ) = inf R +[R(f ) − inf R ].
                                         F                      F

                                        “biais”        “variance”




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                       Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                       Exemples


Estimateur de Gibbs - minimisation de rn

  Définition - min. du risque empirique
  On pose
                         ˆ
                         f = arg min rn (f ).
                                                    f ∈F




                                   Pierre Alquier      Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                       Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                       Exemples


Estimateur de Gibbs - minimisation de rn

  Définition - min. du risque empirique
  On pose
                         ˆ
                         f = arg min rn (f ).
                                                    f ∈F

  Soit π une loi a priori sur l’ensemble F.

                                    ˆ
  Définition - l’estimateur de Gibbs fλ
  On pose

                   ˆ           fe −λrn (f ) π(df )
                   fλ =                            =:             f π−λrn (df ).
                                e −λrn (f ) π(df )

                                   Pierre Alquier      Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Hypothèses
    1   Le processus (Xt ) est borné p.s.,

                                        P( Xt ≤ B) = 1.




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Hypothèses
    1   Le processus (Xt ) est borné p.s.,

                                        P( Xt ≤ B) = 1.
    2     (x, x ) = g (x − x ) avec g convexe et L-Lipshitz.




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                       Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                       Exemples


Hypothèses
    1   Le processus (Xt ) est borné p.s.,

                                        P( Xt ≤ B) = 1.
    2    (x, x ) = g (x − x ) avec g convexe et L-Lipshitz.
    3   Pour tout f ∈ F,
                                                                       k
              f (x1 , . . . , xk ) − f (x1 , . . . , xk ) ≤                aj (f ) xj − xj ,
                                                                     j=1

                                             k
                                                    aj (f ) ≤ K .
                                            j=1



                                   Pierre Alquier      Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                       Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                       Exemples


Hypothèses
    1   Le processus (Xt ) est borné p.s.,

                                        P( Xt ≤ B) = 1.
    2    (x, x ) = g (x − x ) avec g convexe et L-Lipshitz.
    3   Pour tout f ∈ F,
                                                                       k
              f (x1 , . . . , xk ) − f (x1 , . . . , xk ) ≤                aj (f ) xj − xj ,
                                                                     j=1

                                             k
                                                    aj (f ) ≤ K .
                                            j=1

    4   k ≤ n/2.
                                   Pierre Alquier      Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Inégalité PAC-Bayésienne pour la prédiction

  Théorème
  Sous les hypothèses précédentes, pour tout ε ∈]0, 1[, pour
  tout λ  0,

                                                                                     2
            ˆ                             λκ2 K(ρ, π) + log
    P     R(fλ ) ≤ inf               Rdρ + n +                                       ε
                          ρ                n          λ
                                                                                   ≥ 1 − ε.

                                  √
                        κn =       2K (1 + L)(B + θ∞,n (1)).


                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Coefficient de θ-dépendance faible

 Introduits par Doukhan et Louhichi (SPA, 1999). Soit
 Fi = σ(Xt , t ≤ i). Pour i  j1  · · ·  j on pose

   θp (Fi , (Xj1 , . . . , Xjp ))
   := sup             E [g (Xj1 , . . . , Xj )|Fi ] − E [g (Xj1 , . . . , Xj )]               p   .
        g 1-Lipshitz


 Enfin,

         θp,r (k) := max                  sup         θp (Fi , (Xj1 , . . . , Xjp ))).
                             ≤r i+k≤j1 j2 ···j




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
           Introduction : problème de la prévision
                                                     Bornes PAC-Bayésiennes
   Dépendance faible et inégalités PAC-Bayésiennes
                                                     Exemples


Exemples de calculs de coefficients θ
  Tout processus
                               Xt = F (ξt , ξt−1 , ξt−2 , . . . )
  avec les ξi iid et bornés par b, et
                                                                      ∞
              F (x1 , x2 , . . . ) − F (x1 , x2 , . . . ) ≤               aj xj − xj
                                                                   j=1

  vérifie :                                               ∞
                                   θ∞,n (1) ≤ 2b              jaj .
                                                        j=1

  Inclut par exemple :
  Xt = G (ξt , Xt−1 ) = G (ξt , G (ξt−1 , Xt−2 )) = · · · = H(ξt , ξt−1 , . . . ).
                                    Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Rappel

 Théorème
 Sous les hypothèses précédentes, pour tout ε ∈]0, 1[, pour
 tout λ  0,

                                                                                         2
            ˆ                              2λκ2
                                              n    K(ρ, π) + log                         ε
   P      R(fλ ) ≤ inf               Rdρ +      +2
                          ρ                 n              λ
                                                                                   ≥ 1 − ε.

                                  √
                        κn =       2K (1 + L)(B + θ∞,n (1)).


                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                      Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                      Exemples


Cas où card(F) = M  ∞ (1/2)
 Si π uniforme,

                                                                                    2
     ˆ                                      2λκ2
                                               n    K(ρ, π) + log                   ε
   R(fλ ) ≤ inf                Rdρ +             +2
                   ρ                         n              λ
                                                                                            2
                                                     2λκ2
                                                        n    log(M) + log                   ε
                         ≤ inf         R(f ) +            +2
                             f ∈F                     n             λ




                                    Pierre Alquier    Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                      Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                      Exemples


Cas où card(F) = M  ∞ (1/2)
 Si π uniforme,

                                                                                    2
     ˆ                                      2λκ2
                                               n    K(ρ, π) + log                   ε
   R(fλ ) ≤ inf                 Rdρ +            +2
                   ρ                         n              λ
                                                                                            2
                                                     2λκ2
                                                        n    log(M) + log                   ε
                         ≤ inf         R(f ) +            +2
                             f ∈F                     n             λ

  et λ =         n log(M)/κn (                ) conduit à
 Théorème

               ˆ                                     2 log(M) 2κn log 2
                                                                      ε
             R(fλ ) ≤ inf R + 2κn                            +          .
                            F                            n     n log(M)
                                    Pierre Alquier    Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Cas où card(F) = M  ∞ (2/2)

                                           ˆ
 Et pour le minimiseur du risque empirique f ?

 Un calcul similaire conduit à




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                     Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                     Exemples


Cas où card(F) = M  ∞ (2/2)

                                           ˆ
 Et pour le minimiseur du risque empirique f ?

 Un calcul similaire conduit à

 Théorème
 Pour un c  0 connu,

                ˆ                                   log(M) c.κn log 2ε
              R(f ) ≤ inf R + c.κn                        +            .
                            F                          n      n log(M)


 Gros avantage : ne nécessite pas la connaissance de κn .

                                   Pierre Alquier    Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Cas des prédicteurs AR (1/2)
  On se restreint à Xt ∈ R et, pour f ∈ F,
                                                           k
                           f (Xt−1 , ..., Xt−k ) =             θj Xt−j
                                                         j=1

  avec θ      1   ≤ L. Cette fois, on prend π uniforme.




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Cas des prédicteurs AR (1/2)
  On se restreint à Xt ∈ R et, pour f ∈ F,
                                                           k
                           f (Xt−1 , ..., Xt−k ) =             θj Xt−j
                                                         j=1

  avec θ      1   ≤ L. Cette fois, on prend π uniforme.

  Un calcul similaire quoique plus moche et le choix
      √
  λ = kn/κn ( ) conduisent à :
  Théorème

                                                                                           2
       ˆ                                  k         e 2 LB       n          2κn log        ε
     R(fλ ) ≤ inf R + 2κn                   log                         +      √               .
                    F                     n           κn         k                nk
                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Cas des prédicteurs AR (2/2)

                                            ˆ
  Et pour le minimiseur du risque empirique f ?

  Un calcul similaire conduit à




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                      Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                      Exemples


Cas des prédicteurs AR (2/2)

                                            ˆ
  Et pour le minimiseur du risque empirique f ?

  Un calcul similaire conduit à

  Théorème
  Pour un c  0 connu,
                                                                                     2
               ˆ                                    k          c.κn log              ε
             R(f ) ≤ inf R + c.κn                     log(n) +    √                      .
                           F                        n                nk

  Gros avantage : ne nécessite pas la connaissance de κn .

                                   Pierre Alquier     Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                      Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                      Exemples


Cas général
  On peut introduire une mesure de la complexité de l’ensemble
  de prédicteurs F, en fait :
                                                              1
                                             log                       1
                                                     π{θ:R(θ)−inf F R≤ λ }
                  C(F, π) := sup                                                   .
                                      λc                 log(λ)
  Le résultat est alors :
  Théorème
  Pour une constante c  0 connue et λ                                  C(F, π)n/κn ,

            ˆ
                 
          R(fλ )                                                      log( 1 )
                                                    C(F, π)
                              inf R + c.                    log(n) + c. √ ε .
             ˆ                 F                      n                    n
           R(f )
                     

                                   Pierre Alquier     Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                        Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                        Exemples


Sélection de modèles (1/3)
  Soient M familles de prédicteurs F1 , ..., FM . Par exemple,

   F1 :       f (Xt−1 , ..., Xt−k ) = θ1 Xt−1
   F2 :       f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 + θ1 Xt−2
    .
    .            .
                 .
    .            .
                                                    k
   Fk :       f (Xt−1 , ..., Xt−k ) =                   θj Xt−j
                                               j=1




                                   Pierre Alquier       Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                        Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                        Exemples


Sélection de modèles (1/3)
  Soient M familles de prédicteurs F1 , ..., FM . Par exemple,

   F1 :       f (Xt−1 , ..., Xt−k ) = θ1 Xt−1                                  C(F1 , π1 )          1
   F2 :       f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 + θ1 Xt−2                        C(F2 , π2 )          2
    .
    .            .
                 .                                                             .
                                                                               .
    .            .                                                             .
                                                    k
   Fk :       f (Xt−1 , ..., Xt−k ) =                   θj Xt−j                C(Fk , πk )           k
                                               j=1


  On fixe des lois a priori dans chaque famille de prédicteurs :

                                          π1 , . . . , π M .


                                   Pierre Alquier       Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                          Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                          Exemples


Sélection de modèles (2/3)

  On choisit
                                                                 M
                         p1 , . . . , pM ≥ 0 avec                     pi = 1.
                                                                i=1

  On pose
                                                    M
                                         π=               pi πi .
                                                    i=1


  Rappel
                                                     e −λrn (f ) π(df )
                           π−λrn (df ) =
                                                      e −λrn (g ) π(dg )


                                   Pierre Alquier         Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Sélection de modèles (3/3)
  Définition

  ˆ                                            λκ2 K(π−λrn , π) + log(|Λ|/ε)
                                                  n
  λ = arg min               rn dπ−λrn +             +
              λ∈Λ                               n              λ

  sur une grille finie Λ bien choisie.




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


Sélection de modèles (3/3)
  Définition

  ˆ                                            λκ2 K(π−λrn , π) + log(|Λ|/ε)
                                                  n
  λ = arg min               rn dπ−λrn +             +
              λ∈Λ                               n              λ

  sur une grille finie Λ bien choisie.

  Théorème

      ˆˆ
    R(fλ )
                                                                               2 log(n)
                                                                                             
                                       C(Fj , πj )                      log        εpj
  ≤ inf inf R + c.                                log(n) + c.                               .
     1≤j≤M          Fj                    n                                C(Fj , πj )n
                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes
Estimateur de Gibbs / minimisation du risque empirique
          Introduction : problème de la prévision
                                                    Bornes PAC-Bayésiennes
  Dépendance faible et inégalités PAC-Bayésiennes
                                                    Exemples


The end




                                              Merci !




                                   Pierre Alquier   Prévision de séries temporelles faiblement dépendantes

Contenu connexe

En vedette

Paris2012 session3b
Paris2012 session3bParis2012 session3b
Paris2012 session3bCdiscount
 
Scm prix blé_2012_11_06
Scm prix blé_2012_11_06Scm prix blé_2012_11_06
Scm prix blé_2012_11_06Cdiscount
 
State Space Model
State Space ModelState Space Model
State Space ModelCdiscount
 
Robust sequentiel learning
Robust sequentiel learningRobust sequentiel learning
Robust sequentiel learningCdiscount
 
Paris2012 session1
Paris2012 session1Paris2012 session1
Paris2012 session1Cdiscount
 
Paris2012 session2
Paris2012 session2Paris2012 session2
Paris2012 session2Cdiscount
 
Paris2012 session4
Paris2012 session4Paris2012 session4
Paris2012 session4Cdiscount
 
Scm indicateurs prospectifs_2012_11_06
Scm indicateurs prospectifs_2012_11_06Scm indicateurs prospectifs_2012_11_06
Scm indicateurs prospectifs_2012_11_06Cdiscount
 
Prévisions trafic aérien
Prévisions trafic aérienPrévisions trafic aérien
Prévisions trafic aérienCdiscount
 
Présentation Olivier Biau Random forests et conjoncture
Présentation Olivier Biau Random forests et conjoncturePrésentation Olivier Biau Random forests et conjoncture
Présentation Olivier Biau Random forests et conjonctureCdiscount
 
Ranking binaire, agrégation multiclasses
Ranking binaire, agrégation multiclasses Ranking binaire, agrégation multiclasses
Ranking binaire, agrégation multiclasses Cdiscount
 
Prévision de consommation électrique avec adaptive GAM
Prévision de consommation électrique avec adaptive GAMPrévision de consommation électrique avec adaptive GAM
Prévision de consommation électrique avec adaptive GAMCdiscount
 
Forecasting GDP profile with an application to French Business Surveys
Forecasting GDP profile with an application to French Business SurveysForecasting GDP profile with an application to French Business Surveys
Forecasting GDP profile with an application to French Business SurveysCdiscount
 
Prévision consommation électrique par processus à valeurs fonctionnelles
Prévision consommation électrique par processus à valeurs fonctionnellesPrévision consommation électrique par processus à valeurs fonctionnelles
Prévision consommation électrique par processus à valeurs fonctionnellesCdiscount
 
Prediction in dynamic Graphs
Prediction in dynamic GraphsPrediction in dynamic Graphs
Prediction in dynamic GraphsCdiscount
 
R2DOCX : R + WORD
R2DOCX : R + WORDR2DOCX : R + WORD
R2DOCX : R + WORDCdiscount
 

En vedette (20)

Paris2012 session3b
Paris2012 session3bParis2012 session3b
Paris2012 session3b
 
Scm prix blé_2012_11_06
Scm prix blé_2012_11_06Scm prix blé_2012_11_06
Scm prix blé_2012_11_06
 
Scm risques
Scm risquesScm risques
Scm risques
 
State Space Model
State Space ModelState Space Model
State Space Model
 
Robust sequentiel learning
Robust sequentiel learningRobust sequentiel learning
Robust sequentiel learning
 
Paris2012 session1
Paris2012 session1Paris2012 session1
Paris2012 session1
 
Paris2012 session2
Paris2012 session2Paris2012 session2
Paris2012 session2
 
Paris2012 session4
Paris2012 session4Paris2012 session4
Paris2012 session4
 
Scm indicateurs prospectifs_2012_11_06
Scm indicateurs prospectifs_2012_11_06Scm indicateurs prospectifs_2012_11_06
Scm indicateurs prospectifs_2012_11_06
 
Prévisions trafic aérien
Prévisions trafic aérienPrévisions trafic aérien
Prévisions trafic aérien
 
Présentation Olivier Biau Random forests et conjoncture
Présentation Olivier Biau Random forests et conjoncturePrésentation Olivier Biau Random forests et conjoncture
Présentation Olivier Biau Random forests et conjoncture
 
Ranking binaire, agrégation multiclasses
Ranking binaire, agrégation multiclasses Ranking binaire, agrégation multiclasses
Ranking binaire, agrégation multiclasses
 
Prévision de consommation électrique avec adaptive GAM
Prévision de consommation électrique avec adaptive GAMPrévision de consommation électrique avec adaptive GAM
Prévision de consommation électrique avec adaptive GAM
 
Forecasting GDP profile with an application to French Business Surveys
Forecasting GDP profile with an application to French Business SurveysForecasting GDP profile with an application to French Business Surveys
Forecasting GDP profile with an application to French Business Surveys
 
Prévision consommation électrique par processus à valeurs fonctionnelles
Prévision consommation électrique par processus à valeurs fonctionnellesPrévision consommation électrique par processus à valeurs fonctionnelles
Prévision consommation électrique par processus à valeurs fonctionnelles
 
Prediction in dynamic Graphs
Prediction in dynamic GraphsPrediction in dynamic Graphs
Prediction in dynamic Graphs
 
R2DOCX : R + WORD
R2DOCX : R + WORDR2DOCX : R + WORD
R2DOCX : R + WORD
 
Gur1009
Gur1009Gur1009
Gur1009
 
Big data with r
Big data with rBig data with r
Big data with r
 
R Devtools
R DevtoolsR Devtools
R Devtools
 

Plus de Cdiscount

Presentation r markdown
Presentation r markdown Presentation r markdown
Presentation r markdown Cdiscount
 
Fltau r interface
Fltau r interfaceFltau r interface
Fltau r interfaceCdiscount
 
Dataiku r users group v2
Dataiku   r users group v2Dataiku   r users group v2
Dataiku r users group v2Cdiscount
 
Introduction à la cartographie avec R
Introduction à la cartographie avec RIntroduction à la cartographie avec R
Introduction à la cartographie avec RCdiscount
 
Parallel R in snow (english after 2nd slide)
Parallel R in snow (english after 2nd slide)Parallel R in snow (english after 2nd slide)
Parallel R in snow (english after 2nd slide)Cdiscount
 
Premier pas de web scrapping avec R
Premier pas de  web scrapping avec RPremier pas de  web scrapping avec R
Premier pas de web scrapping avec RCdiscount
 
Incorporer du C dans R, créer son package
Incorporer du C dans R, créer son packageIncorporer du C dans R, créer son package
Incorporer du C dans R, créer son packageCdiscount
 
Comptabilité Nationale avec R
Comptabilité Nationale avec RComptabilité Nationale avec R
Comptabilité Nationale avec RCdiscount
 
Cartographie avec igraph sous R (Partie 2)
Cartographie avec igraph sous R (Partie 2)Cartographie avec igraph sous R (Partie 2)
Cartographie avec igraph sous R (Partie 2)Cdiscount
 
Cartographie avec igraph sous R (Partie 1)
Cartographie avec igraph sous R (Partie 1) Cartographie avec igraph sous R (Partie 1)
Cartographie avec igraph sous R (Partie 1) Cdiscount
 
RStudio is good for you
RStudio is good for youRStudio is good for you
RStudio is good for youCdiscount
 
R fait du la tex
R fait du la texR fait du la tex
R fait du la texCdiscount
 
Première approche de cartographie sous R
Première approche de cartographie sous RPremière approche de cartographie sous R
Première approche de cartographie sous RCdiscount
 

Plus de Cdiscount (14)

Presentation r markdown
Presentation r markdown Presentation r markdown
Presentation r markdown
 
Fltau r interface
Fltau r interfaceFltau r interface
Fltau r interface
 
Dataiku r users group v2
Dataiku   r users group v2Dataiku   r users group v2
Dataiku r users group v2
 
Introduction à la cartographie avec R
Introduction à la cartographie avec RIntroduction à la cartographie avec R
Introduction à la cartographie avec R
 
HADOOP + R
HADOOP + RHADOOP + R
HADOOP + R
 
Parallel R in snow (english after 2nd slide)
Parallel R in snow (english after 2nd slide)Parallel R in snow (english after 2nd slide)
Parallel R in snow (english after 2nd slide)
 
Premier pas de web scrapping avec R
Premier pas de  web scrapping avec RPremier pas de  web scrapping avec R
Premier pas de web scrapping avec R
 
Incorporer du C dans R, créer son package
Incorporer du C dans R, créer son packageIncorporer du C dans R, créer son package
Incorporer du C dans R, créer son package
 
Comptabilité Nationale avec R
Comptabilité Nationale avec RComptabilité Nationale avec R
Comptabilité Nationale avec R
 
Cartographie avec igraph sous R (Partie 2)
Cartographie avec igraph sous R (Partie 2)Cartographie avec igraph sous R (Partie 2)
Cartographie avec igraph sous R (Partie 2)
 
Cartographie avec igraph sous R (Partie 1)
Cartographie avec igraph sous R (Partie 1) Cartographie avec igraph sous R (Partie 1)
Cartographie avec igraph sous R (Partie 1)
 
RStudio is good for you
RStudio is good for youRStudio is good for you
RStudio is good for you
 
R fait du la tex
R fait du la texR fait du la tex
R fait du la tex
 
Première approche de cartographie sous R
Première approche de cartographie sous RPremière approche de cartographie sous R
Première approche de cartographie sous R
 

Prediction of Quantiles by Statistical Learning and Application to GDP Forecasting

  • 1. Introduction : problème de la prévision Dépendance faible et inégalités PAC-Bayésiennes Prévision de séries temporelles faiblement dépendantes Avec M. Cornec (INSEE), O. Wintenberger (Dauphine), X. Li (Cergy) Pierre Alquier Groupe de travail “Prévision”, ENGREF, 13 avril 2012 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 2. Introduction : problème de la prévision Dépendance faible et inégalités PAC-Bayésiennes 1 Résumé des épisodes précédents : prévision de la croissance du PIB Introduction et notations Application à la prévision de la croissance du PIB 2 Dépendance faible et inégalités PAC-Bayésiennes Estimateur de Gibbs / minimisation du risque empirique Bornes PAC-Bayésiennes Exemples Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 3. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Contexte Soit (Xt )t∈Z un processus stationnaire à valeurs dans Rm . On observe (X1 , ..., Xn ). But : apprendre à prédire le processus. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 4. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Contexte Soit (Xt )t∈Z un processus stationnaire à valeurs dans Rm . On observe (X1 , ..., Xn ). But : apprendre à prédire le processus. On se donne une famille de prédicteurs (experts) : F ⊂ f : (Rm )k → Rm mesurables . Définition ˆ Pour tout f ∈ F, Xtf := f (Xt−1 , . . . , Xt−k ). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 5. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Familles classiques de prédicteurs Définition ˆ Pour tout f ∈ F, Xtf = f (Xt−1 , . . . , Xt−k ). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 6. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Familles classiques de prédicteurs Définition ˆ Pour tout f ∈ F, Xtf = f (Xt−1 , . . . , Xt−k ). Prédicteurs AR(k) : k ˆ Xtf = θ0 + θi Xt−i . i=1 Modèle additif non paramétrique, pour une base (ϕj )∞ , j=1 k ∞ ˆ Xtf = θi,j ϕj (Xt−i ). i=1 j=1 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 7. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Fonction de perte & risque ˆ Soit une fonction de perte : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Définition - le risque R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 8. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Fonction de perte & risque ˆ Soit une fonction de perte : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Définition - le risque R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . On peut l’estimer par Définition - le risque empirique rn 1 n ˆ Pour tout f ∈ F, rn (f ) := n−k t=k+1 Xtf , Xt . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 9. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Le problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 10. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Le problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : 1 le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 11. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Le problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : 1 le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1. 2 les enquêtes de conjoncture, mensuelles, de l’INSEE. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 12. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Le problème de la prévision de la croissance But : lors du 3ème mois du trimestre t, annoncer quelle sera la croissance ∆GDPt lors de ce trimestre. Information disponible : 1 le passé : ∆GDPt−1 , ..., ∆GDP1 , date 1 : 1988-T1. 2 les enquêtes de conjoncture, mensuelles, de l’INSEE. 3 toute autre information quantitative ou qualitative. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 13. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Les enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 14. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Les enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : 1 proviennent directement des agents qui font vivre l’économie. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 15. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Les enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : 1 proviennent directement des agents qui font vivre l’économie. 2 sont disponibles quasiment en temps réel (lors du troisième mois du trimestre, on connaît les résultats pour les deux premiers mois). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 16. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Les enquêtes de conjoncture Il s’agit de questionnaires mensuels envoyés aux plus grandes entreprises françaises, et à un échantillon d’entreprises plus petites. Ces données : 1 proviennent directement des agents qui font vivre l’économie. 2 sont disponibles quasiment en temps réel (lors du troisième mois du trimestre, on connaît les résultats pour les deux premiers mois). → les résultats sont synthétisés par l’INSEE dans l’indicateur de climat, disons It−1 . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 17. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Résultats connus La famille de prédicteurs f ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 | a été utilisée par Cornec (CIRET conference, 2010). On obtient : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 18. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Résultats connus La famille de prédicteurs f ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 | a été utilisée par Cornec (CIRET conference, 2010). On obtient : 1 des prévisions globalement aussi précises que celles de l’INSEE. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 19. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Résultats connus La famille de prédicteurs f ∆GDPt = α + β∆GDPt−1 + γIt−1 + δ(It−1 − It−2 )|It−1 − It−2 | a été utilisée par Cornec (CIRET conference, 2010). On obtient : 1 des prévisions globalement aussi précises que celles de l’INSEE. 2 des prévisions d’autant moins précises que la conjoncture est mauvaise. → nécessité de donner un intervalle de confiance ou une indication de précision. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 20. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Résultats : prévision Prévisions en utilisant la fa- mille de prédicteurs de Cor- nec et la fonction de perte (x, x ) = |x − x |. Prédicteur : ˆ f ∈ arg min rn (f ). f ∈F Les performances moyennes sont voisines de celles obte- nues par l’INSEE. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 21. Introduction : problème de la prévision Introduction et notations Dépendance faible et inégalités PAC-Bayésiennes Application à la prévision de la croissance du PIB Résultats : intervalles de confiance Intervalles de confiance en utilisant la fonction de perte quantile de Koenker : (x, x ) = (x−x )(τ −1(x−x < 0)). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 22. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples 1 Résumé des épisodes précédents : prévision de la croissance du PIB Introduction et notations Application à la prévision de la croissance du PIB 2 Dépendance faible et inégalités PAC-Bayésiennes Estimateur de Gibbs / minimisation du risque empirique Bornes PAC-Bayésiennes Exemples Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 23. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Et en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 24. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Et en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Justifié par la théorie des processus ARMA si on suppose que la croissance du PIB est un processus ARMA ( ). Il reste deux possibilités : Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 25. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Et en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Justifié par la théorie des processus ARMA si on suppose que la croissance du PIB est un processus ARMA ( ). Il reste deux possibilités : 1 “Je n’ai pas besoin de théorie, ça marche en pratique ! La théorie produit des choses optimales en théorie mais qui ne marchent pas en pratique.” Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 26. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Et en théorie ? On a utilisé ˆ f = arg min rn (f ) f ∈F mais il n’y a pas, a priori, de théorie pour justifier une telle méthode ! Justifié par la théorie des processus ARMA si on suppose que la croissance du PIB est un processus ARMA ( ). Il reste deux possibilités : 1 “Je n’ai pas besoin de théorie, ça marche en pratique ! La théorie produit des choses optimales en théorie mais qui ne marchent pas en pratique.” 2 Y si ça marche en pratique, la théorie doit pouvoir dire quelque chose dessus ! Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 27. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Fonction de perte risque (suite) ˆ Rappel : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Rappel - le risque de prévision R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 28. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Fonction de perte risque (suite) ˆ Rappel : (Xtf , Xt ) ≥ 0 mesure l’erreur commise par le prédicteur f à la date t. Rappel - le risque de prévision R Pour tout f ∈ F, R(f ) := E ˆ Xtf , Xt . ˆ Pour tout estimateur f , ˆ ˆ R(f ) = inf R +[R(f ) − inf R ]. F F “biais” “variance” Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 29. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Estimateur de Gibbs - minimisation de rn Définition - min. du risque empirique On pose ˆ f = arg min rn (f ). f ∈F Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 30. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Estimateur de Gibbs - minimisation de rn Définition - min. du risque empirique On pose ˆ f = arg min rn (f ). f ∈F Soit π une loi a priori sur l’ensemble F. ˆ Définition - l’estimateur de Gibbs fλ On pose ˆ fe −λrn (f ) π(df ) fλ = =: f π−λrn (df ). e −λrn (f ) π(df ) Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 31. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Hypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 32. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Hypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. 2 (x, x ) = g (x − x ) avec g convexe et L-Lipshitz. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 33. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Hypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. 2 (x, x ) = g (x − x ) avec g convexe et L-Lipshitz. 3 Pour tout f ∈ F, k f (x1 , . . . , xk ) − f (x1 , . . . , xk ) ≤ aj (f ) xj − xj , j=1 k aj (f ) ≤ K . j=1 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 34. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Hypothèses 1 Le processus (Xt ) est borné p.s., P( Xt ≤ B) = 1. 2 (x, x ) = g (x − x ) avec g convexe et L-Lipshitz. 3 Pour tout f ∈ F, k f (x1 , . . . , xk ) − f (x1 , . . . , xk ) ≤ aj (f ) xj − xj , j=1 k aj (f ) ≤ K . j=1 4 k ≤ n/2. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 35. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Inégalité PAC-Bayésienne pour la prédiction Théorème Sous les hypothèses précédentes, pour tout ε ∈]0, 1[, pour tout λ 0, 2 ˆ λκ2 K(ρ, π) + log P R(fλ ) ≤ inf Rdρ + n + ε ρ n λ ≥ 1 − ε. √ κn = 2K (1 + L)(B + θ∞,n (1)). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 36. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Coefficient de θ-dépendance faible Introduits par Doukhan et Louhichi (SPA, 1999). Soit Fi = σ(Xt , t ≤ i). Pour i j1 · · · j on pose θp (Fi , (Xj1 , . . . , Xjp )) := sup E [g (Xj1 , . . . , Xj )|Fi ] − E [g (Xj1 , . . . , Xj )] p . g 1-Lipshitz Enfin, θp,r (k) := max sup θp (Fi , (Xj1 , . . . , Xjp ))). ≤r i+k≤j1 j2 ···j Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 37. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Exemples de calculs de coefficients θ Tout processus Xt = F (ξt , ξt−1 , ξt−2 , . . . ) avec les ξi iid et bornés par b, et ∞ F (x1 , x2 , . . . ) − F (x1 , x2 , . . . ) ≤ aj xj − xj j=1 vérifie : ∞ θ∞,n (1) ≤ 2b jaj . j=1 Inclut par exemple : Xt = G (ξt , Xt−1 ) = G (ξt , G (ξt−1 , Xt−2 )) = · · · = H(ξt , ξt−1 , . . . ). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 38. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Rappel Théorème Sous les hypothèses précédentes, pour tout ε ∈]0, 1[, pour tout λ 0, 2 ˆ 2λκ2 n K(ρ, π) + log ε P R(fλ ) ≤ inf Rdρ + +2 ρ n λ ≥ 1 − ε. √ κn = 2K (1 + L)(B + θ∞,n (1)). Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 39. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Cas où card(F) = M ∞ (1/2) Si π uniforme, 2 ˆ 2λκ2 n K(ρ, π) + log ε R(fλ ) ≤ inf Rdρ + +2 ρ n λ 2 2λκ2 n log(M) + log ε ≤ inf R(f ) + +2 f ∈F n λ Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 40. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Cas où card(F) = M ∞ (1/2) Si π uniforme, 2 ˆ 2λκ2 n K(ρ, π) + log ε R(fλ ) ≤ inf Rdρ + +2 ρ n λ 2 2λκ2 n log(M) + log ε ≤ inf R(f ) + +2 f ∈F n λ et λ = n log(M)/κn ( ) conduit à Théorème ˆ 2 log(M) 2κn log 2 ε R(fλ ) ≤ inf R + 2κn + . F n n log(M) Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 41. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Cas où card(F) = M ∞ (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 42. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Cas où card(F) = M ∞ (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Théorème Pour un c 0 connu, ˆ log(M) c.κn log 2ε R(f ) ≤ inf R + c.κn + . F n n log(M) Gros avantage : ne nécessite pas la connaissance de κn . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 43. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Cas des prédicteurs AR (1/2) On se restreint à Xt ∈ R et, pour f ∈ F, k f (Xt−1 , ..., Xt−k ) = θj Xt−j j=1 avec θ 1 ≤ L. Cette fois, on prend π uniforme. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 44. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Cas des prédicteurs AR (1/2) On se restreint à Xt ∈ R et, pour f ∈ F, k f (Xt−1 , ..., Xt−k ) = θj Xt−j j=1 avec θ 1 ≤ L. Cette fois, on prend π uniforme. Un calcul similaire quoique plus moche et le choix √ λ = kn/κn ( ) conduisent à : Théorème 2 ˆ k e 2 LB n 2κn log ε R(fλ ) ≤ inf R + 2κn log + √ . F n κn k nk Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 45. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Cas des prédicteurs AR (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 46. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Cas des prédicteurs AR (2/2) ˆ Et pour le minimiseur du risque empirique f ? Un calcul similaire conduit à Théorème Pour un c 0 connu, 2 ˆ k c.κn log ε R(f ) ≤ inf R + c.κn log(n) + √ . F n nk Gros avantage : ne nécessite pas la connaissance de κn . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 47. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Cas général On peut introduire une mesure de la complexité de l’ensemble de prédicteurs F, en fait : 1 log 1 π{θ:R(θ)−inf F R≤ λ } C(F, π) := sup . λc log(λ) Le résultat est alors : Théorème Pour une constante c 0 connue et λ C(F, π)n/κn , ˆ  R(fλ )  log( 1 ) C(F, π) inf R + c. log(n) + c. √ ε . ˆ F n n R(f )  Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 48. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Sélection de modèles (1/3) Soient M familles de prédicteurs F1 , ..., FM . Par exemple, F1 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 F2 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 + θ1 Xt−2 . . . . . . k Fk : f (Xt−1 , ..., Xt−k ) = θj Xt−j j=1 Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 49. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Sélection de modèles (1/3) Soient M familles de prédicteurs F1 , ..., FM . Par exemple, F1 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 C(F1 , π1 ) 1 F2 : f (Xt−1 , ..., Xt−k ) = θ1 Xt−1 + θ1 Xt−2 C(F2 , π2 ) 2 . . . . . . . . . k Fk : f (Xt−1 , ..., Xt−k ) = θj Xt−j C(Fk , πk ) k j=1 On fixe des lois a priori dans chaque famille de prédicteurs : π1 , . . . , π M . Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 50. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Sélection de modèles (2/3) On choisit M p1 , . . . , pM ≥ 0 avec pi = 1. i=1 On pose M π= pi πi . i=1 Rappel e −λrn (f ) π(df ) π−λrn (df ) = e −λrn (g ) π(dg ) Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 51. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Sélection de modèles (3/3) Définition ˆ λκ2 K(π−λrn , π) + log(|Λ|/ε) n λ = arg min rn dπ−λrn + + λ∈Λ n λ sur une grille finie Λ bien choisie. Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 52. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples Sélection de modèles (3/3) Définition ˆ λκ2 K(π−λrn , π) + log(|Λ|/ε) n λ = arg min rn dπ−λrn + + λ∈Λ n λ sur une grille finie Λ bien choisie. Théorème ˆˆ R(fλ )  2 log(n)  C(Fj , πj ) log εpj ≤ inf inf R + c. log(n) + c. . 1≤j≤M Fj n C(Fj , πj )n Pierre Alquier Prévision de séries temporelles faiblement dépendantes
  • 53. Estimateur de Gibbs / minimisation du risque empirique Introduction : problème de la prévision Bornes PAC-Bayésiennes Dépendance faible et inégalités PAC-Bayésiennes Exemples The end Merci ! Pierre Alquier Prévision de séries temporelles faiblement dépendantes