Polynomial Regression on Riemannian Manifolds, report, 2012

415 vues

Publié le

D’un point de vue général, la méthode statistique de régression consiste à estimer la relation mathématique entre un ensemble de variables, appelées variables explicatives ou descriptives ou indépendantes, et une variable observée ou mesurée. On cherche donc à déterminer, parmi une certaine classe de fonctions, la fonction qui décrive de façon optimale (en un certain sens) cette relation. La régression polynomiale consiste à estimer la relation entre variables explicatives et données observées à l’aide d’une fonction polynomiale de degré fixé k. Le nombre de paramètres inconnus est alors k + 1 et ils sont le plus souvent estimés en minimisant un critère des moindres carrés, qui est le carré de la distance euclidienne entre les valeurs observées et les valeurs prédites par le modèle polynomial. L’un des problèmes à résoudre dans ce contexte est évidemment le choix du degré du polynôme.

Publié dans : Technologie
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
415
Sur SlideShare
0
Issues des intégrations
0
Intégrations
94
Actions
Partages
0
Téléchargements
5
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Polynomial Regression on Riemannian Manifolds, report, 2012

  1. 1. R´gression polynomiale sur une vari´t´ riemannienne e ee Florent Renucci et Albert Thomas Dans cet article, les auteurs d´veloppent une m´thodologie qui g´n´ralise aux vari´t´s riemane e e e ee niennes les m´thodes classiques de r´gression polynomiale param´trique dans un espace euclidien. e e e 1 Introduction D’un point de vue g´n´ral, la m´thode statistique de r´gression consiste ` estimer la relation e e e e a math´matique entre un ensemble de variables, appel´es variables explicatives ou descriptives ou e e ind´pendantes, et une variable observ´e ou mesur´e. On cherche donc ` d´terminer, parmi une e e e a e certaine classe de fonctions, la fonction qui d´crive de fa¸on optimale (en un certain sens) cette e c relation. La r´gression polynomiale consiste ` estimer la relation entre variables explicatives et e a donn´es observ´es ` l’aide d’une fonction polynomiale de degr´ fix´ k. Le nombre de param`tres e e a e e e inconnus est alors k + 1 et ils sont le plus souvent estim´s en minimisant un crit`re des moindres e e carr´s, qui est le carr´ de la distance euclidienne entre les valeurs observ´es et les valeurs pr´dites e e e e par le mod`le polynomial. L’un des probl`mes ` r´soudre dans ce contexte est ´videmment le choix e e a e e du degr´ du polynˆme. e o Dans cet article, les auteurs se limitent ` une seule variable explicative, qui est une variable de a temps t ∈ [0, T ]. 2 Polynˆmes riemanniens o 2.1 D´finition e Afin de d´finir des fonctions polynomiales dont les valeurs appartiennent ` une vari´t´ riemae a ee nienne (M, g) donn´e, les auteurs partent de la constatation qu’une fonction polynomiale euclie dienne f : [0, T ] → Rn , de degr´ k, est enti`rement d´termin´e par e e e e k+1 1. La condition f˙ (t) = 0. 2. La donn´e de (k + 1) conditions initiales : f (0), f˙(0), . . . , f˙k (0), e ˙(t), . . . , f˙k (t) ∈ Rn d´signent les d´riv´es successives de f par rapport ` t. Par analogie, une o` f u e e e a fonction polynomiale riemannienne γ de degr´ k est d´finie comme suit. Une fonction γ : [0, T ] → M e e de classe C k est une courbe de classe C k . On sait donc d´finir pour tout t le vecteur tangent γ(t), e ˙ qui est un ´l´ment de l’espace tangent Tγ(t) M . L’application t → (γ(t), γ(t)) d´finit un champ de ee ˙ e vecteurs C k−1 sur M , le long de la courbe γ. Puisque M est une vari´t´ riemannienne, on la munit ee de l’unique connexion compatible avec la m´trique g et de torsion nulle, ce qui permet de d´finir e e les d´riv´es covariantes successives du champ de vecteurs γ le long de γ. Le polynˆme riemannien e e ˙ o γ sera ainsi d´fini par e 1. La condition ( γ) ˙ (k) γ(t) = 0 ˙ 2. La donn´e de (k + 1) conditions initiales : γ(0), γ(0), e ˙ o` ( u (i) ˙ γ ) γ(t) ˙ γ γ(0), . . . , ( ˙ ˙ (k−1) γ(0), ˙ γ) ˙ ∈ Tγ(t) M d´signe la ie d´riv´e covariante du champ γ(t) par rapport ` γ. e e e ˙ a ˙ 1
  2. 2. 2.2 Calcul : la m´thode d’Euler e En g´n´ral le polynˆme riemannien ainsi d´fini n’a pas d’expression explicite et doit ˆtre e e o e e calcul´ num´riquement. Les auteurs font appel ` la m´thode d’int´gration d’Euler en l’adaptant e e a e e au contexte riemannien. Pour utiliser la m´thode d’Euler dans le cas euclidien, on commence par se ramener ` un e a syst`me diff´rentiel d’ordre 1 en introduisant des fonctions auxiliaires uj : [0, T ] → Rn (i = e e 1, . . . , k), et en ´crivant l’´quation f˙k+1 (t) = 0 sous la forme e e   f˙(t) = u1 (t)     u1 (t) = u2 (t)  ˙  . (1) . .   u   ˙ k−1 (t) = uk (t)   uk (t) = 0 ˙ avec les conditions initiales f (0), u1 (0), . . . , uk (0). On choisit ensuite un pas de temps τ = T /n et on ˜ calcule de proche en proche une approximation f de f aux points du maillage {0, τ, . . . , (n−1)τ, T }, ˜(0) = f (0), u1 (0) = u1 (0), . . . , uk−1 (0) = uk−1 (0), uk (0). A la le en partant des valeurs initiales f ˜ ˜ ´tape (l = 1, . . . , n), on effectue les calculs suivants e  ˜ ˜ ˜  f (lτ ) = f ((l − 1)τ ) + τ u1 ((l − 1)τ )     u1 (lτ ) = u1 ((l − 1)τ ) + τ u2 ((l − 1)τ ) ˜ ˜ ˜    . (2) . .   u  ˜ ˜  ˜k−1 (lτ ) = uk−1 ((l − 1)τ ) + τ uk ((l − 1)τ )   uk (lτ ) = uk ((l − 1)τ ). Interpr´tons ce sch´ma d’int´gration d’un point de vue riemannien, en distinguant la vari´t´ e e e ee Rn et les espaces tangents Tp Rn en chaque point p ∈ Rn . On consid`re f (t) comme un point de e ˜ la vari´t´ Rn , et les vecteurs uj (t) comme des vecteurs de l’espace tangent Tf (t) Rn ` la vari´t´ ee ˜ a ee ˜ n ˜(t). La le ´tape de la m´thode d’Euler s’interpr`te alors de la mani`re suivante : R au point f e e e e pour j = 1, . . . , k − 1, le vecteur uj ((l − 1)τ ) est incr´ment´ de τ uj+1 ((l − 1)τ ) (ces 2 vecteurs ˜ e e ˜ appartiennent au mˆme espace tangent Tf ((l−1)τ ) Rn ) puis ”transport´” par translation au point e e ˜ ˜ ˜ f (jτ ) de Rn ; le vecteur uk est constant, et donc ”transport´” sans incr´mentation. Le point f (lτ ) e e est obtenu en parcourant la distance τ u1 ((l − 1)τ ) le long de la demi-droite issue du point ˜ f ((l − 1)τ ) et de vecteur directeur u1 ((l − 1)τ ), et en remarquant que cette droite est l’unique ˜ ˜ g´od´sique issue de f ((l − 1)τ ) et de vecteur tangent u1 ((l − 1)τ ) en ce point. On peut encore e e ˜ ˜ exprimer ce point de vue en disant que f (lτ ) est l’image par l’application exponentielle au point ˜ f ((l − 1)τ ) du vecteur τ u1 ((l − 1)τ )). ˜ La m´thode d’Euler pour int´grer l’´quation diff´rentielle covariante ( γ )(k) γ(t) = 0 se d´duire e e e e ˙ e ˙ par analogie du cas euclidien. Pour se ramener ` un syst`me diff´rentiel d’ordre 1, on introduit a e e ˙ k champs de vecteurs auxiliaires v1 (t), . . . , vk (t) ∈ Tγ(t) et on exprime l’´quation ( γ )(k) γ(t) = 0 e ˙ sous la forme   γ(t) = v1 (t) ˙    γ v1 (t) = v2 (t)   ˙  . . (3) .    γ vk−1 (t) = vk (t)   ˙   γ vk (t) = 0 ˙ avec les conditions initiales γ(0), v1 (0), . . . , vk (0). 2
  3. 3. L’utilisation de la d´rivation covariante par rapport ` γ garantit que les vecteurs vj (t) ape a ˙ partiennent au mˆme espace tangent Tγ(t) M ` la vari´t´ M au point γ(t), et que les champs e a ee t → (γ(t), vj (t)) sont des champs de vecteurs le long de la courbe γ. En notant γ (t) et vj (t) ˜ ˜ les approximations respectives de γ et vj (t) fournies par le sch´ma d’int´gration, l’analogue du e e transport par translation des vecteurs uj ((l − 1)τ ) du point γ ((l − 1)τ ) au point γ (lτ ) sera le ˜ ˜ ˜ transport parall`le des vecteurs vj ((l − 1)τ ) du point γ ((l − 1)τ ) au point γ (lτ ) le long de la e ˜ ˜ ˜ g´od´sique joignant ces deux points. Le point γ (lτ ) sera obtenu comme l’image par l’application e e ˜ exponentielle au point γ ((l − 1)τ ) du vecteur τ v1 ((l − 1)τ ). La le ´tape (l = 1, . . . , n) de la m´thode ˜ e e d’Euler adapt´e au cadre riemannien comporte donc les calculs suivants, en partant des valeurs e γ (0) = γ(0), v1 (0) = v1 (0), . . . , vk−1 (0) = vk−1 (0), vk (0), ˜ ˜ ˜  ˜  γ (lτ ) = expγ ((l−1)τ ) (τ v1 ((l − 1)τ )) ˜ ˜   ˜  v1 (lτ ) = TransportParall`leγ ((l−1)τ )→˜ (lτ ) [˜1 ((l − 1)τ ) + τ v2 ((l − 1)τ )] e ˜ v ˜  γ   . . (4) .    vk−1 (lτ ) = TransportParall`le ˜ e γ ((l−1)τ )→˜ (lτ ) [˜k−1 ((l − 1)τ ) + τ vk ((l − 1)τ )] v ˜ ˜ γ     v (lτ ) = TransportParall`le e γ ((l−1)τ )→˜ (lτ ) [vk ((l − 1)τ )]. k ˜ γ 2.3 Exemple : int´gration sur S n e Consid´rons comme exemple de vari´t´ riemannienne la sph`re S n ⊂ Rn+1 de rayon 1, munie de e ee e la m´trique g induite par la m´trique euclidienne de Rn+1 . On a vu dans le paragraphe ci-dessus e e que les deux ingr´dients n´cessaires pour calculer un polynˆme riemannien sont : l’application e e o exponentielle et le transport parall`le le long des g´od´siques. e e e Pour trouver l’´quation de la g´od´sique t → c(t) issue du point x et de vecteur tangent ` e e e a l’origine v = 0, on peut partir de la caract´risation c c = 0, avec les conditions initiales c(0) = x e ˙˙ et c(0) = v. S n ´tant une sous-vari´t´ de Rn+1 munie de la m´trique induite par la m´trique ˙ e ee e e euclidienne, la d´riv´e covariante sur la sph`re est ´gale ` la d´riv´e (usuelle) dans Rn+1 projet´e e e e e a e e e sur l’espace tangent ` la sph`re, qui est l’hyperplan orthogonal au rayon. L’´quation c c = 0 est a e e ˙˙ donc ´quivalente ` e a c − c, c c = 0 ¨ ¨ (5) avec c(0) = x et c(0) = v. On v´rifie que la fonction d´finit par ˙ e e c(t) = cos(t v )x + sin(t v ) v v (6) est la solution de cette ´quation, et donc la g´od´sique cherch´e. e e e e D´terminons ` pr´sent les ´quations du transport parall`le le long de la g´od´sique c(t). e a e e e e e L’´quation de la g´od´sique montre que, pour tout t, les vecteurs c(t) et c(t) restent dans le e e e ˙ plan vectoriel engendr´ par les vecteurs x et v. De plus, c(t) est de norme 1 et c(t) est de e ˙ norme constante ´gale ` v . On peut donc choisir une base orthonorm´e de Rn+1 de la forme e a e ˙ u {c(t), |c(t) , e3 , . . . , en+1 } o` les vecteurs e3 , . . . , en+1 sont constants. Soit t → (c(t), X(t)) un champ v de vecteurs le long de c(t). L’´quation du transport parall`le le long de c(t) est c X(t) = 0. Sur e e ˙ la base choisie, on a au temps t X(t) = a2 (t) c(t) ˙ + v n+1 ak (t)ek , (7) k=3 la composante sur c(t) ´tant nulle puisque X(t) est dans l’espace tangent ` la sph`re, donc orthoe a e gonal ` c(t). La d´riv´e en t est a e e 3
  4. 4. c(t) ˙ c(t) ¨ ˙ X(t) = a2 (t) ˙ + a2 (t) + v v = a2 (t) ˙ n+1 ak (t)ek ˙ k=3 c(t) ˙ − a2 (t) v c(t) + v n+1 ak (t)ek , ˙ k=3 et sa projection sur l’espace tangent est donc c(t) ˙ + ˙ c X(t) = a2 (t) ˙ v n+1 ak (t)ek ˙ (8) k=3 L’´quation du transport parall`le le long de c(t) est donc ´quivalente ` a1 (t) = 0 et ak (t) = e e e a ˙ ak (0) pour k = 2, . . . , n + 1. Si l’on d´compose X(t) sous la forme X(t) = X c (t) + X ⊥ (t) avec e n+1 c(t) ˙ ⊥ ⊥ c ˙ e X (t) = a2 (0) v et X (t) = k=3 ak (0)ek , on voit donc que X (t) est inchang´ par transport ˙ parall`le, et que X c (t) est transform´ comme c(t). e e ˙ Par d´finition de l’application exponentielle et compte tenu de l’´quation de la g´od´sique issue e e e e du point x et de vecteur tangent ` l’origine v, on a a expx (v) = c(1) = cos( v )x + sin( v ) 3 3.1 v . v Estimation des param`tres de la r´gression polynomiale e e Th´orie e Supposons que l’on dispose de N observations y1 , . . . , yN ∈ M effectu´es au temps respectifs e t1 , . . . , tN , et que l’on veuille ajuster ` ces donn´es un polynˆme (riemannien) γ de degr´ k. a e o e Cela revient ` d´terminer les (k + 1) conditions initiales γ(0), γ(0), γ γ(0), . . . , ( γ )k−1 γ(0) pour a e ˙ ˙ ˙ ˙ ˙ minimiser le crit`re des moindres carr´s riemannien : e e 1 N N dM (γ(ti ), yi )2 (9) i=1 o` dM est la distance riemannienne sur M induite par la m´trique g. On peut ´crire ce probl`me u e e e sous la forme : minimiser la fonction E0 (γ(0), v1 (0), . . . , vk (0)) = sous les contraintes 1 N N dM (γ(ti ), yi )2 (10) i=1   γ(t) = v1 (t) ˙    γ v1 (t) = v2 (t)  ˙   . . .    γ vk−1 (t) = vk (t)  ˙    γ vk (t) = 0. ˙ (11) Pour se ramener ` un probl`me d’optimisation sans contrainte, les auteurs utilisent la m´thode a e e des multiplicateurs de Lagrange en introduisant des champs de vecteurs λj ∈ T M j = 1, . . . , k et en minimisant le Lagrangien ` l’aide de la m´thode des variations. a e 4
  5. 5. 3.2 Coefficient de d´termination pour les r´gressions dans les espaces e e m´triques e Pour ´valuer la qualit´ de l’ajustement du mod`le aux observations, les auteurs proposent de e e e calculer un coefficient R2 , d´fini par analogie avec la r´gression dans un espace euclidien. e e La variance totale correspond ` l’´cart quadratique des observations par rapport ` la moyenne a e a de Fr´chet, c’est-`-dire ` la valeur pr´dite par un polynˆme constant (de degr´ 0) : e a a e o e V ar({yi }) = 1 min ¯ N y∈M N dM (yi , y )2 . ¯ i=1 Pour un polynˆme γ, la somme des carr´s des ´carts (SSE) est o e e SSE = 1 N N dM (yi , γ(ti ))2 . i=1 Le coefficient R2 est alors d´fini par e R2 = 1 − SSE . V ar({yi }) Ce coefficient est compris entre 0 et 1. Il est d’autant plus grand que l’ajustement par γ est meilleur que l’ajustement par la moyenne de Fr´chet. e 4 Exemples Les auteurs pr´sentent plusieurs applications. e 1. La sph`re S n , pour laquelle les ´quations sont simplifi´es du fait que S n est une sous-vari´t´ e e e ee de l’espace euclidien Rn+1 . 2. Le groupe de Lie SO(3) (ensemble des matrices (3, 3) orthogonales). Dans ce cas, la structure de groupe et le choix d’une m´trique invariante ` gauche permettent d’identifier l’espace tane a gent en un point ` l’alg`bre de Lie du groupe (l’ensemble des matrices (3, 3) antisym´triques). a e e 3. Deux applications dans l’espace des formes de Kendall, l’une au d´veloppement du crˆne e a chez le rat, l’autre au processus de vieillissement du corps calleux dans l’esp`ce humaine. e 5 Discussion La m´thodologie d´velopp´e dans cet article apporte une grande flexibilit´ dans le choix des e e e e fonctions de r´gressions sur des vari´t´s riemannienne. Les deux applications aux donn´es de la e ee e croissance du crˆne chez le rat et du vieillissement du corps calleux illustrent bien l’int´rˆt de cette a ee flexibilit´ accrue. e Du point de vue num´rique, les auteurs n’abordent pas la question des performances de la e m´thode d’int´gration d’Euler, en particulier ils ne donnent pas d’indication sur le choix du pas e e de temps. On sait d’autre part que l’algorithme du gradient, utilis´ pour estimer les param`tres, e e ne pr´sente pas de bonnes performances pr`s du minimum. On peut aussi s’interroger sur le e e conditionnement num´rique du probl`me lorsque le degr´ du polynˆme augmente. En effet, dans e e e o le cadre euclidien, on sait que l’utilisation de la base {1, X, . . . , X k } dans l’espace des polynˆmes o de degr´ k conduit, lorsque k augmente, ` des difficult´s num´riques. e a e e Du point de vue statistique, le probl`me du choix du degr´ optimal du polynˆme est peu e e o envisag´. En effet, les auteurs traitent le coefficient R2 comme une quantit´ d´terministe et ne e e e discutent pas le caract`re significatif de l’augmentation de ce coefficient lorsqu’on augmente le e degr´ du polynˆme γ. Une m´thode de validation-crois´e aurait aussi pu ˆtre envisag´e. e o e e e e 5

×