Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)

Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Analyse de données fonctionnelles par
Machines à Vecteurs de Support (SVM)
Nathalie Villa-Vialaneix
http://www.nathalievilla.org
En collaboration avec Fabrice Rossi (INRIA Rocquencourt)
Institut de Mathématiques de Toulouse, France -
nathalie.villa@math.ups-tlse.fr
Limoges, Séminaire CANSO, 23 novembre 2007
Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges

References
Sommaire
1 Analyse des données fonctionnelles
Exemples
Contexte mathématique
Problématique
2 Une petite introduction aux SVM
3 SVM pour données fonctionnelles
Approche par projection
Approche par splines d’interpolation

References
Exemples
Problématique
Sommaire
Exemples
Problématique

References
Exemples
Problématique
Quelques exemples d’applications rencontrées en
FDA
Analyse de données spectrométriques
0 20 40 60 80 100
2345
Absorbance

References
Exemples
Problématique
FDA
Reconnaissance vocale
0 2000 4000 6000 8000
−1.0−0.50.00.51.0
Frequences
Boat
Goat

References
Exemples
Problématique
FDA
Analyse de puces à ADN

References
Exemples
Problématique
FDA
Séries temporelles

References
Exemples
Problématique
Formalisation mathématique
Le cadre
X ∈ (H, ., ) où (H, ., ) est un espace de Hilbert (variable
explicative) ;

References
Exemples
Problématique
Le cadre
explicative) ;
Y ∈ {−1, 1} Classiﬁcation

References
Exemples
Problématique
Le cadre
explicative) ;
ou Y ∈ R Régression (variable dépendante) ;

References
Exemples
Problématique
Le cadre
explicative) ;
On cherche à prédire Y à partir de X.

References
Exemples
Problématique
Le cadre
explicative) ;
Pour cela, on dispose d’un ensemble d’apprentissage
(x1, y1), . . . , (xn, yn) tel que
xi = (xi(t1), . . . , xi(td)) ;
(xi, yi) sont des réalisations du couple (X, Y).

References
Exemples
Problématique
Le cadre
explicative) ;
Pour cela, on dispose d’un ensemble d’apprentissage
(x1, y1), . . . , (xn, yn) tel que
xi = (xi(t1), . . . , xi(td)) ;
(xi, yi) sont des réalisations du couple (X, Y).
Objectif : Construire un prédicteur, ϕ(X), à partir des
observations, tel que E E Y, ϕ(X) soit petit où E est une
fonction d’erreur que l’on se ﬁxe.

References
Exemples
Problématique
Un exemple simple des problèmes posés par ce
contexte
Modèle linéaire
Y = a, X +
tq Y ∈ R, a ∈ H est inconnu (à estimer), est une variable
aléatoire centrée indépendante de X.

References
Exemples
Problématique
contexte
Modèle linéaire
Y = a, X +
Ici, ϕ = ., a est complètement connu si a est connu.

References
Exemples
Problématique
contexte
Modèle linéaire
Y = a, X +
Ici, ϕ = ., a est complètement connu si a est connu.
Le a∗ optimal pour la prédiction, au sens des moindres carrés,
est :
a∗
:= arg min
a∈H
E ( a, X − Y)2
= Var(X)−1
Cov(X, Y)

References
Exemples
Problématique
contexte
Cas H = Rk
: a∗ est estimé par ˆa = Var(X)−1
n Cov(X, Y)n où
Var(X)n = 1
n
n
i=1 xT
i
xi ;
Cov(X, Y)n = 1
n
n
i=1 yixi.

References
Exemples
Problématique
contexte
Cas H = Rk
n Cov(X, Y)n où
Var(X)n = 1
n
n
i=1 xT
i
xi ;
Cov(X, Y)n = 1
n
n
i=1 yixi.
Cas dimH = +∞ : L’opérateur ΓX est de Hilbert Schmidt donc il
n’est pas inversible (ie : n’a pas d’inverse continu) ⇒ l’estimation
empirique est impossible directement !

References
Exemples
Problématique
contexte
Cas H = Rk
n Cov(X, Y)n où
Var(X)n = 1
n
n
i=1 xT
i
xi ;
Cov(X, Y)n = 1
n
n
i=1 yixi.
En pratique, si on travaille avec xi = (xi(t1), . . . , xi(td)), Var(X)n est
mal conditionné ⇒ instabilité de l’estimation.

References
Exemples
Problématique
contexte
Cas H = Rk
n Cov(X, Y)n où
Var(X)n = 1
n
n
i=1 xT
i
xi ;
Cov(X, Y)n = 1
n
n
i=1 yixi.
En pratique, si on travaille avec xi = (xi(t1), . . . , xi(td)), Var(X)n est
mal conditionné ⇒ instabilité de l’estimation.
Solution : Régularisation par pénalisation ⇒ on impose des
conditions de régularité à l’estimateur ˆa (voir [Cardot et al., 1999]).

References
Exemples
Problématique
SVM & Données fonctionnelles
SVM = Machines à Vecteurs de Support ; très populaires depuis
les travaux sur l’apprentissage statistique [Vapnik, 1995].

References
Exemples
Problématique
SVM & Données fonctionnelles
SVM = Machines à Vecteurs de Support ; très populaires depuis
les travaux sur l’apprentissage statistique [Vapnik, 1995].
Deux types de régularisation efﬁcace :
Régularisation par projection : [Rossi and Villa, 2006] ;
Régularisation par dérivation : [Villa and Rossi, 2006] et
preprint en cours de soumission.

References
Discrimination linéaire à marge optimale

References
w
marge : 1
w 2
Vecteur Support

References
w
marge : 1
w 2
Vecteur Support
On cherche w tel que :
minw,b w, w ,
sous les contraintes : yi( w, xi + b) ≥ 1, 1 ≤ i ≤ n.

References
Discrimination linéaire à marge souple

References
w
marge : 1
w 2
Vecteur Support

References
w
marge : 1
w 2
Vecteur Support
minw,b,ξ w, w + C n
i=1 ξi,
sous les contraintes : yi( w, xi + b) ≥ 1 − ξi, 1 ≤ i ≤ n,
ξi ≥ 0, 1 ≤ i ≤ n.

References
Envoyer les données dans un espace de grande
dimension
Espace initial H

References
dimension
Espace initial H Espace image X
Φ (non linéaire)

References
dimension
Espace initial H Espace image X
Φ (non linéaire)
(PC,X) minw,b,ξ w, w + C n
i=1 ξi,
sous les contraintes : yi( w, Φ(xi) + b) ≥ 1 − ξi, 1 ≤ i ≤ n,
ξi ≥ 0, 1 ≤ i ≤ n.

References
Intérêt du non linéaire
Formulation régularisation : (PC,X) ⇔
(Rλ,X) min
f∈X
1
n
n
i=1
max(0, 1 − yif(xi)) + λ f, f X.

References
(Rλ,X) min
f∈X
1
n
n
i=1
max(0, 1 − yif(xi)) + λ f, f X.
Formulation duale : (PC,X) ⇔
(DC,X) maxα
n
i=1 αi − n
i=1
n
j=1 αiαjyiyj Φ(xi), Φ(xj) X,
avec N
i=1 αiyi = 0,
0 ≤ αi ≤ C, 1 ≤ i ≤ n.

References
(Rλ,X) min
f∈X
1
n
n
i=1
max(0, 1 − yif(xi)) + λ f, f X.
Formulation duale : (PC,X) ⇔
(DC,X) maxα
n
i=1 αi − n
i=1
n
j=1 αiαjyiyj Φ(xi), Φ(xj) X,
avec N
i=1 αiyi = 0,
0 ≤ αi ≤ C, 1 ≤ i ≤ n.
Produit scalaire dans X :
∀ u, v ∈ X, K(u, v) = Φ(u), Φ(v) X

References
Sommaire
Exemples
Problématique

References
Noyaux pour FDA
Forme générale
Prétraitement : P : H → D
∀ u, v ∈ H, Q(u, v) = K(P(u), P(v)).

References
Noyaux pour FDA
Forme générale
∀ u, v ∈ H, Q(u, v) = K(P(u), P(v)).
1 Projections : pour VD = Vect {ψ1, . . . , ψD},
P(x) =
D
j=1
x, ψj ψj.

References
Noyaux pour FDA
Forme générale
∀ u, v ∈ H, Q(u, v) = K(P(u), P(v)).
P(x) =
D
j=1
x, ψj ψj.
2 Transformations fonctionnelles : P(x) = Dq
x,. . .

References
Noyaux pour FDA
Forme générale
∀ u, v ∈ H, Q(u, v) = K(P(u), P(v)).
P(x) =
D
j=1
x, ψj ψj.
x,. . .
3 . . .

References
Noyaux pour FDA
Forme générale
∀ u, v ∈ H, Q(u, v) = K(P(u), P(v)).
P(x) =
D
j=1
x, ψj ψj.
x,. . .
3 . . .
avec, par exemple, K(p1, p2) = p1, p2 ou
K(p1, p2) = exp(−γ p1 − p2
2
D). . .

References
Une approche consistante
1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;

References
2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd, C ∈ [0; Cd]

References
partage des données : B1 = (x1, y1), . . . , (xl, yl) et
B2 = (xl+1, yl+1), . . . , (xn, yn) ;

References
B2 = (xl+1, yl+1), . . . , (xn, yn) ;
construction du SVM sur B1 : fa ;

References
B2 = (xl+1, yl+1), . . . , (xn, yn) ;
choix du paramètre optimal sur B2 :
a∗
= arg min
a
Ln−lfa +
λd
√
n − l
avec Ln−lfa = 1
n−l
n
i=l+1 I{fa (xi ) yi }.

References
B2 = (xl+1, yl+1), . . . , (xn, yn) ;
choix du paramètre optimal sur B2 :
a∗
= arg min
a
Ln−lfa +
λd
√
n − l
avec Ln−lfa = 1
n−l
n
i=l+1 I{fa (xi ) yi }.
⇒ On obtient un SVM fn.

References
Hypothèses
Hypothèses sur la distribution de X
(H1) X prend ses valeurs dans un borné de H.

References
Hypothèses
Hypothèses sur les paramètres : ∀ d ≥ 1,
(H2) Jd est un ensemble ﬁni ;
(H3) ∃Kd ∈ Jd tel que : Kd est universel et
∃νd > 0 : N(Kd, ) = O( −νd ) ;
(H4) Cd > 1 ;
(H5) d≥1 |Jd|e−2λ2
d < +∞.

References
Hypothèses
Hypothèses sur les paramètres : ∀ d ≥ 1,
(H2) Jd est un ensemble ﬁni ;
(H3) ∃Kd ∈ Jd tel que : Kd est universel et
∃νd > 0 : N(Kd, ) = O( −νd ) ;
(H4) Cd > 1 ;
(H5) d≥1 |Jd|e−2λ2
d < +∞.
Hypothèses sur la validation
(H6) limn→+∞ l = +∞ ;
(H7) limn→+∞ n − l = +∞ ;
(H8) limn→+∞
l log(n−l)
n−l = 0.

References
Convergence par procédure de validation
Théorème 1 : Consistance universelle
Sous les hypothèses (H1)-(H8), fn est consistant :
Lfn
n→+∞
−−−−−→ L∗
,
où Lfn = P(fn(X) Y) et L∗
= P(f∗
(X) Y) avec
f∗
(x) =
1 si P(Y = 1|X = x) > 1/2,
−1 sinon.

References
Application : reconnaissance vocale
Description des données et méthodes
3 problèmes et pour chaque problème, 100 enregistrements
discrétisés en 8 192 points ;

References
Mise en œuvre de la procédure consistante :
Projection sur une base trigonométrique ;
Partage de la base de données en 50 spectres (apprentissage) /
49 (validation) ;
Performances déterminées par leave-one-out.

References
Mise en œuvre de la procédure consistante :
Projection sur une base trigonométrique ;
Partage de la base de données en 50 spectres (apprentissage) /
49 (validation) ;
Performances déterminées par leave-one-out.
Résultats
Prob. k-nn QDA SVM gau. SVM lin. SVM lin.
(proj) (proj) (direct)
yes/no 10% 7% 10% 19% 58%
boat/goat 21% 35% 8% 29% 46%
sh/ao 16% 19% 12% 25% 47%

References
Limites
Aspects limitants de cette approche :
1 Consistance basée sur une procédure de validation ;
2 Non prise en compte du fait que les fonctions ne sont pas
connues intégralement mais sous la forme d’une
discrétisation ;
3 Aspect très restrictif du pré-traitement des données : on
aimerait pouvoir prendre en compte des dérivées de la
fonction observée.

References
Approche directe pour SVM sur dérivées
X est régulière :
X ∈ H = Hm
= {x : [0; 1] → R : Dm
x existe et Dm
x ∈ L2
} ;

References
X est régulière :
X ∈ H = Hm
= {x : [0; 1] → R : Dm
x existe et Dm
x ∈ L2
} ;
Produit scalaire : H est muni du produit scalaire
f, g H =
[0;1]
Lf(t)Lg(t)dt +
m
j=1
Bj
uBj
v
où
Lx = m
j=1 ajDj
x avec am 0 ;
Bj
sont des conditions limites ;
( j Bj
x et Lx 0) ⇒ x 0.

References
X est régulière :
X ∈ H = Hm
= {x : [0; 1] → R : Dm
x existe et Dm
x ∈ L2
} ;
Produit scalaire : H est muni du produit scalaire
f, g H = Pm
1 (u), Pm
1 (v) m
1 + Pm
0 (u), Pm
0 (v) m
0
où
H0 = {x ∈ H : Lx = 0}
H1 = {x ∈ H : j=1m Bj
x = 0}
Pm
i
est l’opérateur de projection sur Hm
i
.

References
Exemples d’espaces de Sobolev
H1
avec L = I + D et x(0) = 0 (Lx = 0 ⇒ x = ae−t
et
x(0) = a) ;

References
H1
et
x(0) = a) ;
H2
avec L = I + D2
et x(0) = Dx(0) = 0 ;

References
H1
et
x(0) = a) ;
H2
avec L = I + D2
et x(0) = Dx(0) = 0 ;
Hm
(m ≥ 1) avec L = Dm
et Dj
x(0) = 0, ∀ j = 1, . . . , m.
Pour d’autres exemples, voir [Besse and Ramsay, 1986] et
[Berlinet and Thomas-Agnan, 2004].

References
RKHS
H peut être un RKHS
Un RKHS est un espace de fonctions tel que ∃ K : R × R → H :
∀ x ∈ H, x, K(t, .) H = x(t).

References
RKHS
∀ x ∈ H, x, K(t, .) H = x(t).
H1
avec L = I + D et x(0) = 0 est un RKHS de noyau
K(s, t) = e− max(s,t)
sinh(min(s, t));

References
RKHS
∀ x ∈ H, x, K(t, .) H = x(t).
H1
avec L = I + D et x(0) = 0 est un RKHS de noyau
K(s, t) = e− max(s,t)
sinh(min(s, t));
H2
avec L = I + D2
et x(0) = Dx(0) = 0 est un RKHS de noyau
K(s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2

References
Utiliser des splines de lissage pour représenter la
variable explicative
Ici, L = Dm
.
On suppose que les points de discrétisation sont tels que :
d ≥ m − 1
0 ≤ t1 < t2 < . . . < td ≤ 1 ;
les conditions Bj
sont linéairement indépendantes de
h ∈ H → h(tl).

References
Ici, L = Dm
.
Proposition 1 : [Kimeldorf and Wahba, 1971]
Il existe une unique solution au problème de minimisation :
ˆxλ,d
= arg min
h∈H
1
d
d
l=1
(x(tl) − h(tl))2
+ λ
1
0
(h(m)
(t))2
dt.

References
Ici, L = Dm
.
Proposition 1 : [Kimeldorf and Wahba, 1971]
Il existe une unique solution au problème de minimisation :
ˆxλ,d
= arg min
h∈H
1
d
d
l=1
(x(tl) − h(tl))2
+ λ
1
0
(h(m)
(t))2
dt.
De plus, pour tout xi = (xi(t1), . . . , xi(td)),
ˆxλ,d
i
, ˆxλ,d
j H = uT
Mdv
où Md est symétrique déﬁnie positive.

References
Noyau sur dérivées
Notons :
Gd
γ (u, v) = exp −γ u − v 2
Rd
G∞
γ (u, v) = exp −γ u − v 2
L2

References
Noyau sur dérivées
Notons :
Gd
γ (u, v) = exp −γ u − v 2
Rd
G∞
γ (u, v) = exp −γ u − v 2
L2
Principe des SVM différentiels
SVM sur (Dm
xi, (Bj
xi)j)i avec noyau G∞
γ ⊗ Gm
γ
⇔
SVM sur (xi)i avec noyau Gd
γ ◦ M−1/2
d

References
Hypothèses
Hypothèses sur la suite de points de discrétisation
(τd)d≥m est une suite d’ensembles de points de discrétisation
τd = {t1, . . . , td} tels que :
pour tout d ≥ m, t1, . . . , td sont distincts ;
les formes linéaires (Bj
)j sont linéairement indépendantes
de h → h(tl) pour tout l = 1, . . . , d ;
La fonction F, limite pour la norme
u − v ∞ = supt∈[0,1] |u(t) − v(t)| de Fd(t) = 1
d
d
l=1 I{t=tl}(t) est
C∞.

References
Hypothèses
Hypothèses concernant X
X est une variable aléatoire à valeurs dans H telle que X[0, 1]
est un ensemble borné de R.

References
Hypothèses
Hypothèses concernant les paramètres
Le paramètre de régularisation de la spline de lissage est tel
que :
lim
d→+∞
λd = 0 et lim
d→+∞
Sdλ−5/(4m)
d
= 0
avec Sd = Fd − F ∞.
Pour mémoire : La fonction F est la limite pour la norme
u − v ∞ = supt∈[0,1] |u(t) − v(t)| de Fd (t) = 1
d
d
l=1 I{t=tl }(t).
Le paramètre de régularisation du SVM est tel que : pour
tout d ≥ 1, Cn,d = O(n1−βd ) où 0 < βd < 1/d

References
Consistance universelle
Théorème 2 : Consistance universelle
Sous les hypothèses précédentes, le SVM φn,d construit comme
décrit précédemment qui est déﬁni par :
maxα
n
i=1 αi − n
i,j=1 αiαjGd
γ ◦ (Md)−1/2
(xi, xj)
où
[t] n
i=1 αiyi = 0,
0 ≤ αi ≤ Cn,d, 1 ≤ i ≤ n
est universellement consistant ie :
lim
d→+∞
lim
n→+∞
L(φn,d) = L∗

References
Principe de la preuve
Principe de la preuve : Utilise
1 d’une part la consistance des splines par rapport aux
nombres de points d’observations pour montrer que
l’erreur optimale commise en utilisant une discrétisation est
asymptotiquement égale à l’erreur optimale commise en
utilisant la fonction exacte ;
2 d’autre part, la consistance des SVM multidimensionnels
pour montrer que l’erreur commise sur la discrétisation est
asymptotiquement l’erreur optimale commise en utilisant cette
discrétisation.

References
Simulation
Un exemple réel : Courbe spectrométrique
Données divisées aléatoirement en 120 spectres pour
l’apprentissage et 95 spectres pour calculer l’erreur (test) ;
Répétition aléatoire de la division 250 fois ;
Le paramètre λ est choisi par leave-one-out ;
Nous avons utilisé les conditions aux bornes x(0) = 0 et
Dx(0) = 0.

References
Simulation
Un exemple réel : Courbe spectrométrique
Données divisées aléatoirement en 120 spectres pour
l’apprentissage et 95 spectres pour calculer l’erreur (test) ;
Répétition aléatoire de la division 250 fois ;
Le paramètre λ est choisi par leave-one-out ;
Nous avons utilisé les conditions aux bornes x(0) = 0 et
Dx(0) = 0.
Noyau Erreur moyenne Écart type de l’erreur
Linéaire sur discrétisation 3,78 % 2,52 %
Gaussien sur discrétisation 5,97 % 2,76 %
Linéaire fonctionnel 3,12 % 1,71 %
Gaussien fonctionnel 2,77 % 2,07 %
(Différences signiﬁcatives pour un t-test apparié entre SVM sur
discrétisation et SVM fonctionnels).

References
Bilan et ouvertures
Prolongements en cours : Choix de λ, autres fonctionnelles
L,. . .

References
Bilan et ouvertures
Prolongements en cours : Choix de λ, autres fonctionnelles
L,. . .
Le cas de la régression : si Y est réelle ?
⇒ Prise en compte de l’aspect temporel dans la modélisation
de systèmes MISO par SVR :
y(t) = F(x1, . . . , xp) +
où xi = xi(t − k, . . . , t − 1).

References
Bibliographie
Berlinet, A. and Thomas-Agnan, C. (2004).
Reproducing Kernel Hilbert Spaces in Probability and Statistics.
Kluwer Academic Publisher.
Besse, P. and Ramsay, J. (1986).
Principal component analysis of sampled curves.
Psychometrika, 51 :285–311.
Cardot, H., Ferraty, F., and Sarda, P. (1999).
Functional linear model.
Statistics and Probability Letters, 45 :11–22.
Kimeldorf, G. and Wahba, G. (1971).
Some results on Tchebychefﬁan spline functions.
Journal of Mathematical Analysis and Applications, 33(1) :82–95.
Rossi, F. and Villa, N. (2006).
Support vector machine for functional data classiﬁcation.
Neurocomputing, 69(7-9) :730–742.
Vapnik, V. (1995).
The Nature of Statistical Learning Theory.
Springer Verlag, New York.
Villa, N. and Rossi, F. (2006).
Un résultat de consistance pour des SVM fonctionnels par interpolation spline.
Comptes Rendus Mathématique. Académie des Sciences. Paris, 343(8) :555–560.
. . . et merci pour votre invitation et votre attention !

Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)

Similaire à Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM) (20)

Plus de tuxette

Plus de tuxette (20)

Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)