Téléchargé partuxette
451 vues

Discrimination de courbes par SVM

Ce document présente une analyse des données fonctionnelles à travers l'utilisation des machines à vecteurs de support (SVM) et des méthodes d'analyse fonctionnelle (FDA). Il explore les principes des SVM, y compris les noyaux pour FDA, et propose différentes approches méthodologiques comme la projection, les splines d'interpolation, et la régression inverse. Les travaux incluent également des problématiques pratiques et des apports en matière de régularisation et d'extensions des perceptrons pour le traitement de données fonctionnelles.

Intégrer la présentation

Télécharger pour lire hors ligne
SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination de courbes par SVM Nathalie Villa-Vialaneix Équipe GRIMM, Université Toulouse Le Mirail villa@univ-tlse2.fr ENAC, 24 nov. 2005
SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles : Définition Données classiques : chaque observation est un vecteur de RD ;
SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles : Définition Données classiques : chaque observation est un vecteur de RD ; Données fonctionnelles : chaque observation est une fonction d’un espace de dimension infinie (L2 , par exemple ; espace de Hilbert, en général).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Représentation temporelle (reconnaissance vocale 1) 0 2000 4000 6000 8000 −1.0 −0.5 0.0 0.5 1.0 Temps (ms) Frequences Boat Goat But : Reconnaître le mot. . . 1Données disponibles sur http ://www.math.univ-montp2.fr/˜biau/bbwdata.tgz
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Représentation fréquentielle (reconnaissance vocale 1) 0 50 100 150 200 250 0 5 10 15 20 25 Frequences Log−periodogramme [aa] [ao] But : Reconnaître le son. . . 1TIMIT database disponible sur http ://www-stat.stanford.edu/˜tibs/ElemStatLearn/datasets/phoneme.data
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Courbe de réponse (chimiométrie 1) 0 20 40 60 80 100 2 3 4 5 Longueur d’onde Absorbance But : Déterminer le taux de graisse. . . 1Tecator database disponible sur http ://lib.stat.cmu.edu/datasets/tecator
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (1) Problèmes d’inversion d’opérateurs X = E(X X) − E(X) E(X) est de Hilbert-Schmidt ) −1 X est non borné (ce n’est pas un opérateur continu de L2 ) ! !
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (1) Problèmes d’inversion d’opérateurs X = E(X X) − E(X) E(X) est de Hilbert-Schmidt ) −1 X est non borné (ce n’est pas un opérateur continu de L2 ) ! ! ni Conséquence au niveau de l’estimation Pn = 1 X n =1 xi xi − X X est mal conditionné ) nécessité de pénalisation ou de régularisation. Exemple : Régression inverse fonctionnelle [Ferré Villa, 2005]
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles en pratique Soit X une variable aléatoire fonctionnelle, on ne connaît jamais complètement les observations (xi)i=1,...,n de X !
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles en pratique Soit X une variable aléatoire fonctionnelle, D ii1 on ne connaît jamais complètement les observations (xi)i=1,...,n de X ! on dispose de xi(t), . . . , xi(t) ; dans le pire cas, le nombre et la place des points de discrétisation dépendent de l’observation.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (2) D’un point de vue pratique... représenter les fonctions observées et les fonctions paramètres ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (2) D’un point de vue pratique... représenter les fonctions observées et les fonctions paramètres ; n D, les observations pour un même individu sont fortement corrélées (fonction sous-jacente) ) problèmes mal posés, méthodes usuelles souvent inapplicables directement.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ; Extension des perceptrons multi-couches pour le traitement de données fonctionnelles : approche par FIR ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ; Extension des perceptrons multi-couches pour le traitement de données fonctionnelles : approche par FIR ; Généralisation des SVM au traitement de données fonctionnelles.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Rappel sur le principe SVM Le problème Soit X 2 H et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Rappel sur le principe SVM Le problème Soit X 2 H et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X. Les données On dispose de n réalisations indépendantes de (X, Y) : (x1, y1), . . . , (xn, yn).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b hw,wi, sous les contraintes : yi(hw, xii + b) 1, 1 i n.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b,hw,wi + C Pni =1 i , sous les contraintes : yi(hw, xii + b) 1 − i , 1 i n, i 0, 1 i n.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire)
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire)
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire) On cherche w tel que : (PC,X) minw,b,hw,wi + C Pni =1 i , sous les contraintes : yi(hw,(xi)i + b) 1 − i , 1 i n, i 0, 1 i n.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX. Formulation duale : (PC,X) , (DC,X) max Pni =1 i − Pni =1 Pnj =1 ijyiyjh(xi),(xj)iX, avec PNi =1 iyi = 0, 0 i C, 1 i n.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX. Formulation duale : (PC,X) , (DC,X) max Pni =1 i − Pni =1 Pnj =1 ijyiyjh(xi),(xj)iX, avec PNi =1 iyi = 0, 0 i C, 1 i n. Produit scalaire dans X : 8 u, v 2 H, K(u, v) = h(u),(v)iX
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Présentation des travaux En collaboration avec Fabrice Rossi Support vector machine for functional data classification (2005), paru dans ESANN proceedings. En collaboration avec Fabrice Rossi Classification in Hilbert spaces with support vector machines (2005), paru dans ASMDA proceedings En collaboration avec Fabrice Rossi Support vector machine for functional data classification (2005), à paraître dans Neurocomputing.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j .
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j . 2 Transformations fonctionnelles : P(x) = Dqx,. . .
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j . 2 Transformations fonctionnelles : P(x) = Dqx,. . . 3 FIR. . .
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd]
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a = argmina bL n−l fa + d p n − l avecbL n−l fa = 1 n−l Pni =l+1 I{fa (xi ),yi }.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a = argmina bL n−l fa + d p n − l avecbL n−l fa = 1 n−l Pni =l+1 I{fa (xi ),yi }. ) On obtient un SVM fn.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : 8 d 1, (H2) Jd est un ensemble fini ; (H3) 9Kd 2 Jd tel que : Kd est universel et 9d 0 : N(Kd, ) = O(−d ) ; (H4) Cd 1 ; (H5) P d1 |Jd|e−22d +1.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : 8 d 1, (H2) Jd est un ensemble fini ; (H3) 9Kd 2 Jd tel que : Kd est universel et 9d 0 : N(Kd, ) = O(−d ) ; (H4) Cd 1 ; (H5) P d1 |Jd|e−22d +1. Hypothèses sur la validation (H6) limn!+1 l = +1; (H7) limn!+1 n − l = +1; (H8) limnl log(n−l) !+1 n−l = 0.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Convergence par procédure de validation Théorème 1 Consistance universelle Sous les hypothèses (H1)-(H8), fn est consistant : Lfn n!+1 −−−−−! L, où Lfn = ( P(fn(X) , Y) et L = P(f (X) , Y) avec 1 si P(Y = 1|X = x) 1/2, f (x) = −1 sinon.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out. Résultats Prob. k-nn QDA SVM gau. SVM lin. SVM lin. (proj) (proj) (direct) yes/no 10% 7% 10% 19% 58% boat/goat 21% 35% 8% 29% 46% sh/ao 16% 19% 12% 25% 47%
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%. Procédure : Projection sur une base de splines cubiques (déterminée par leave-one-out) ; Partage aléatoire de la base de données en 60 spectres (apprentissage) / 60 spectres (validation) ; Performances déterminées sur un échantillon de test aléatoire de 95 spectres.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%. Procédure : Projection sur une base de splines cubiques (déterminée par leave-one-out) ; Partage aléatoire de la base de données en 60 spectres (apprentissage) / 60 spectres (validation) ; Performances déterminées sur un échantillon de test aléatoire de 95 spectres. Résultats (Moyenne pour 250 répétitions) Noyau Erreur moyenne (test) Linéaire 3.38% Linéaire sur D2X 3.28% Gaussien 7.5% Gaussien sur D2X 2.6%
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Approche directe pour SVM sur dérivées X est régulière : X 2 H = Hm = {x : [0; 1] ! R : Dmx existe et Dmx 2 L2 + conditions aux limites} ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Approche directe pour SVM sur dérivées X est régulière : X 2 H = Hm = {x : [0; 1] ! R : Dmx existe et Dmx 2 L2 + conditions aux limites} ; Produit scalaire : H est muni du produit scalaire hf , giH = hLf , LgiL2 = Z [0;1] Lf (t)Lg(t)dt où Lx = Pmj =1 ajDjx avec am , 0 et les conditions aux limites qui impliquent Lx , 0 si x , 0.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ; Hm (m 1) avec L = Dm et Djx(0) = 0, 8 j = 1, . . . ,m − 1. Pour d’autres exemples, voir [Besse Ramsay, 1986] et [Berlinet Thomas-Agnan, 2004].
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t));
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t)); H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS de noyau K(s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM fonctionnels par interpolation spline [Besse Ramsay, 1986] Si H est un RKHS de noyau K alors, 8 x 2 H, connue aux points (tk )k=1,...,d, spline d’interpolation h = PVect{K(tk ,.),k=1,...,d}(x).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM fonctionnels par interpolation spline [Besse Ramsay, 1986] Si H est un RKHS de noyau K alors, 8 x 2 H, connue aux points (tk )k=1,...,d, spline d’interpolation h = PVect{K(tk ,.),k=1,...,d}(x). Application aux SVM dans L2 SVM sur (Lhn)n avec noyau G1 [0;1] , SVM sur (xn)n avec noyau Gd K−1/2 dans Rd. où xn = (xn(t1), . . . , xn(td)) et K = (K(ti , tj))i,j .
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors,
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors, il existe une suite de points de discrétisation (D)D1 telle que d = (tk )k=1,...,d, 8D 1, D D+1 et KD = (K(ti , tj ))i,j=1,...,D est inversible, Vect{K(t, .), t 2 [D1D} est dense dans H ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors, il existe une suite de points de discrétisation (D)D1 telle que d = (tk )k=1,...,d, 8D 1, D D+1 et KD = (K(ti , tj ))i,j=1,...,D est inversible, Vect{K(t, .), t 2 [D1D} est dense dans H ; le SVM construit à partir de la spline d’interpolation avec une suite de régularisation (CD n )n = O(n1−
D ), 0
D 1/D est universellement consistant : lim n!+1 lim D!+1 Lfn,D = L où L est l’erreur de Bayes.
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq}
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq} Caractérisation de l’espace EDR Si, pour A = (hX, a1i, . . . , hX, aqi), Condition de Li 8 u 2 H, 9v 2 Rq : E(hu, Xi|A) = vTA, alors E(X|Y) 2 X(EDR).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq} Caractérisation de l’espace EDR Si, pour A = (hX, a1i, . . . , hX, aqi), Condition de Li 8 u 2 H, 9v 2 Rq : E(hu, Xi|A) = vTA, alors E(X|Y) 2 X(EDR). ) On choisit d’estimer a1, . . . , aq, vecteurs propres de −1 X E(X|Y).
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR; Estimation de f par SVM : SVM sur P[EDR(X) ;
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR; Estimation de f par SVM : SVM sur P[EDR(X) ; Résultat de consistance universelle pour ce SVM : ? ? ?
SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Simulations Données simulées Waveform 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 1 2 4 6 8 10 12 14 16 18 20 10 8 6 4 2 0 −2 −4 Classe 2 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 3 300 courbes (apprentissage) / 500 courbes (validation) ; erreur calculée sur un échantillon de 500 courbes ; 10 répétitions.

Contenu connexe

PDF
Réseaux de neurones et SVM à entrées fonctionnelles : une approche par régres...
partuxette
 
PDF
Réseaux de neurones à entrées fonctionnelles
partuxette
 
PDF
Discrimination de courbes par SVM
partuxette
 
PDF
Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)
partuxette
 
PDF
Théorie de l’apprentissage et SVM : présentation rapide et premières idées da...
partuxette
 
PDF
Traitement de données fonctionnelles par Support Vector Machine
partuxette
 
PDF
Discrimination de courbes par SVM
partuxette
 
PDF
Prédiction conforme sparse
parCdiscount
 
Réseaux de neurones et SVM à entrées fonctionnelles : une approche par régres...
partuxette
 
Réseaux de neurones à entrées fonctionnelles
partuxette
 
Discrimination de courbes par SVM
partuxette
 
Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)
partuxette
 
Théorie de l’apprentissage et SVM : présentation rapide et premières idées da...
partuxette
 
Traitement de données fonctionnelles par Support Vector Machine
partuxette
 
Discrimination de courbes par SVM
partuxette
 
Prédiction conforme sparse
parCdiscount
 

Tendances

PDF
Planification séquentielle pour l'estimation de probabilités de défaillance
parJulien Bect
 
PPTX
Fonction quadratique TS-4
parmathemathieu
 
PDF
Une introduction à la géométrie de l'information
parFrank Nielsen
 
PDF
Modelisation non supervisee
parminiloka
 
PDF
Planification et analyse d'expériences numériques: approche bayésienne
parJulien Bect
 
PDF
09 mouvement-2
parMoha Djerah
 
PDF
Rappels stats-2014-part2
parArthur Charpentier
 
PDF
Cours econometrie-uqam-st-2-v2
parArthur Charpentier
 
PDF
Slide 2040-1
parArthur Charpentier
 
PDF
Cours econometrie-uqam-st-3-v4
parArthur Charpentier
 
PDF
A slides 11
parDenis Gillet
 
PDF
Slides 2040-2-0
parArthur Charpentier
 
PDF
Chap9 : Systèmes non linéaires
parMohammed TAMALI
 
PDF
Cours econometrie-uqam-st-3
parArthur Charpentier
 
PDF
Slides 2040-4
parArthur Charpentier
 
PPTX
Comment faire disparaître les rides
parPierre-Hugues Carmichael
 
Planification séquentielle pour l'estimation de probabilités de défaillance
parJulien Bect
 
Fonction quadratique TS-4
parmathemathieu
 
Une introduction à la géométrie de l'information
parFrank Nielsen
 
Modelisation non supervisee
parminiloka
 
Planification et analyse d'expériences numériques: approche bayésienne
parJulien Bect
 
09 mouvement-2
parMoha Djerah
 
Rappels stats-2014-part2
parArthur Charpentier
 
Cours econometrie-uqam-st-2-v2
parArthur Charpentier
 
Slide 2040-1
parArthur Charpentier
 
Cours econometrie-uqam-st-3-v4
parArthur Charpentier
 
A slides 11
parDenis Gillet
 
Slides 2040-2-0
parArthur Charpentier
 
Chap9 : Systèmes non linéaires
parMohammed TAMALI
 
Cours econometrie-uqam-st-3
parArthur Charpentier
 
Slides 2040-4
parArthur Charpentier
 
Comment faire disparaître les rides
parPierre-Hugues Carmichael
 

En vedette

PPT
Saint Valentin à L’HôTel Résidence De Charme: Villa Noria
parGERONIMI
 
PPTX
Villa La Roche
parKaori Becerril
 
PPTX
Palladio et la géométrie classique
parMiiMii Med Elarbi
 
DOCX
Analyse villa la roche
parMaher Younes
 
PPT
Le corbusier
parmbusta1961
 
PDF
villa savoye
parsuzain ali
 
PPTX
Villa Savoye
parCristian Aguirre
 
DOCX
Analisis de la villa savoye le corbusier
parAlfredo Rfa Rojas
 
PPT
Villa rotonda-presentacion-final
parJeffer Agurto Deza
 
Saint Valentin à L’HôTel Résidence De Charme: Villa Noria
parGERONIMI
 
Villa La Roche
parKaori Becerril
 
Palladio et la géométrie classique
parMiiMii Med Elarbi
 
Analyse villa la roche
parMaher Younes
 
Le corbusier
parmbusta1961
 
villa savoye
parsuzain ali
 
Villa Savoye
parCristian Aguirre
 
Analisis de la villa savoye le corbusier
parAlfredo Rfa Rojas
 
Villa rotonda-presentacion-final
parJeffer Agurto Deza
 

Plus de tuxette

PDF
Analyse comparative de données de génomique 3D
partuxette
 
PDF
Detecting differences between 3D genomic data: a benchmark study
partuxette
 
PDF
Racines en haut et feuilles en bas : les arbres en maths
partuxette
 
PDF
Méthodes à noyaux pour l’intégration de données hétérogènes
partuxette
 
PDF
Méthodologies d'intégration de données omiques
partuxette
 
PDF
Projets autour de l'Hi-C
partuxette
 
PDF
Can deep learning learn chromatin structure from sequence?
partuxette
 
PDF
Multi-omics data integration methods: kernel and other machine learning appro...
partuxette
 
PDF
ASTERICS : une application pour intégrer des données omiques
partuxette
 
PDF
Autour des projets Idefics et MetaboWean
partuxette
 
PDF
Rserve, renv, flask, Vue.js dans un docker pour intégrer des données omiques ...
partuxette
 
PDF
Apprentissage pour la biologie moléculaire et l’analyse de données omiques
partuxette
 
PDF
Quelques résultats préliminaires de l'évaluation de méthodes d'inférence de r...
partuxette
 
PDF
Intégration de données omiques multi-échelles : méthodes à noyau et autres ap...
partuxette
 
PDF
Journal club: Validation of cluster analysis results on validation data
partuxette
 
PDF
Overfitting or overparametrization?
partuxette
 
PDF
Selective inference and single-cell differential analysis
partuxette
 
PDF
SOMbrero : un package R pour les cartes auto-organisatrices
partuxette
 
PDF
Graph Neural Network for Phenotype Prediction
partuxette
 
PDF
A short and naive introduction to using network in prediction models
partuxette
 
Analyse comparative de données de génomique 3D
partuxette
 
Detecting differences between 3D genomic data: a benchmark study
partuxette
 
Racines en haut et feuilles en bas : les arbres en maths
partuxette
 
Méthodes à noyaux pour l’intégration de données hétérogènes
partuxette
 
Méthodologies d'intégration de données omiques
partuxette
 
Projets autour de l'Hi-C
partuxette
 
Can deep learning learn chromatin structure from sequence?
partuxette
 
Multi-omics data integration methods: kernel and other machine learning appro...
partuxette
 
ASTERICS : une application pour intégrer des données omiques
partuxette
 
Autour des projets Idefics et MetaboWean
partuxette
 
Rserve, renv, flask, Vue.js dans un docker pour intégrer des données omiques ...
partuxette
 
Apprentissage pour la biologie moléculaire et l’analyse de données omiques
partuxette
 
Quelques résultats préliminaires de l'évaluation de méthodes d'inférence de r...
partuxette
 
Intégration de données omiques multi-échelles : méthodes à noyau et autres ap...
partuxette
 
Journal club: Validation of cluster analysis results on validation data
partuxette
 
Overfitting or overparametrization?
partuxette
 
Selective inference and single-cell differential analysis
partuxette
 
SOMbrero : un package R pour les cartes auto-organisatrices
partuxette
 
Graph Neural Network for Phenotype Prediction
partuxette
 
A short and naive introduction to using network in prediction models
partuxette
 

Discrimination de courbes par SVM

  • 1.
    SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination de courbes par SVM Nathalie Villa-Vialaneix Équipe GRIMM, Université Toulouse Le Mirail villa@univ-tlse2.fr ENAC, 24 nov. 2005
  • 2.
    SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 3.
    SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 4.
    SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles : Définition Données classiques : chaque observation est un vecteur de RD ;
  • 5.
    SVM & FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles : Définition Données classiques : chaque observation est un vecteur de RD ; Données fonctionnelles : chaque observation est une fonction d’un espace de dimension infinie (L2 , par exemple ; espace de Hilbert, en général).
  • 6.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Représentation temporelle (reconnaissance vocale 1) 0 2000 4000 6000 8000 −1.0 −0.5 0.0 0.5 1.0 Temps (ms) Frequences Boat Goat But : Reconnaître le mot. . . 1Données disponibles sur http ://www.math.univ-montp2.fr/˜biau/bbwdata.tgz
  • 7.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Représentation fréquentielle (reconnaissance vocale 1) 0 50 100 150 200 250 0 5 10 15 20 25 Frequences Log−periodogramme [aa] [ao] But : Reconnaître le son. . . 1TIMIT database disponible sur http ://www-stat.stanford.edu/˜tibs/ElemStatLearn/datasets/phoneme.data
  • 8.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples Courbe de réponse (chimiométrie 1) 0 20 40 60 80 100 2 3 4 5 Longueur d’onde Absorbance But : Déterminer le taux de graisse. . . 1Tecator database disponible sur http ://lib.stat.cmu.edu/datasets/tecator
  • 9.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (1) Problèmes d’inversion d’opérateurs X = E(X X) − E(X) E(X) est de Hilbert-Schmidt ) −1 X est non borné (ce n’est pas un opérateur continu de L2 ) ! !
  • 10.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (1) Problèmes d’inversion d’opérateurs X = E(X X) − E(X) E(X) est de Hilbert-Schmidt ) −1 X est non borné (ce n’est pas un opérateur continu de L2 ) ! ! ni Conséquence au niveau de l’estimation Pn = 1 X n =1 xi xi − X X est mal conditionné ) nécessité de pénalisation ou de régularisation. Exemple : Régression inverse fonctionnelle [Ferré Villa, 2005]
  • 11.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles en pratique Soit X une variable aléatoire fonctionnelle, on ne connaît jamais complètement les observations (xi)i=1,...,n de X !
  • 12.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Les données fonctionnelles en pratique Soit X une variable aléatoire fonctionnelle, D ii1 on ne connaît jamais complètement les observations (xi)i=1,...,n de X ! on dispose de xi(t), . . . , xi(t) ; dans le pire cas, le nombre et la place des points de discrétisation dépendent de l’observation.
  • 13.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (2) D’un point de vue pratique... représenter les fonctions observées et les fonctions paramètres ;
  • 14.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemple de problèmes en FDA (2) D’un point de vue pratique... représenter les fonctions observées et les fonctions paramètres ; n D, les observations pour un même individu sont fortement corrélées (fonction sous-jacente) ) problèmes mal posés, méthodes usuelles souvent inapplicables directement.
  • 15.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ;
  • 16.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ; Extension des perceptrons multi-couches pour le traitement de données fonctionnelles : approche par FIR ;
  • 17.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Apports de notre travail en FDA Mise au point d’une méthode de régression inverse fonctionnelle, FIR, régularisée par pénalisation ; Extension des perceptrons multi-couches pour le traitement de données fonctionnelles : approche par FIR ; Généralisation des SVM au traitement de données fonctionnelles.
  • 18.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 19.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Rappel sur le principe SVM Le problème Soit X 2 H et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X.
  • 20.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Rappel sur le principe SVM Le problème Soit X 2 H et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X. Les données On dispose de n réalisations indépendantes de (X, Y) : (x1, y1), . . . , (xn, yn).
  • 21.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale
  • 22.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale
  • 23.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support
  • 24.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b hw,wi, sous les contraintes : yi(hw, xii + b) 1, 1 i n.
  • 25.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple
  • 26.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple
  • 27.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support
  • 28.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b,hw,wi + C Pni =1 i , sous les contraintes : yi(hw, xii + b) 1 − i , 1 i n, i 0, 1 i n.
  • 29.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H
  • 30.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire)
  • 31.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire)
  • 32.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Envoyer les données dans un espace de grande dimension Espace initial H Espace image X (non linéaire) On cherche w tel que : (PC,X) minw,b,hw,wi + C Pni =1 i , sous les contraintes : yi(hw,(xi)i + b) 1 − i , 1 i n, i 0, 1 i n.
  • 33.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX.
  • 34.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX. Formulation duale : (PC,X) , (DC,X) max Pni =1 i − Pni =1 Pnj =1 ijyiyjh(xi),(xj)iX, avec PNi =1 iyi = 0, 0 i C, 1 i n.
  • 35.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Intérêt du non linéaire Formulation régularisation : (PC,X) , (R,X) min f2X 1 n Xn i=1 max(0, 1 − yi f (xi)) + hf , f iX. Formulation duale : (PC,X) , (DC,X) max Pni =1 i − Pni =1 Pnj =1 ijyiyjh(xi),(xj)iX, avec PNi =1 iyi = 0, 0 i C, 1 i n. Produit scalaire dans X : 8 u, v 2 H, K(u, v) = h(u),(v)iX
  • 36.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 37.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Présentation des travaux En collaboration avec Fabrice Rossi Support vector machine for functional data classification (2005), paru dans ESANN proceedings. En collaboration avec Fabrice Rossi Classification in Hilbert spaces with support vector machines (2005), paru dans ASMDA proceedings En collaboration avec Fabrice Rossi Support vector machine for functional data classification (2005), à paraître dans Neurocomputing.
  • 38.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)).
  • 39.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j .
  • 40.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j . 2 Transformations fonctionnelles : P(x) = Dqx,. . .
  • 41.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Noyaux pour FDA Forme générale Prétraitement : P : H ! D 8 u, v 2 H,Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect{ 1, . . . , D}, P(x) = XD j=1 hx, ji j . 2 Transformations fonctionnelles : P(x) = Dqx,. . . 3 FIR. . .
  • 42.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 43.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ;
  • 44.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd]
  • 45.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ;
  • 46.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ;
  • 47.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a = argmina bL n−l fa + d p n − l avecbL n−l fa = 1 n−l Pni =l+1 I{fa (xi ),yi }.
  • 48.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Une approche consistante Approche par projection 1 ( j)j base Hilbertienne de H : projection sur ( j)j=1,...,d ; 2 Choix des paramètres : a d 2 N, K 2 Jd, C 2 [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl , yl ) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a = argmina bL n−l fa + d p n − l avecbL n−l fa = 1 n−l Pni =l+1 I{fa (xi ),yi }. ) On obtient un SVM fn.
  • 49.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H.
  • 50.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : 8 d 1, (H2) Jd est un ensemble fini ; (H3) 9Kd 2 Jd tel que : Kd est universel et 9d 0 : N(Kd, ) = O(−d ) ; (H4) Cd 1 ; (H5) P d1 |Jd|e−22d +1.
  • 51.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : 8 d 1, (H2) Jd est un ensemble fini ; (H3) 9Kd 2 Jd tel que : Kd est universel et 9d 0 : N(Kd, ) = O(−d ) ; (H4) Cd 1 ; (H5) P d1 |Jd|e−22d +1. Hypothèses sur la validation (H6) limn!+1 l = +1; (H7) limn!+1 n − l = +1; (H8) limnl log(n−l) !+1 n−l = 0.
  • 52.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Convergence par procédure de validation Théorème 1 Consistance universelle Sous les hypothèses (H1)-(H8), fn est consistant : Lfn n!+1 −−−−−! L, où Lfn = ( P(fn(X) , Y) et L = P(f (X) , Y) avec 1 si P(Y = 1|X = x) 1/2, f (x) = −1 sinon.
  • 53.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ;
  • 54.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out.
  • 55.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out. Résultats Prob. k-nn QDA SVM gau. SVM lin. SVM lin. (proj) (proj) (direct) yes/no 10% 7% 10% 19% 58% boat/goat 21% 35% 8% 29% 46% sh/ao 16% 19% 12% 25% 47%
  • 56.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%.
  • 57.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%. Procédure : Projection sur une base de splines cubiques (déterminée par leave-one-out) ; Partage aléatoire de la base de données en 60 spectres (apprentissage) / 60 spectres (validation) ; Performances déterminées sur un échantillon de test aléatoire de 95 spectres.
  • 58.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Application : Tecator data Set Description des données et méthodes 215 spectres discrétisés en 100 points ; 2 classes : taux de graisse 20% et 20%. Procédure : Projection sur une base de splines cubiques (déterminée par leave-one-out) ; Partage aléatoire de la base de données en 60 spectres (apprentissage) / 60 spectres (validation) ; Performances déterminées sur un échantillon de test aléatoire de 95 spectres. Résultats (Moyenne pour 250 répétitions) Noyau Erreur moyenne (test) Linéaire 3.38% Linéaire sur D2X 3.28% Gaussien 7.5% Gaussien sur D2X 2.6%
  • 59.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 60.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Approche directe pour SVM sur dérivées X est régulière : X 2 H = Hm = {x : [0; 1] ! R : Dmx existe et Dmx 2 L2 + conditions aux limites} ;
  • 61.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Approche directe pour SVM sur dérivées X est régulière : X 2 H = Hm = {x : [0; 1] ! R : Dmx existe et Dmx 2 L2 + conditions aux limites} ; Produit scalaire : H est muni du produit scalaire hf , giH = hLf , LgiL2 = Z [0;1] Lf (t)Lg(t)dt où Lx = Pmj =1 ajDjx avec am , 0 et les conditions aux limites qui impliquent Lx , 0 si x , 0.
  • 62.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ;
  • 63.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;
  • 64.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ) x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ; Hm (m 1) avec L = Dm et Djx(0) = 0, 8 j = 1, . . . ,m − 1. Pour d’autres exemples, voir [Besse Ramsay, 1986] et [Berlinet Thomas-Agnan, 2004].
  • 65.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t).
  • 66.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t));
  • 67.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que 9 K : R ×R ! H : 8 x 2 H, hx, K(t, .)iH = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t)); H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS de noyau K(s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2
  • 68.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM fonctionnels par interpolation spline [Besse Ramsay, 1986] Si H est un RKHS de noyau K alors, 8 x 2 H, connue aux points (tk )k=1,...,d, spline d’interpolation h = PVect{K(tk ,.),k=1,...,d}(x).
  • 69.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM fonctionnels par interpolation spline [Besse Ramsay, 1986] Si H est un RKHS de noyau K alors, 8 x 2 H, connue aux points (tk )k=1,...,d, spline d’interpolation h = PVect{K(tk ,.),k=1,...,d}(x). Application aux SVM dans L2 SVM sur (Lhn)n avec noyau G1 [0;1] , SVM sur (xn)n avec noyau Gd K−1/2 dans Rd. où xn = (xn(t1), . . . , xn(td)) et K = (K(ti , tj))i,j .
  • 70.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors,
  • 71.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors, il existe une suite de points de discrétisation (D)D1 telle que d = (tk )k=1,...,d, 8D 1, D D+1 et KD = (K(ti , tj ))i,j=1,...,D est inversible, Vect{K(t, .), t 2 [D1D} est dense dans H ;
  • 72.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Consistance directe Théorème 2 Consistance universelle Soit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels que K = (K(ti , tj))i,j=1,...,d soit inversible. Alors, il existe une suite de points de discrétisation (D)D1 telle que d = (tk )k=1,...,d, 8D 1, D D+1 et KD = (K(ti , tj ))i,j=1,...,D est inversible, Vect{K(t, .), t 2 [D1D} est dense dans H ; le SVM construit à partir de la spline d’interpolation avec une suite de régularisation (CD n )n = O(n1−
  • 73.
  • 74.
    D 1/Dest universellement consistant : lim n!+1 lim D!+1 Lfn,D = L où L est l’erreur de Bayes.
  • 75.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Sommaire 1 Analyse des données fonctionnelles 2 Principe des SVM 3 Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse
  • 76.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq}
  • 77.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq} Caractérisation de l’espace EDR Si, pour A = (hX, a1i, . . . , hX, aqi), Condition de Li 8 u 2 H, 9v 2 Rq : E(hu, Xi|A) = vTA, alors E(X|Y) 2 X(EDR).
  • 78.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Régression inverse fonctionnelle Modèle ([Ferré Yao, 2003], [Ferré Villa, 2005]) Y = f (ha1, Xi . . . haq, Xi, ), où y X, E() = 0, f inconnue, {a1, . . . , aq} linéairement independants. EDR = Vect{a1, . . . aq} Caractérisation de l’espace EDR Si, pour A = (hX, a1i, . . . , hX, aqi), Condition de Li 8 u 2 H, 9v 2 Rq : E(hu, Xi|A) = vTA, alors E(X|Y) 2 X(EDR). ) On choisit d’estimer a1, . . . , aq, vecteurs propres de −1 X E(X|Y).
  • 79.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR;
  • 80.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR; Estimation de f par SVM : SVM sur P[EDR(X) ;
  • 81.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie SVM par FIR Estimation de EDR : [Ferré Yao, 2003], [Ferré Villa, 2005] proposent des approches consistantes de l’estimation de l’espace EDR,[EDR; Estimation de f par SVM : SVM sur P[EDR(X) ; Résultat de consistance universelle pour ce SVM : ? ? ?
  • 82.
    SVM FDA Toulouse, 24 nov. 2005 Nathalie VILLA Analyse des données fonctionnelles Principe des SVM Noyaux pour FDA Approche par projection Approche par splines d’interpolation Approche par régression inverse Bibliographie Simulations Données simulées Waveform 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 1 2 4 6 8 10 12 14 16 18 20 10 8 6 4 2 0 −2 −4 Classe 2 2 4 6 8 10 12 14 16 18 20 8 6 4 2 0 −2 −4 Classe 3 300 courbes (apprentissage) / 500 courbes (validation) ; erreur calculée sur un échantillon de 500 courbes ; 10 répétitions.