Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Analyse de d...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Sommaire
1 A...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Exemples
Con...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Sommaire
1 A...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Discriminati...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Discriminati...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Discriminati...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Discriminati...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Discriminati...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Discriminati...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Discriminati...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Discriminati...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Envoyer les ...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Envoyer les ...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Envoyer les ...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Envoyer les ...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Intérêt du n...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Intérêt du n...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Intérêt du n...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Approche par...
Analyse des données fonctionnelles
Une petite introduction aux SVM
SVM pour données fonctionnelles
References
Bibliographi...
Prochain SlideShare
Chargement dans…5
×

Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)

725 vues

Publié le

Séminaire CANSO, XLim, Université de Limoges, France
23 novembre 2007

Publié dans : Sciences
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
725
Sur SlideShare
0
Issues des intégrations
0
Intégrations
20
Actions
Partages
0
Téléchargements
29
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM)

  1. 1. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Analyse de données fonctionnelles par Machines à Vecteurs de Support (SVM) Nathalie Villa-Vialaneix http://www.nathalievilla.org En collaboration avec Fabrice Rossi (INRIA Rocquencourt) Institut de Mathématiques de Toulouse, France - nathalie.villa@math.ups-tlse.fr Limoges, Séminaire CANSO, 23 novembre 2007 Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  2. 2. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Sommaire 1 Analyse des données fonctionnelles Exemples Contexte mathématique Problématique 2 Une petite introduction aux SVM 3 SVM pour données fonctionnelles Approche par projection Approche par splines d’interpolation Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  3. 3. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Sommaire 1 Analyse des données fonctionnelles Exemples Contexte mathématique Problématique 2 Une petite introduction aux SVM 3 SVM pour données fonctionnelles Approche par projection Approche par splines d’interpolation Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  4. 4. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Quelques exemples d’applications rencontrées en FDA Analyse de données spectrométriques 0 20 40 60 80 100 2345 Absorbance Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  5. 5. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Quelques exemples d’applications rencontrées en FDA Reconnaissance vocale 0 2000 4000 6000 8000 −1.0−0.50.00.51.0 Frequences Boat Goat Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  6. 6. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Quelques exemples d’applications rencontrées en FDA Analyse de puces à ADN Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  7. 7. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Quelques exemples d’applications rencontrées en FDA Séries temporelles Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  8. 8. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Formalisation mathématique Le cadre X ∈ (H, ., ) où (H, ., ) est un espace de Hilbert (variable explicative) ; Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  9. 9. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Formalisation mathématique Le cadre X ∈ (H, ., ) où (H, ., ) est un espace de Hilbert (variable explicative) ; Y ∈ {−1, 1} Classification Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  10. 10. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Formalisation mathématique Le cadre X ∈ (H, ., ) où (H, ., ) est un espace de Hilbert (variable explicative) ; Y ∈ {−1, 1} Classification ou Y ∈ R Régression (variable dépendante) ; Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  11. 11. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Formalisation mathématique Le cadre X ∈ (H, ., ) où (H, ., ) est un espace de Hilbert (variable explicative) ; Y ∈ {−1, 1} Classification ou Y ∈ R Régression (variable dépendante) ; On cherche à prédire Y à partir de X. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  12. 12. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Formalisation mathématique Le cadre X ∈ (H, ., ) où (H, ., ) est un espace de Hilbert (variable explicative) ; Y ∈ {−1, 1} Classification ou Y ∈ R Régression (variable dépendante) ; On cherche à prédire Y à partir de X. Pour cela, on dispose d’un ensemble d’apprentissage (x1, y1), . . . , (xn, yn) tel que xi = (xi(t1), . . . , xi(td)) ; (xi, yi) sont des réalisations du couple (X, Y). Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  13. 13. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Formalisation mathématique Le cadre X ∈ (H, ., ) où (H, ., ) est un espace de Hilbert (variable explicative) ; Y ∈ {−1, 1} Classification ou Y ∈ R Régression (variable dépendante) ; On cherche à prédire Y à partir de X. Pour cela, on dispose d’un ensemble d’apprentissage (x1, y1), . . . , (xn, yn) tel que xi = (xi(t1), . . . , xi(td)) ; (xi, yi) sont des réalisations du couple (X, Y). Objectif : Construire un prédicteur, ϕ(X), à partir des observations, tel que E E Y, ϕ(X) soit petit où E est une fonction d’erreur que l’on se fixe. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  14. 14. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Un exemple simple des problèmes posés par ce contexte Modèle linéaire Y = a, X + tq Y ∈ R, a ∈ H est inconnu (à estimer), est une variable aléatoire centrée indépendante de X. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  15. 15. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Un exemple simple des problèmes posés par ce contexte Modèle linéaire Y = a, X + tq Y ∈ R, a ∈ H est inconnu (à estimer), est une variable aléatoire centrée indépendante de X. Ici, ϕ = ., a est complètement connu si a est connu. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  16. 16. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Un exemple simple des problèmes posés par ce contexte Modèle linéaire Y = a, X + tq Y ∈ R, a ∈ H est inconnu (à estimer), est une variable aléatoire centrée indépendante de X. Ici, ϕ = ., a est complètement connu si a est connu. Le a∗ optimal pour la prédiction, au sens des moindres carrés, est : a∗ := arg min a∈H E ( a, X − Y)2 = Var(X)−1 Cov(X, Y) Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  17. 17. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Un exemple simple des problèmes posés par ce contexte Cas H = Rk : a∗ est estimé par ˆa = Var(X)−1 n Cov(X, Y)n où Var(X)n = 1 n n i=1 xT i xi ; Cov(X, Y)n = 1 n n i=1 yixi. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  18. 18. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Un exemple simple des problèmes posés par ce contexte Cas H = Rk : a∗ est estimé par ˆa = Var(X)−1 n Cov(X, Y)n où Var(X)n = 1 n n i=1 xT i xi ; Cov(X, Y)n = 1 n n i=1 yixi. Cas dimH = +∞ : L’opérateur ΓX est de Hilbert Schmidt donc il n’est pas inversible (ie : n’a pas d’inverse continu) ⇒ l’estimation empirique est impossible directement ! Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  19. 19. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Un exemple simple des problèmes posés par ce contexte Cas H = Rk : a∗ est estimé par ˆa = Var(X)−1 n Cov(X, Y)n où Var(X)n = 1 n n i=1 xT i xi ; Cov(X, Y)n = 1 n n i=1 yixi. Cas dimH = +∞ : L’opérateur ΓX est de Hilbert Schmidt donc il n’est pas inversible (ie : n’a pas d’inverse continu) ⇒ l’estimation empirique est impossible directement ! En pratique, si on travaille avec xi = (xi(t1), . . . , xi(td)), Var(X)n est mal conditionné ⇒ instabilité de l’estimation. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  20. 20. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique Un exemple simple des problèmes posés par ce contexte Cas H = Rk : a∗ est estimé par ˆa = Var(X)−1 n Cov(X, Y)n où Var(X)n = 1 n n i=1 xT i xi ; Cov(X, Y)n = 1 n n i=1 yixi. Cas dimH = +∞ : L’opérateur ΓX est de Hilbert Schmidt donc il n’est pas inversible (ie : n’a pas d’inverse continu) ⇒ l’estimation empirique est impossible directement ! En pratique, si on travaille avec xi = (xi(t1), . . . , xi(td)), Var(X)n est mal conditionné ⇒ instabilité de l’estimation. Solution : Régularisation par pénalisation ⇒ on impose des conditions de régularité à l’estimateur ˆa (voir [Cardot et al., 1999]). Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  21. 21. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique SVM pour données fonctionnelles SVM & Données fonctionnelles SVM = Machines à Vecteurs de Support ; très populaires depuis les travaux sur l’apprentissage statistique [Vapnik, 1995]. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  22. 22. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Exemples Contexte mathématique Problématique SVM pour données fonctionnelles SVM & Données fonctionnelles SVM = Machines à Vecteurs de Support ; très populaires depuis les travaux sur l’apprentissage statistique [Vapnik, 1995]. Deux types de régularisation efficace : Régularisation par projection : [Rossi and Villa, 2006] ; Régularisation par dérivation : [Villa and Rossi, 2006] et preprint en cours de soumission. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  23. 23. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Sommaire 1 Analyse des données fonctionnelles Exemples Contexte mathématique Problématique 2 Une petite introduction aux SVM 3 SVM pour données fonctionnelles Approche par projection Approche par splines d’interpolation Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  24. 24. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Discrimination linéaire à marge optimale Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  25. 25. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Discrimination linéaire à marge optimale Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  26. 26. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Discrimination linéaire à marge optimale w marge : 1 w 2 Vecteur Support Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  27. 27. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Discrimination linéaire à marge optimale w marge : 1 w 2 Vecteur Support On cherche w tel que : minw,b w, w , sous les contraintes : yi( w, xi + b) ≥ 1, 1 ≤ i ≤ n. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  28. 28. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Discrimination linéaire à marge souple Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  29. 29. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Discrimination linéaire à marge souple Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  30. 30. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Discrimination linéaire à marge souple w marge : 1 w 2 Vecteur Support Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  31. 31. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Discrimination linéaire à marge souple w marge : 1 w 2 Vecteur Support On cherche w tel que : minw,b,ξ w, w + C n i=1 ξi, sous les contraintes : yi( w, xi + b) ≥ 1 − ξi, 1 ≤ i ≤ n, ξi ≥ 0, 1 ≤ i ≤ n. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  32. 32. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Envoyer les données dans un espace de grande dimension Espace initial H Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  33. 33. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Envoyer les données dans un espace de grande dimension Espace initial H Espace image X Φ (non linéaire) Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  34. 34. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Envoyer les données dans un espace de grande dimension Espace initial H Espace image X Φ (non linéaire) Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  35. 35. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Envoyer les données dans un espace de grande dimension Espace initial H Espace image X Φ (non linéaire) On cherche w tel que : (PC,X) minw,b,ξ w, w + C n i=1 ξi, sous les contraintes : yi( w, Φ(xi) + b) ≥ 1 − ξi, 1 ≤ i ≤ n, ξi ≥ 0, 1 ≤ i ≤ n. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  36. 36. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Intérêt du non linéaire Formulation régularisation : (PC,X) ⇔ (Rλ,X) min f∈X 1 n n i=1 max(0, 1 − yif(xi)) + λ f, f X. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  37. 37. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Intérêt du non linéaire Formulation régularisation : (PC,X) ⇔ (Rλ,X) min f∈X 1 n n i=1 max(0, 1 − yif(xi)) + λ f, f X. Formulation duale : (PC,X) ⇔ (DC,X) maxα n i=1 αi − n i=1 n j=1 αiαjyiyj Φ(xi), Φ(xj) X, avec N i=1 αiyi = 0, 0 ≤ αi ≤ C, 1 ≤ i ≤ n. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  38. 38. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Intérêt du non linéaire Formulation régularisation : (PC,X) ⇔ (Rλ,X) min f∈X 1 n n i=1 max(0, 1 − yif(xi)) + λ f, f X. Formulation duale : (PC,X) ⇔ (DC,X) maxα n i=1 αi − n i=1 n j=1 αiαjyiyj Φ(xi), Φ(xj) X, avec N i=1 αiyi = 0, 0 ≤ αi ≤ C, 1 ≤ i ≤ n. Produit scalaire dans X : ∀ u, v ∈ X, K(u, v) = Φ(u), Φ(v) X Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  39. 39. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Sommaire 1 Analyse des données fonctionnelles Exemples Contexte mathématique Problématique 2 Une petite introduction aux SVM 3 SVM pour données fonctionnelles Approche par projection Approche par splines d’interpolation Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  40. 40. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Noyaux pour FDA Forme générale Prétraitement : P : H → D ∀ u, v ∈ H, Q(u, v) = K(P(u), P(v)). Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  41. 41. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Noyaux pour FDA Forme générale Prétraitement : P : H → D ∀ u, v ∈ H, Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect {ψ1, . . . , ψD}, P(x) = D j=1 x, ψj ψj. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  42. 42. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Noyaux pour FDA Forme générale Prétraitement : P : H → D ∀ u, v ∈ H, Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect {ψ1, . . . , ψD}, P(x) = D j=1 x, ψj ψj. 2 Transformations fonctionnelles : P(x) = Dq x,. . . Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  43. 43. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Noyaux pour FDA Forme générale Prétraitement : P : H → D ∀ u, v ∈ H, Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect {ψ1, . . . , ψD}, P(x) = D j=1 x, ψj ψj. 2 Transformations fonctionnelles : P(x) = Dq x,. . . 3 . . . Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  44. 44. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Noyaux pour FDA Forme générale Prétraitement : P : H → D ∀ u, v ∈ H, Q(u, v) = K(P(u), P(v)). 1 Projections : pour VD = Vect {ψ1, . . . , ψD}, P(x) = D j=1 x, ψj ψj. 2 Transformations fonctionnelles : P(x) = Dq x,. . . 3 . . . avec, par exemple, K(p1, p2) = p1, p2 ou K(p1, p2) = exp(−γ p1 − p2 2 D). . . Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  45. 45. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Une approche consistante Approche par projection 1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ; Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  46. 46. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Une approche consistante Approche par projection 1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ; 2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd, C ∈ [0; Cd] Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  47. 47. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Une approche consistante Approche par projection 1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ; 2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd, C ∈ [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl, yl) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  48. 48. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Une approche consistante Approche par projection 1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ; 2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd, C ∈ [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl, yl) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  49. 49. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Une approche consistante Approche par projection 1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ; 2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd, C ∈ [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl, yl) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a∗ = arg min a Ln−lfa + λd √ n − l avec Ln−lfa = 1 n−l n i=l+1 I{fa (xi ) yi }. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  50. 50. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Une approche consistante Approche par projection 1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ; 2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd, C ∈ [0; Cd] partage des données : B1 = (x1, y1), . . . , (xl, yl) et B2 = (xl+1, yl+1), . . . , (xn, yn) ; construction du SVM sur B1 : fa ; choix du paramètre optimal sur B2 : a∗ = arg min a Ln−lfa + λd √ n − l avec Ln−lfa = 1 n−l n i=l+1 I{fa (xi ) yi }. ⇒ On obtient un SVM fn. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  51. 51. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  52. 52. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : ∀ d ≥ 1, (H2) Jd est un ensemble fini ; (H3) ∃Kd ∈ Jd tel que : Kd est universel et ∃νd > 0 : N(Kd, ) = O( −νd ) ; (H4) Cd > 1 ; (H5) d≥1 |Jd|e−2λ2 d < +∞. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  53. 53. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Hypothèses Hypothèses sur la distribution de X (H1) X prend ses valeurs dans un borné de H. Hypothèses sur les paramètres : ∀ d ≥ 1, (H2) Jd est un ensemble fini ; (H3) ∃Kd ∈ Jd tel que : Kd est universel et ∃νd > 0 : N(Kd, ) = O( −νd ) ; (H4) Cd > 1 ; (H5) d≥1 |Jd|e−2λ2 d < +∞. Hypothèses sur la validation (H6) limn→+∞ l = +∞ ; (H7) limn→+∞ n − l = +∞ ; (H8) limn→+∞ l log(n−l) n−l = 0. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  54. 54. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Convergence par procédure de validation Théorème 1 : Consistance universelle Sous les hypothèses (H1)-(H8), fn est consistant : Lfn n→+∞ −−−−−→ L∗ , où Lfn = P(fn(X) Y) et L∗ = P(f∗ (X) Y) avec f∗ (x) = 1 si P(Y = 1|X = x) > 1/2, −1 sinon. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  55. 55. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  56. 56. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en œuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  57. 57. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Application : reconnaissance vocale Description des données et méthodes 3 problèmes et pour chaque problème, 100 enregistrements discrétisés en 8 192 points ; Mise en œuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par leave-one-out. Résultats Prob. k-nn QDA SVM gau. SVM lin. SVM lin. (proj) (proj) (direct) yes/no 10% 7% 10% 19% 58% boat/goat 21% 35% 8% 29% 46% sh/ao 16% 19% 12% 25% 47% Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  58. 58. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Limites Aspects limitants de cette approche : 1 Consistance basée sur une procédure de validation ; 2 Non prise en compte du fait que les fonctions ne sont pas connues intégralement mais sous la forme d’une discrétisation ; 3 Aspect très restrictif du pré-traitement des données : on aimerait pouvoir prendre en compte des dérivées de la fonction observée. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  59. 59. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Approche directe pour SVM sur dérivées X est régulière : X ∈ H = Hm = {x : [0; 1] → R : Dm x existe et Dm x ∈ L2 } ; Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  60. 60. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Approche directe pour SVM sur dérivées X est régulière : X ∈ H = Hm = {x : [0; 1] → R : Dm x existe et Dm x ∈ L2 } ; Produit scalaire : H est muni du produit scalaire f, g H = [0;1] Lf(t)Lg(t)dt + m j=1 Bj uBj v où Lx = m j=1 ajDj x avec am 0 ; Bj sont des conditions limites ; ( j Bj x et Lx 0) ⇒ x 0. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  61. 61. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Approche directe pour SVM sur dérivées X est régulière : X ∈ H = Hm = {x : [0; 1] → R : Dm x existe et Dm x ∈ L2 } ; Produit scalaire : H est muni du produit scalaire f, g H = Pm 1 (u), Pm 1 (v) m 1 + Pm 0 (u), Pm 0 (v) m 0 où H0 = {x ∈ H : Lx = 0} H1 = {x ∈ H : j=1m Bj x = 0} Pm i est l’opérateur de projection sur Hm i . Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  62. 62. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ⇒ x = ae−t et x(0) = a) ; Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  63. 63. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ⇒ x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ; Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  64. 64. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Exemples d’espaces de Sobolev H1 avec L = I + D et x(0) = 0 (Lx = 0 ⇒ x = ae−t et x(0) = a) ; H2 avec L = I + D2 et x(0) = Dx(0) = 0 ; Hm (m ≥ 1) avec L = Dm et Dj x(0) = 0, ∀ j = 1, . . . , m. Pour d’autres exemples, voir [Besse and Ramsay, 1986] et [Berlinet and Thomas-Agnan, 2004]. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  65. 65. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que ∃ K : R × R → H : ∀ x ∈ H, x, K(t, .) H = x(t). Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  66. 66. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que ∃ K : R × R → H : ∀ x ∈ H, x, K(t, .) H = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t)); Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  67. 67. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation RKHS H peut être un RKHS Un RKHS est un espace de fonctions tel que ∃ K : R × R → H : ∀ x ∈ H, x, K(t, .) H = x(t). H1 avec L = I + D et x(0) = 0 est un RKHS de noyau K(s, t) = e− max(s,t) sinh(min(s, t)); H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS de noyau K(s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2 Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  68. 68. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Utiliser des splines de lissage pour représenter la variable explicative Ici, L = Dm . On suppose que les points de discrétisation sont tels que : d ≥ m − 1 0 ≤ t1 < t2 < . . . < td ≤ 1 ; les conditions Bj sont linéairement indépendantes de h ∈ H → h(tl). Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  69. 69. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Utiliser des splines de lissage pour représenter la variable explicative Ici, L = Dm . Proposition 1 : [Kimeldorf and Wahba, 1971] Il existe une unique solution au problème de minimisation : ˆxλ,d = arg min h∈H 1 d d l=1 (x(tl) − h(tl))2 + λ 1 0 (h(m) (t))2 dt. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  70. 70. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Utiliser des splines de lissage pour représenter la variable explicative Ici, L = Dm . Proposition 1 : [Kimeldorf and Wahba, 1971] Il existe une unique solution au problème de minimisation : ˆxλ,d = arg min h∈H 1 d d l=1 (x(tl) − h(tl))2 + λ 1 0 (h(m) (t))2 dt. De plus, pour tout xi = (xi(t1), . . . , xi(td)), ˆxλ,d i , ˆxλ,d j H = uT Mdv où Md est symétrique définie positive. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  71. 71. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Noyau sur dérivées Notons : Gd γ (u, v) = exp −γ u − v 2 Rd G∞ γ (u, v) = exp −γ u − v 2 L2 Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  72. 72. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Noyau sur dérivées Notons : Gd γ (u, v) = exp −γ u − v 2 Rd G∞ γ (u, v) = exp −γ u − v 2 L2 Principe des SVM différentiels SVM sur (Dm xi, (Bj xi)j)i avec noyau G∞ γ ⊗ Gm γ ⇔ SVM sur (xi)i avec noyau Gd γ ◦ M−1/2 d Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  73. 73. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Hypothèses Hypothèses sur la suite de points de discrétisation (τd)d≥m est une suite d’ensembles de points de discrétisation τd = {t1, . . . , td} tels que : pour tout d ≥ m, t1, . . . , td sont distincts ; les formes linéaires (Bj )j sont linéairement indépendantes de h → h(tl) pour tout l = 1, . . . , d ; La fonction F, limite pour la norme u − v ∞ = supt∈[0,1] |u(t) − v(t)| de Fd(t) = 1 d d l=1 I{t=tl}(t) est C∞. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  74. 74. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Hypothèses Hypothèses concernant X X est une variable aléatoire à valeurs dans H telle que X[0, 1] est un ensemble borné de R. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  75. 75. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Hypothèses Hypothèses concernant les paramètres Le paramètre de régularisation de la spline de lissage est tel que : lim d→+∞ λd = 0 et lim d→+∞ Sdλ−5/(4m) d = 0 avec Sd = Fd − F ∞. Pour mémoire : La fonction F est la limite pour la norme u − v ∞ = supt∈[0,1] |u(t) − v(t)| de Fd (t) = 1 d d l=1 I{t=tl }(t). Le paramètre de régularisation du SVM est tel que : pour tout d ≥ 1, Cn,d = O(n1−βd ) où 0 < βd < 1/d Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  76. 76. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Consistance universelle Théorème 2 : Consistance universelle Sous les hypothèses précédentes, le SVM φn,d construit comme décrit précédemment qui est défini par : maxα n i=1 αi − n i,j=1 αiαjGd γ ◦ (Md)−1/2 (xi, xj) où [t] n i=1 αiyi = 0, 0 ≤ αi ≤ Cn,d, 1 ≤ i ≤ n est universellement consistant ie : lim d→+∞ lim n→+∞ L(φn,d) = L∗ Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  77. 77. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Principe de la preuve Principe de la preuve : Utilise 1 d’une part la consistance des splines par rapport aux nombres de points d’observations pour montrer que l’erreur optimale commise en utilisant une discrétisation est asymptotiquement égale à l’erreur optimale commise en utilisant la fonction exacte ; 2 d’autre part, la consistance des SVM multidimensionnels pour montrer que l’erreur commise sur la discrétisation est asymptotiquement l’erreur optimale commise en utilisant cette discrétisation. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  78. 78. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Simulation Un exemple réel : Courbe spectrométrique Données divisées aléatoirement en 120 spectres pour l’apprentissage et 95 spectres pour calculer l’erreur (test) ; Répétition aléatoire de la division 250 fois ; Le paramètre λ est choisi par leave-one-out ; Nous avons utilisé les conditions aux bornes x(0) = 0 et Dx(0) = 0. Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  79. 79. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Simulation Un exemple réel : Courbe spectrométrique Données divisées aléatoirement en 120 spectres pour l’apprentissage et 95 spectres pour calculer l’erreur (test) ; Répétition aléatoire de la division 250 fois ; Le paramètre λ est choisi par leave-one-out ; Nous avons utilisé les conditions aux bornes x(0) = 0 et Dx(0) = 0. Noyau Erreur moyenne Écart type de l’erreur Linéaire sur discrétisation 3,78 % 2,52 % Gaussien sur discrétisation 5,97 % 2,76 % Linéaire fonctionnel 3,12 % 1,71 % Gaussien fonctionnel 2,77 % 2,07 % (Différences significatives pour un t-test apparié entre SVM sur discrétisation et SVM fonctionnels). Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  80. 80. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Bilan et ouvertures Prolongements en cours : Choix de λ, autres fonctionnelles L,. . . Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  81. 81. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Approche par projection Approche par splines d’interpolation Bilan et ouvertures Prolongements en cours : Choix de λ, autres fonctionnelles L,. . . Le cas de la régression : si Y est réelle ? ⇒ Prise en compte de l’aspect temporel dans la modélisation de systèmes MISO par SVR : y(t) = F(x1, . . . , xp) + où xi = xi(t − k, . . . , t − 1). Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges
  82. 82. Analyse des données fonctionnelles Une petite introduction aux SVM SVM pour données fonctionnelles References Bibliographie Berlinet, A. and Thomas-Agnan, C. (2004). Reproducing Kernel Hilbert Spaces in Probability and Statistics. Kluwer Academic Publisher. Besse, P. and Ramsay, J. (1986). Principal component analysis of sampled curves. Psychometrika, 51 :285–311. Cardot, H., Ferraty, F., and Sarda, P. (1999). Functional linear model. Statistics and Probability Letters, 45 :11–22. Kimeldorf, G. and Wahba, G. (1971). Some results on Tchebycheffian spline functions. Journal of Mathematical Analysis and Applications, 33(1) :82–95. Rossi, F. and Villa, N. (2006). Support vector machine for functional data classification. Neurocomputing, 69(7-9) :730–742. Vapnik, V. (1995). The Nature of Statistical Learning Theory. Springer Verlag, New York. Villa, N. and Rossi, F. (2006). Un résultat de consistance pour des SVM fonctionnels par interpolation spline. Comptes Rendus Mathématique. Académie des Sciences. Paris, 343(8) :555–560. . . . et merci pour votre invitation et votre attention ! Nathalie Villa SVM fonctionnels, Séminaire CANSO, Limoges

×