Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Discrimination 
de courbes 
par SVM 
LSP, 
Mai 2005 
Nathalie 
Villa 
Motivations 
Exemples 
Rappels sur le 
principe SVM ...
Prochain SlideShare
Chargement dans…5
×

Traitement de données fonctionnelles par Support Vector Machine

442 vues

Publié le

Séminaire du Laboratoire de Statistique et Probabilités, Université Toulouse III
May 16th, 2005

Publié dans : Sciences
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
442
Sur SlideShare
0
Issues des intégrations
0
Intégrations
21
Actions
Partages
0
Téléchargements
19
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Traitement de données fonctionnelles par Support Vector Machine

  1. 1. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Traitement de données fonctionnelles par Support Vector Machine Nathalie Villa en collaboration avec Fabrice Rossi (INRIA, Rocquencourt) Université Toulouse Le Mirail villa@univ-tlse2.fr Séminaire LSP, 16 mai 2005
  2. 2. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Sommaire 1 Motivations Exemples Rappels sur le principe SVM 2 Aspects théoriques Approche directe Régularisation Consistance 3 Expériences Données de spectrométrie Boat / Goat
  3. 3. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Sommaire 1 Motivations Exemples Rappels sur le principe SVM 2 Aspects théoriques Approche directe Régularisation Consistance 3 Expériences Données de spectrométrie Boat / Goat
  4. 4. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Les données Problèmes de discriminations de courbes à 2 classes X 2 L2(μ) | {z } Infinite dimensional space ! Y 2 {−1; 1}
  5. 5. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Les données Problèmes de discriminations de courbes à 2 classes X 2 L2(μ) | {z } Infinite dimensional space ! Y 2 {−1; 1} Exemples : Discriminer des morceaux de viandes à fort / faible taux de graisse à partir de leur spectre infrarouge (Tecator) 0 10 20 30 40 50 60 70 80 90 100 4.5 4 3.5 3 2.5 2 Fat < 20 % 0 10 20 30 40 50 60 70 80 90 100 5.5 5 4.5 4 3.5 3 2.5 2 Fat > 20 %
  6. 6. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Les données Problèmes de discriminations de courbes à 2 classes X 2 L2(μ) | {z } Infinite dimensional space ! Y 2 {−1; 1} Exemples : Reconnaître un mot à partir d’enregistrements de voix 0 2000 4000 6000 8000 −1.0 −0.5 0.0 0.5 1.0 Boat time 0 2000 4000 6000 8000 −0.6 −0.4 −0.2 0.0 0.2 0.4 0.6 Goat time
  7. 7. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Les données Problèmes de discriminations de courbes à 2 classes X 2 L2(μ) | {z } Infinite dimensional space ! Y 2 {−1; 1} Exemples : Savoir si un individu a ou non de l’arthrite à partir de la forme de l’os de son genou (voir [Ramsay et Silverman, 2002]) 40 50 60 70 80 90 10 20 30 40 50 x pixels y pixels Creux inférieur de l’os du fémur ) Courbe construite à partir d’une photo
  8. 8. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination de courbes Contexte Lorsque X 2 L2(μ), la structure d’espace de Hilbert permet de disposer d’opérations basiques : combinaisons linéaires, normes k . k et produits scalaires h., .i.
  9. 9. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination de courbes Contexte Lorsque X 2 L2(μ), la structure d’espace de Hilbert permet de disposer d’opérations basiques : combinaisons linéaires, normes k . k et produits scalaires h., .i. Beaucoup de modèles statistiques ont été étendus au traitement de données fonctionnelles : h., .i Penalized Discriminant Analysis ([Hastie et al., 1995]) ; h., .i Réseaux de neurones (perceptrons multi-couches, réseaux RBF, SOM . . . ) ([Rossi et Conan-Guez, 2005], [Rossi et al., 2005], [Rossi et al., 2004] et [Ferré et Villa, 2005]) ; k.k k-plus proches voisins ([Biau et al., 2005]).
  10. 10. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination de courbes Contexte Lorsque X 2 L2(μ), la structure d’espace de Hilbert permet de disposer d’opérations basiques : combinaisons linéaires, normes k . k et produits scalaires h., .i. Beaucoup de modèles statistiques ont été étendus au traitement de données fonctionnelles : h., .i Penalized Discriminant Analysis ([Hastie et al., 1995]) ; h., .i Réseaux de neurones (perceptrons multi-couches, réseaux RBF, SOM . . . ) ([Rossi et Conan-Guez, 2005], [Rossi et al., 2005], [Rossi et al., 2004] et [Ferré et Villa, 2005]) ; k.k k-plus proches voisins ([Biau et al., 2005]). Ici : Support Vector Machines pour données fonctionnelles ([Villa et Rossi, 2005] et [Rossi et Villa, 2005]).
  11. 11. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Rappel sur le principe SVM Le problème Soit X 2 RD et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X.
  12. 12. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Rappel sur le principe SVM Le problème Soit X 2 RD et Y 2 {−1; 1}. On cherche à déterminer la valeur de Y connaissant la variable X. Les données On dispose de N réalisations indépendantes de (X, Y ) : (x1, y1), . . . , (xN, yN).
  13. 13. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge optimale
  14. 14. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge optimale
  15. 15. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support
  16. 16. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge optimale w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,bhw,wi, sous les contraintes : yi (hw, xi i + b) 1, 1 i N.
  17. 17. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge souple
  18. 18. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge souple
  19. 19. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support
  20. 20. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Discrimination linéaire à marge souple w marge : 1 kwk2 Vecteur Support On cherche w tel que : minw,b,hw,wi + C PNi =1 i , sous les contraintes : yi (hw, xi i + b) 1 − i , 1 i N, i 0, 1 i N.
  21. 21. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Envoyer les données dans un espace de grande dimension Espace initial RD
  22. 22. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Envoyer les données dans un espace de grande dimension Espace initial RD Espace image X (non linéaire)
  23. 23. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Envoyer les données dans un espace de grande dimension Espace initial RD Espace image X (non linéaire)
  24. 24. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Envoyer les données dans un espace de grande dimension Espace initial RD Espace image X (non linéaire) est implicite par l’utilisation d’un noyau : h(x), (x0)iX = K(x, x0)
  25. 25. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Envoyer les données dans un espace de grande dimension Espace initial RD Espace image X (non linéaire) est implicite par l’utilisation d’un noyau : h(x), (x0)iX = K(x, x0) X est un RKHS, un espace de fonctions de RD dans R tel que : 8 f 2 X, hK(., x), f (.)iX = f (x)
  26. 26. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie En résumé... SVM à noyau On cherche w 2 X tel que : minw,b,hw,wiX + C PNi =1 i , sous : yi (hw, (xi )iX + b) 1 − i , 1 i N, i 0, 1 i N.
  27. 27. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie En résumé... SVM à noyau On cherche w 2 X tel que : minw,b,hw,wiX + C PNi =1 i , sous : yi (hw, (xi )iX + b) 1 − i , 1 i N, i 0, 1 i N. Formulation duale Le problème admet la formulation duale : max PNi =1 i − PNi =1 PNj =1 ijyi yjK(xi , xj ), sous les contraintes : PNi =1 i yi = 0, 0 i C, 1 i N,
  28. 28. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Sommaire 1 Motivations Exemples Rappels sur le principe SVM 2 Aspects théoriques Approche directe Régularisation Consistance 3 Expériences Données de spectrométrie Boat / Goat
  29. 29. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Données fonctionnelles Ensemble d’apprentissage (x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ;
  30. 30. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Données fonctionnelles Ensemble d’apprentissage (x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ; Chaque xn est décrit par une discrétisation (xn(tn 1 ), . . . , xn(tnD n )). Typiquement, D N.
  31. 31. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Données fonctionnelles Ensemble d’apprentissage (x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ; Chaque xn est décrit par une discrétisation (xn(tn 1 ), . . . , xn(tnD n )). Typiquement, D N. Dans L2(μ) Tout ensemble de fonctions R est linéairement séparable ; ) K(xi , xj ) = hxi , xj i = xi xjdμ et marges dures ;
  32. 32. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Données fonctionnelles Ensemble d’apprentissage (x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ; Chaque xn est décrit par une discrétisation (xn(tn 1 ), . . . , xn(tnD n )). Typiquement, D N. Dans L2(μ) Tout ensemble de fonctions R est linéairement séparable ; ) K(xi , xj ) = hxi , xj i = xi xjdμ et marges dures ; La forme duale est encore valable ([Lin, 2001]) : (D0) max PNi =1 i − PNi =1 PNj =1 ijyi yj R xi xjdμ, sous : PNi =1 i yi = 0, 0 i , 1 i N.
  33. 33. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Limites de l’approche directe Adéquation de la solution La solution n’est pas satisfaisante (non pertinente) ! !
  34. 34. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Limites de l’approche directe Adéquation de la solution La solution n’est pas satisfaisante (non pertinente) ! ! Exemple : Paramétrisation uniforme par longueur d’arc du creux de l’os xx x xx x x x xxxxxxx xx x x x x x xx xx xx xxxxxxx xx xxxxxxx xxxxxxxxx xxxxxxxxx xx x xx x x x xxx x x x x x x x x x x x x x x x x x x x x x x xxx xxxxxxxxxxxxx xxxxxxxxxxxx xx xxxxxx xxxx xxxx xxxx xxxxxxxxxxxxx xx x xx xxxxxxxxxx 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 x x x x x x x x x x x x x xxxxxxxxxxxx xx xxxxxx xxxx xxxx xxxx xxxxxx xx xxxx x xx xxxx xx xx xxx xx xxxxx x xxxxxxxxx xxxxxxxxxxxx xx xxxxxx xxxx xxxx xxxx xxxxxx xxxxx 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 (X(t1), . . . , X(t50), Y (t1), . . . , Y (t50)) 2 R100 SVM −−−! Arthrite ? ? ?
  35. 35. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Limites de l’approche directe Adéquation de la solution La solution n’est pas satisfaisante (non pertinente) ! ! Exemple : Fonction moyenne et direction discriminante 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6
  36. 36. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Régularisation Marges souples Voir [Hastie et al., 2004] (DC ) max PNi =1 i − PNi =1 PNj =1 ijyi yj R xi xjdμ, sous les contraintes : PNi =1 i yi = 0, 0 i C, 1 i N.
  37. 37. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Régularisation Marges souples Voir [Hastie et al., 2004] (DC ) max PNi =1 i − PNi =1 PNj =1 ijyi yj R xi xjdμ, sous les contraintes : PNi =1 i yi = 0, 0 i C, 1 i N. Encore plus de régularisation ! Projection des données sur un sous-espace de L2(μ) (B-Spline, ondelettes, ACP, FIR, . . . ) ) Retour en dimension finie ;
  38. 38. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Régularisation Marges souples Voir [Hastie et al., 2004] (DC ) max PNi =1 i − PNi =1 PNj =1 ijyi yj R xi xjdμ, sous les contraintes : PNi =1 i yi = 0, 0 i C, 1 i N. Encore plus de régularisation ! Projection des données sur un sous-espace de L2(μ) (B-Spline, ondelettes, ACP, FIR, . . . ) ) Retour en dimension finie ; Utilisation de noyaux définis par rapport à la norme ou au produit scalaire ;
  39. 39. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Régularisation Marges souples Voir [Hastie et al., 2004] (DC ) max PNi =1 i − PNi =1 PNj =1 ijyi yj R xi xjdμ, sous les contraintes : PNi =1 i yi = 0, 0 i C, 1 i N. Encore plus de régularisation ! Projection des données sur un sous-espace de L2(μ) (B-Spline, ondelettes, ACP, FIR, . . . ) ) Retour en dimension finie ; Utilisation de noyaux définis par rapport à la norme ou au produit scalaire ; Utilisation de transformations fonctionnelles (dérivées. . . ) . . .
  40. 40. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie Choix du noyau Choisir { j}j1 une base P hilbertienne de L2(μ) : 8 n = 1, . . . ,N, xn = j1 xnj j ;
  41. 41. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie Choix du noyau Choisir { j}j1 une base P hilbertienne de L2(μ) : 8 n = 1, . . . ,N, xn = j1 xnj j ; Utiliser un SVM standard sur les coordonnées x(d) i = (xi1, . . . , xid ) ; Ceci revient à choisir le noyau : K(x, x0) = K(P(x),P(x0)) où P : x 2 L2(μ) ! Rd est la projection sur Vect { j}j=1,...,d ;
  42. 42. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Une procédure consistante Choisir les paramètres Paramètres à déterminer : d, C, K, paramètres liés à K :
  43. 43. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Une procédure consistante Choisir les paramètres Paramètres à déterminer : d, C, K, paramètres liés à K : Pour tout d 1, tout C 2]0; Cd ] et tout K 2 Kd (ensemble fini), effectuer l’apprentissage sur l observations ! construction de la fonction de décision ;
  44. 44. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Une procédure consistante Choisir les paramètres Paramètres à déterminer : d, C, K, paramètres liés à K : Pour tout d 1, tout C 2]0; Cd ] et tout K 2 Kd (ensemble fini), effectuer l’apprentissage sur l observations ! construction de la fonction de décision ; évaluer l’erreur sur les m = N − l observations restantes : (fonction d’erreur pénalisée) 1 m XN n=l+1 11{(xn)6=yn} + d p N − l
  45. 45. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Résultat Consistance Le classifieur construit de cette manière-là est universellement consistant : son erreur converge vers l’erreur de Bayes.
  46. 46. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Résultat Consistance Le classifieur construit de cette manière-là est universellement consistant : son erreur converge vers l’erreur de Bayes. Limites du résultat : X doit être bornée dans L2(μ) ; La base de projection doit être orthogonale (6= B-Splines, ACP, . . . ).
  47. 47. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Sommaire 1 Motivations Exemples Rappels sur le principe SVM 2 Aspects théoriques Approche directe Régularisation Consistance 3 Expériences Données de spectrométrie Boat / Goat
  48. 48. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Données de spectrométrie But : Séparer les morceaux de viande avec un fort contenu de graisse ( 20 %) de ceux avec un faible contenu. 0 10 20 30 40 50 60 70 80 90 100 4.5 4 3.5 3 2.5 2 Fat 20 % 0 10 20 30 40 50 60 70 80 90 100 5.5 5 4.5 4 3.5 3 2.5 2 Fat 20 %
  49. 49. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie et résultats Description des données et méthodes 215 spectres discrétisés en 100 points. 50 découpages aléatoires en : 120 (apprentissage) / 95 (test) ; 10 CV pour la détermination des paramètres.
  50. 50. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie et résultats Description des données et méthodes 215 spectres discrétisés en 100 points. 50 découpages aléatoires en : 120 (apprentissage) / 95 (test) ; 10 CV pour la détermination des paramètres. Résultats Noyau Erreur moyenne (test) Linéaire 2.7% Linéaire sur X00 2.3% Gaussien 6.1% Gaussien sur X00 1.9% Les résultats entre gaussien sur X00 et linéaire sont significativement différents (t-test) Gaussien sur X00 est meilleur que linéaire dans 27 cas sur 50 (égal dans 10 cas).
  51. 51. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Reconnaissance vocale But : Différencier les mots Boat et Goat 0 2000 4000 6000 8000 −1.0 −0.5 0.0 0.5 1.0 Boat time 0 2000 4000 6000 8000 −0.6 −0.4 −0.2 0.0 0.2 0.4 0.6 Goat time
  52. 52. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie et résultats Description des données et méthodes 100 enregistrements discrétisés en 8 192 points ( ! ! !)
  53. 53. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie et résultats Description des données et méthodes 100 enregistrements discrétisés en 8 192 points ( ! ! !) Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par Leave-One-Out.
  54. 54. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Méthodologie et résultats Description des données et méthodes 100 enregistrements discrétisés en 8 192 points ( ! ! !) Mise en oeuvre de la procédure consistante : Projection sur une base trigonométrique ; Partage de la base de données en 50 spectres (apprentissage) / 49 (validation) ; Performances déterminées par Leave-One-Out. Résultats Méthodes Erreur LOO SVM linéaire sur données brutes 46% SVM gaussien sur projection 8% k-plus proches voisins sur projection 21%
  55. 55. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Conclusion et perspectives Possibilité de traiter les données fonctionnelles par SVM;
  56. 56. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Conclusion et perspectives Possibilité de traiter les données fonctionnelles par SVM; Une approche par projection permet d’obtenir une procédure consistante ;
  57. 57. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Conclusion et perspectives Possibilité de traiter les données fonctionnelles par SVM; Une approche par projection permet d’obtenir une procédure consistante ; D’un point de vue pratique : La projection permet d’obtenir une régularisation supplémentaire qui améliore les performances ; Des opérations fonctionnelles peuvent également améliorer les performances ;
  58. 58. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie Conclusion et perspectives Possibilité de traiter les données fonctionnelles par SVM; Une approche par projection permet d’obtenir une procédure consistante ; D’un point de vue pratique : La projection permet d’obtenir une régularisation supplémentaire qui améliore les performances ; Des opérations fonctionnelles peuvent également améliorer les performances ; Quelques questions ouvertes : Relacher les conditions pour la consistance (base B-Spline, autres) ; Etudier la consistance du point de vue des problèmes de régression.
  59. 59. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie G. Biau, F. Bunea, et M. Wegkamp. Functional Classification in Hilbert Spaces. IEEE Transactions on Information Theory, 2005. A paraître. L. Ferré et N. Villa. Multi-layer Neural Network with Functional Inputs. 2005. Soumis à publication. T. Hastie, A. Buja, et R. Tibshirani. Penalized Discriminant Analysis. Annals of Statistics, 23 : 73–102, 1995. T. Hastie, S. Rosset, R. Tibschirani, et J. Zhu. The entire regularization path for the support vector machine. Journal of Machine Learning Research, 5 : 1391–1415, 2004. C.J. Lin. Formulations of support vector machines : a note from an optimization point of view. Neural Computation, 2(13) : 307–317, 2001. J.O. Ramsay et B.W. Silverman. Applied Functional Data Analysis. Springer Verlag, 2002. F. Rossi, B. Conan-Guez, et A. El Golli. Clustering functional data with the som algorithm. In ESANN’2004 proceedings, 305–312, Bruges, Belgique, 2004.
  60. 60. Discrimination de courbes par SVM LSP, Mai 2005 Nathalie Villa Motivations Exemples Rappels sur le principe SVM Aspects théoriques Approche directe Régularisation Consistance Expériences Données de spectrométrie Boat / Goat Bibliographie F. Rossi, N. Delannay, B. Conan-Guez, et M. Verleysen. Representation of functional data in neural networks. Neurocomputing, 64 : 183–210, 2005. F. Rossi et B. Conan-Guez. Functional Multi-Layer perceptron : a nonlinear tool for functional data anlysis. Neural Networks, 18(1) : 45–60, 2005. F. Rossi et N. Villa. Classification in Hilbert Spaces with Support Vector Machines. In ASMDA 2005 proceedings, Brest, France, 2005. A paraître. N. Villa et F. Rossi. Support Vector Machine for Functional Data Classification. In ESANN proceedings, 467–472, 2005.

×