Une introduction à la géométrie de l'informationFrank Nielsen
These are the slide deck in french of a 40 minute lecture given at College de France on 23 February 2022 in the curriculum "Information and Complexity" of Prof. Stephane Mallat. https://www.college-de-france.fr/site/stephane-mallat/seminar-2022-02-23-11h15.htm
Le principe d'entropie maximale vise à définir une contrainte pour chaque information observée et choisir la distribution qui maximise l'entropie tout en restant consistante vis-à-vis de l'ensemble de ces contraintes (Jaynes, 1957). Dans ce cadre d'optimisation sous contraintes, il est mathématiquement prouvé qu'une solution unique existe et un algorithme itératif garantit la convergence vers cette dernière (Ratnaparkhi, 1996).
Pour tout commentaire, correction, amélioration : prénom.nom /arb/ irit.fr (Jean-Philippe Fauconnier)
Les systèmes non linéaires sont plus difficiles à étudier que les systèmes linéaires. Néanmoins, en linéarisant (cas de systèmes linéarisable) un SNL, autour d'un point A de considération finie (situation ou état du système), on obtient un système linéaire qui correspond à une approximation grossière du système non linéaire d’origine.
Cette approche a atteint sa maturité dans le livre de H.W.Bode (1905-1982) à la fin de la IIème guerre mondiale. Les travaux de R.E.Bellman (1920-1984), L.S.Pontryagin et al (1908-1988) surtout de R.Kalman (1930) ont conduit nombre d'automaticiens à privilégier la représentation d‘espace d’état à partir des années 1960.
Un système est non linéaire s’il se comporte non linéairement par rapport à ses composantes intrinsèques.
CHAPITRE VIII : Systèmes linéaires Modélisation & SimulationMohammed TAMALI
Dans la réalité des choses, les systèmes qui composent et forment notre univers sont parfaitement non-linéaires. Pour des raisons de prise en considération et d’étude, nous considérons, pour des systèmes donnés, que la région où celui-ci se comporte d’une manière continu et linéaire.
Le caractère de proportionnalité et de superposition est alors significatif pour ce genre de systèmes.
Le système, c’est la composition au sens Bertallanfy. Nous sous-entendons par cette remarque que SYSTÈME LINEAIRE est non totalement compatible à SYSTÈME D’EQUATIONS LINEAIRES.
Une équation est dite linéaire si les variables font apparaître des évolutions indépendantes proportionnelles. Un système d’équations linéaires, est une compositions de telles équations.
Le système est dit LINÉAIRE si la fonction de transfert qui décrit son comportement fonctionnel est elle-même linéaire. Cette dernière vérifie alors les principes de la proportionnalité et de la superposition.
This document summarizes a student project analyzing and simulating multilevel inverter topologies using MATLAB/Simulink. The objectives are to conduct a literature review on multilevel inverter configurations, develop and simulate different two-level and multilevel inverter topologies using PWM techniques, and determine the characteristics and harmonics levels. The scope includes applications like motor drives, DC transmission, FACTS, and renewable energy integration. Literature discusses how multilevel inverters synthesize voltages from multiple DC levels and are suitable for industrial high power applications. Diode-clamped, flying capacitor, and cascaded/H-bridge topologies will be studied. The methodology involves designing simulation models and analyzing performance results.
Une introduction à la géométrie de l'informationFrank Nielsen
These are the slide deck in french of a 40 minute lecture given at College de France on 23 February 2022 in the curriculum "Information and Complexity" of Prof. Stephane Mallat. https://www.college-de-france.fr/site/stephane-mallat/seminar-2022-02-23-11h15.htm
Le principe d'entropie maximale vise à définir une contrainte pour chaque information observée et choisir la distribution qui maximise l'entropie tout en restant consistante vis-à-vis de l'ensemble de ces contraintes (Jaynes, 1957). Dans ce cadre d'optimisation sous contraintes, il est mathématiquement prouvé qu'une solution unique existe et un algorithme itératif garantit la convergence vers cette dernière (Ratnaparkhi, 1996).
Pour tout commentaire, correction, amélioration : prénom.nom /arb/ irit.fr (Jean-Philippe Fauconnier)
Les systèmes non linéaires sont plus difficiles à étudier que les systèmes linéaires. Néanmoins, en linéarisant (cas de systèmes linéarisable) un SNL, autour d'un point A de considération finie (situation ou état du système), on obtient un système linéaire qui correspond à une approximation grossière du système non linéaire d’origine.
Cette approche a atteint sa maturité dans le livre de H.W.Bode (1905-1982) à la fin de la IIème guerre mondiale. Les travaux de R.E.Bellman (1920-1984), L.S.Pontryagin et al (1908-1988) surtout de R.Kalman (1930) ont conduit nombre d'automaticiens à privilégier la représentation d‘espace d’état à partir des années 1960.
Un système est non linéaire s’il se comporte non linéairement par rapport à ses composantes intrinsèques.
CHAPITRE VIII : Systèmes linéaires Modélisation & SimulationMohammed TAMALI
Dans la réalité des choses, les systèmes qui composent et forment notre univers sont parfaitement non-linéaires. Pour des raisons de prise en considération et d’étude, nous considérons, pour des systèmes donnés, que la région où celui-ci se comporte d’une manière continu et linéaire.
Le caractère de proportionnalité et de superposition est alors significatif pour ce genre de systèmes.
Le système, c’est la composition au sens Bertallanfy. Nous sous-entendons par cette remarque que SYSTÈME LINEAIRE est non totalement compatible à SYSTÈME D’EQUATIONS LINEAIRES.
Une équation est dite linéaire si les variables font apparaître des évolutions indépendantes proportionnelles. Un système d’équations linéaires, est une compositions de telles équations.
Le système est dit LINÉAIRE si la fonction de transfert qui décrit son comportement fonctionnel est elle-même linéaire. Cette dernière vérifie alors les principes de la proportionnalité et de la superposition.
This document summarizes a student project analyzing and simulating multilevel inverter topologies using MATLAB/Simulink. The objectives are to conduct a literature review on multilevel inverter configurations, develop and simulate different two-level and multilevel inverter topologies using PWM techniques, and determine the characteristics and harmonics levels. The scope includes applications like motor drives, DC transmission, FACTS, and renewable energy integration. Literature discusses how multilevel inverters synthesize voltages from multiple DC levels and are suitable for industrial high power applications. Diode-clamped, flying capacitor, and cascaded/H-bridge topologies will be studied. The methodology involves designing simulation models and analyzing performance results.
Space Vector Modulation(SVM) Technique for PWM InverterPurushotam Kumar
This document discusses space vector pulse width modulation (SVM) for three-phase voltage source inverters. It begins by introducing SVM and its benefits over other PWM techniques, such as reduced total harmonic distortion. It then provides details on how SVM works, including transforming a three-phase reference signal to a rotating vector in the d-q reference frame. The document explains the eight possible switching states, sectors, and how to calculate switching times to synthesize the reference signal using adjacent active vectors and zero vectors. It concludes by comparing SVM to sinusoidal PWM, showing SVM offers better voltage utilization and harmonic performance.
Low self-esteem affects the way you see yourself, do your job, and relate with the people around you. Learn to overcome it with these quick tips.
More themed slides: https://slideshop.com/Themed-Slides
Racines en haut et feuilles en bas : les arbres en mathstuxette
1. The document discusses methods for clustering and differential analysis of Hi-C matrices, which represent the 3D organization of DNA.
2. It proposes extending Ward's hierarchical clustering to directly use Hi-C similarity matrices while enforcing adjacency constraints. A fast algorithm was also developed.
3. A new method called "treediff" was created to perform differential analysis of Hi-C matrices based on the Wasserstein distance between hierarchical clusterings. Software implementations of these methods were also developed.
Méthodes à noyaux pour l’intégration de données hétérogènestuxette
The document discusses a presentation about multi-omics data integration methods using kernel methods. The presentation introduces kernel methods, how they can be used to integrate heterogeneous omics data, and examples of applications. Specifically, it discusses using kernel methods to perform unsupervised transformation-based integration of multi-omics data. It also presents an application of constrained kernel hierarchical clustering to analyze Hi-C data by directly using Hi-C matrices as kernels.
Méthodologies d'intégration de données omiquestuxette
This document presents a presentation on multi-omics data integration methods given by Nathalie Vialaneix on December 13, 2023. The presentation discusses different types of omics data that can be integrated, both vertically across different levels of omics data on the same samples and horizontally across similar types of omics data on different samples. It also discusses different analysis approaches that can be taken, including supervised and unsupervised methods. The rest of the presentation focuses on unsupervised transformation-based integration methods using kernels.
The document discusses current and future work on analyzing Hi-C data and differential analysis of Hi-C matrices. It describes a clustering method developed to partition chromosomes based on Hi-C matrix similarity. It also introduces a new method called treediff for differential analysis of Hi-C data that calculates the distance between hierarchical clusterings. Current work includes reviewing differential analysis methods, investigating differential subtrees with multiple testing control, and inferring chromatin interaction networks.
Can deep learning learn chromatin structure from sequence?tuxette
This document discusses a deep learning model called ORCA that can predict chromatin structure from DNA sequence. The model uses a neural network with an encoder to extract features from sequence and a decoder to predict Hi-C matrices. It was trained on Hi-C data from multiple cell types and can predict interactions between regions at various resolutions. The model accurately captures features like CTCF-mediated loops and can predict effects of structural variants on chromatin structure. It allows for in silico mutagenesis to study how mutations may alter 3D genome organization.
Multi-omics data integration methods: kernel and other machine learning appro...tuxette
The document discusses multi-omics data integration methods, particularly kernel methods. It describes how kernel methods transform data into similarity matrices between samples rather than relying on variable space. Multiple kernel integration approaches are presented that combine multiple similarity matrices into a consensus kernel in an unsupervised manner, such as through a STATIS-like framework that maximizes the similarity between kernels. Examples of applications to datasets from the TARA Oceans expedition are given.
This document provides an overview of the MetaboWean and Idefics projects. MetaboWean aims to study the co-evolution of gut microbiota and epithelium during suckling-to-weaning transition in rabbits, using metabolomics, metagenomics, and single-cell RNA sequencing data. Idefics integrates multiple omics datasets from human skin samples to understand relationships between microorganisms and molecules and how they are structured in patient groups. The datasets include metagenomics, metabolomics, and proteomics from host and microbiota.
Rserve, renv, flask, Vue.js dans un docker pour intégrer des données omiques ...tuxette
ASTERICS is an interactive and integrative data analysis tool for omics data. It uses Rserve and PyRserve with Flask and Vue.js in a Docker container to integrate omics data. The backend uses Rserve and PyRserve with Flask on the server side, while the frontend uses Vue.js. This architecture was chosen for its open source and light design. Data communication between Rserve and PyRserve is limited, requiring an object database. ASTERICS is deployed using three Docker containers for R, Python, and
Apprentissage pour la biologie moléculaire et l’analyse de données omiquestuxette
This document summarizes a scientific presentation about molecular biology and omics data analysis. The presentation covers topics related to analyzing large omics datasets using methods like kernel methods, graphical models, and neural networks to learn gene regulation networks and predict phenotypes. Key challenges addressed are handling big data, missing values, non-Gaussian data types like counts and compositional data. The goal is to better understand complex biological systems from multi-omics data.
Quelques résultats préliminaires de l'évaluation de méthodes d'inférence de r...tuxette
The document summarizes preliminary results from evaluating methods for inferring gene regulatory networks from expression data in Bacillus subtilis. It finds that recall of the known network is generally poor (<20% for random forest), but inferred clusters still retain biological information about common regulators. It plans to confirm results, test restricting edges to sigma factors, and explore other inference methods like Bayesian networks and ARACNE.
Intégration de données omiques multi-échelles : méthodes à noyau et autres ap...tuxette
The document discusses methods for integrating multi-scale omics data using kernel and machine learning approaches. It describes how omics data is large, heterogeneous, and multi-scaled, creating bottlenecks for analysis. Methods discussed for data integration include multiple kernel learning to combine different relational datasets in an unsupervised way. The methods are applied to integrate different datasets from the TARA Oceans expedition to identify patterns in ocean microbial communities. Improving interpretability of the methods and making them more accessible to biological users is discussed.
Journal club: Validation of cluster analysis results on validation datatuxette
This document presents a framework for validating cluster analysis results on validation data. It describes situations where clustering is inferential versus descriptive and recommends using validation data separate from the data used for clustering. A typology of validation methods is provided, including validation based on the clustering method or results, and evaluation using internal validation, external validation, visual properties, or stability measures.
The document discusses the differences between overfitting and overparametrization in machine learning models. It explores how random forests may exhibit a phenomenon known as "double descent" where test error initially decreases then increases with more parameters before decreasing again. While double descent has been observed in other models, the document questions whether it is directly due to model complexity in random forests since very large trees may be unable to fully interpolate extremely large datasets.
Selective inference and single-cell differential analysistuxette
This document discusses selective inference and single-cell differential analysis. It introduces the problem of "double dipping" in the standard single-cell analysis pipeline where the same dataset is used for clustering and differential analysis. Two approaches for addressing this are presented: 1) A method that perturbs clusters before testing for differences, and 2) A test based on a truncated distribution that assumes clusters and genes are given separately. Experiments applying these methods to real single-cell datasets are described. The document outlines challenges in extending these approaches to more complex analyses.
SOMbrero : un package R pour les cartes auto-organisatricestuxette
SOMbrero is an R package that implements self-organizing map (SOM) algorithms. It can handle numeric, non-numeric, and relational data. The package contains functions for training SOMs, diagnosing results, and plotting maps. It also includes tools like a shiny app and vignettes to aid users without programming experience. SOMbrero supports missing data imputation and extends SOM to relational datasets through non-Euclidean distance measures.
Graph Neural Network for Phenotype Predictiontuxette
This document describes a study on using graph neural networks (GNNs) for phenotype prediction from gene expression data. The objectives are to determine if including network information can improve predictions, which network types work best, and if GNNs can learn network inferences. It provides background on GNNs and how they generalize convolutional layers to graph data. The authors implemented a GNN model from previous work as a starting point and tested it on different network types to see which network information is most useful for predictions. Their methodology involves comparing GNN performance to other methods like random forests using 10-fold cross validation.
A short and naive introduction to using network in prediction modelstuxette
The document provides an introduction to using network information in prediction models. It discusses representing a network as a graph with a Laplacian matrix. The Laplacian captures properties like random walks on the graph and heat diffusion. Eigenvectors of the Laplacian related to small eigenvalues are strongly tied to graph structure. The document discusses using the Laplacian in prediction models by working in the feature space defined by the Laplacian eigenvectors or directly regularizing a linear model with the Laplacian. This introduces network information and encourages similar contributions from connected nodes. The approaches are applied to problems like predicting phenotypes from gene expression using a known gene network.
Traitement de données fonctionnelles par Support Vector Machine
1. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Traitement de données fonctionnelles par
Support Vector Machine
Nathalie Villa
en collaboration avec Fabrice Rossi (INRIA, Rocquencourt)
Université Toulouse Le Mirail
villa@univ-tlse2.fr
Séminaire LSP, 16 mai 2005
2. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Sommaire
1 Motivations
Exemples
Rappels sur le principe SVM
2 Aspects théoriques
Approche directe
Régularisation
Consistance
3 Expériences
Données de spectrométrie
Boat / Goat
3. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Sommaire
1 Motivations
Exemples
Rappels sur le principe SVM
2 Aspects théoriques
Approche directe
Régularisation
Consistance
3 Expériences
Données de spectrométrie
Boat / Goat
4. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Les données
Problèmes de discriminations de courbes à 2 classes
X 2 L2(μ) | {z }
Infinite dimensional space
! Y 2 {−1; 1}
5. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Les données
Problèmes de discriminations de courbes à 2 classes
X 2 L2(μ) | {z }
Infinite dimensional space
! Y 2 {−1; 1}
Exemples : Discriminer des morceaux de viandes à fort / faible
taux de graisse à partir de leur spectre infrarouge (Tecator)
0 10 20 30 40 50 60 70 80 90 100
4.5
4
3.5
3
2.5
2
Fat < 20 %
0 10 20 30 40 50 60 70 80 90 100
5.5
5
4.5
4
3.5
3
2.5
2
Fat > 20 %
6. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Les données
Problèmes de discriminations de courbes à 2 classes
X 2 L2(μ) | {z }
Infinite dimensional space
! Y 2 {−1; 1}
Exemples : Reconnaître un mot à partir d’enregistrements de
voix
0 2000 4000 6000 8000
−1.0 −0.5 0.0 0.5 1.0
Boat
time
0 2000 4000 6000 8000
−0.6 −0.4 −0.2 0.0 0.2 0.4 0.6
Goat
time
7. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Les données
Problèmes de discriminations de courbes à 2 classes
X 2 L2(μ) | {z }
Infinite dimensional space
! Y 2 {−1; 1}
Exemples : Savoir si un individu a ou non de l’arthrite à partir
de la forme de l’os de son genou (voir [Ramsay et Silverman, 2002])
40 50 60 70 80 90
10 20 30 40 50
x pixels
y pixels
Creux inférieur de l’os du fémur ) Courbe construite
à partir d’une photo
8. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination de courbes
Contexte
Lorsque X 2 L2(μ), la structure d’espace de Hilbert
permet de disposer d’opérations basiques : combinaisons
linéaires, normes k . k et produits scalaires h., .i.
9. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination de courbes
Contexte
Lorsque X 2 L2(μ), la structure d’espace de Hilbert
permet de disposer d’opérations basiques : combinaisons
linéaires, normes k . k et produits scalaires h., .i.
Beaucoup de modèles statistiques ont été étendus au
traitement de données fonctionnelles :
h., .i Penalized Discriminant Analysis ([Hastie et al., 1995]) ;
h., .i Réseaux de neurones (perceptrons multi-couches, réseaux
RBF, SOM . . . ) ([Rossi et Conan-Guez, 2005],
[Rossi et al., 2005], [Rossi et al., 2004] et
[Ferré et Villa, 2005]) ;
k.k k-plus proches voisins ([Biau et al., 2005]).
10. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination de courbes
Contexte
Lorsque X 2 L2(μ), la structure d’espace de Hilbert
permet de disposer d’opérations basiques : combinaisons
linéaires, normes k . k et produits scalaires h., .i.
Beaucoup de modèles statistiques ont été étendus au
traitement de données fonctionnelles :
h., .i Penalized Discriminant Analysis ([Hastie et al., 1995]) ;
h., .i Réseaux de neurones (perceptrons multi-couches, réseaux
RBF, SOM . . . ) ([Rossi et Conan-Guez, 2005],
[Rossi et al., 2005], [Rossi et al., 2004] et
[Ferré et Villa, 2005]) ;
k.k k-plus proches voisins ([Biau et al., 2005]).
Ici : Support Vector Machines pour données fonctionnelles
([Villa et Rossi, 2005] et [Rossi et Villa, 2005]).
11. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Rappel sur le principe SVM
Le problème
Soit X 2 RD et Y 2 {−1; 1}.
On cherche à déterminer la valeur de Y connaissant la variable
X.
12. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Rappel sur le principe SVM
Le problème
Soit X 2 RD et Y 2 {−1; 1}.
On cherche à déterminer la valeur de Y connaissant la variable
X.
Les données
On dispose de N réalisations indépendantes de (X, Y ) :
(x1, y1), . . . , (xN, yN).
13. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination linéaire à marge optimale
14. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination linéaire à marge optimale
15. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination linéaire à marge optimale
w
marge : 1
kwk2
Vecteur Support
16. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination linéaire à marge optimale
w
marge : 1
kwk2
Vecteur Support
On cherche w tel que :
minw,bhw,wi,
sous les contraintes : yi (hw, xi i + b) 1, 1 i N.
17. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination linéaire à marge souple
18. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination linéaire à marge souple
19. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination linéaire à marge souple
w
marge : 1
kwk2
Vecteur Support
20. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Discrimination linéaire à marge souple
w
marge : 1
kwk2
Vecteur Support
On cherche w tel que :
minw,b,hw,wi + C
PNi
=1 i ,
sous les contraintes : yi (hw, xi i + b) 1 − i , 1 i N,
i 0, 1 i N.
21. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Envoyer les données dans un espace de grande
dimension
Espace initial RD
22. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Envoyer les données dans un espace de grande
dimension
Espace initial RD Espace image X
(non linéaire)
23. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Envoyer les données dans un espace de grande
dimension
Espace initial RD Espace image X
(non linéaire)
24. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Envoyer les données dans un espace de grande
dimension
Espace initial RD Espace image X
(non linéaire)
est implicite par l’utilisation d’un noyau :
h(x), (x0)iX = K(x, x0)
25. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Envoyer les données dans un espace de grande
dimension
Espace initial RD Espace image X
(non linéaire)
est implicite par l’utilisation d’un noyau :
h(x), (x0)iX = K(x, x0)
X est un RKHS, un espace de fonctions de RD dans R tel
que :
8 f 2 X, hK(., x), f (.)iX = f (x)
26. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
En résumé...
SVM à noyau
On cherche w 2 X tel que :
minw,b,hw,wiX + C
PNi
=1 i ,
sous : yi (hw, (xi )iX + b) 1 − i , 1 i N,
i 0, 1 i N.
27. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
En résumé...
SVM à noyau
On cherche w 2 X tel que :
minw,b,hw,wiX + C
PNi
=1 i ,
sous : yi (hw, (xi )iX + b) 1 − i , 1 i N,
i 0, 1 i N.
Formulation duale
Le problème admet la formulation duale :
max
PNi
=1 i −
PNi
=1
PNj
=1 ijyi yjK(xi , xj ),
sous les contraintes :
PNi
=1 i yi = 0,
0 i C, 1 i N,
28. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Sommaire
1 Motivations
Exemples
Rappels sur le principe SVM
2 Aspects théoriques
Approche directe
Régularisation
Consistance
3 Expériences
Données de spectrométrie
Boat / Goat
29. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Données fonctionnelles
Ensemble d’apprentissage
(x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ;
30. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Données fonctionnelles
Ensemble d’apprentissage
(x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ;
Chaque xn est décrit par une discrétisation
(xn(tn
1 ), . . . , xn(tnD
n )). Typiquement, D N.
31. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Données fonctionnelles
Ensemble d’apprentissage
(x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ;
Chaque xn est décrit par une discrétisation
(xn(tn
1 ), . . . , xn(tnD
n )). Typiquement, D N.
Dans L2(μ)
Tout ensemble de fonctions R
est linéairement séparable ;
) K(xi , xj ) = hxi , xj i =
xi xjdμ et marges dures ;
32. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Données fonctionnelles
Ensemble d’apprentissage
(x1, y1), . . . , (xN, yN) 2 L2(μ) × {−1; 1} ;
Chaque xn est décrit par une discrétisation
(xn(tn
1 ), . . . , xn(tnD
n )). Typiquement, D N.
Dans L2(μ)
Tout ensemble de fonctions R
est linéairement séparable ;
) K(xi , xj ) = hxi , xj i =
xi xjdμ et marges dures ;
La forme duale est encore valable ([Lin, 2001]) :
(D0) max
PNi
=1 i −
PNi
=1
PNj
=1 ijyi yj
R
xi xjdμ,
sous :
PNi
=1 i yi = 0,
0 i , 1 i N.
33. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Limites de l’approche directe
Adéquation de la solution
La solution n’est pas satisfaisante (non pertinente) ! !
34. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Limites de l’approche directe
Adéquation de la solution
La solution n’est pas satisfaisante (non pertinente) ! !
Exemple : Paramétrisation uniforme par longueur d’arc du creux de l’os
xx x xx x x x xxxxxxx
xx
x
x x x x
xx
xx
xx
xxxxxxx
xx
xxxxxxx
xxxxxxxxx
xxxxxxxxx
xx x xx x x x xxx
x x x x x x x x x x x x x
x x x x x x x x x
xxx
xxxxxxxxxxxxx
xxxxxxxxxxxx
xx
xxxxxx
xxxx
xxxx
xxxx
xxxxxxxxxxxxx
xx x xx xxxxxxxxxx
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
x x
x x
x x
x x x x x x x
xxxxxxxxxxxx
xx
xxxxxx
xxxx
xxxx
xxxx
xxxxxx
xx xxxx x xx xxxx xx
xx
xxx
xx
xxxxx x xxxxxxxxx
xxxxxxxxxxxx
xx
xxxxxx
xxxx
xxxx
xxxx
xxxxxx
xxxxx
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
(X(t1), . . . , X(t50), Y (t1), . . . , Y (t50)) 2 R100
SVM
−−−! Arthrite ? ? ?
35. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Limites de l’approche directe
Adéquation de la solution
La solution n’est pas satisfaisante (non pertinente) ! !
Exemple : Fonction moyenne et direction discriminante
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6
36. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Régularisation
Marges souples
Voir [Hastie et al., 2004]
(DC ) max
PNi
=1 i −
PNi
=1
PNj
=1 ijyi yj
R
xi xjdμ,
sous les contraintes :
PNi
=1 i yi = 0,
0 i C, 1 i N.
37. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Régularisation
Marges souples
Voir [Hastie et al., 2004]
(DC ) max
PNi
=1 i −
PNi
=1
PNj
=1 ijyi yj
R
xi xjdμ,
sous les contraintes :
PNi
=1 i yi = 0,
0 i C, 1 i N.
Encore plus de régularisation !
Projection des données sur un sous-espace de L2(μ) (B-Spline,
ondelettes, ACP, FIR, . . . ) ) Retour en dimension finie ;
38. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Régularisation
Marges souples
Voir [Hastie et al., 2004]
(DC ) max
PNi
=1 i −
PNi
=1
PNj
=1 ijyi yj
R
xi xjdμ,
sous les contraintes :
PNi
=1 i yi = 0,
0 i C, 1 i N.
Encore plus de régularisation !
Projection des données sur un sous-espace de L2(μ) (B-Spline,
ondelettes, ACP, FIR, . . . ) ) Retour en dimension finie ;
Utilisation de noyaux définis par rapport à la norme ou au
produit scalaire ;
39. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Régularisation
Marges souples
Voir [Hastie et al., 2004]
(DC ) max
PNi
=1 i −
PNi
=1
PNj
=1 ijyi yj
R
xi xjdμ,
sous les contraintes :
PNi
=1 i yi = 0,
0 i C, 1 i N.
Encore plus de régularisation !
Projection des données sur un sous-espace de L2(μ) (B-Spline,
ondelettes, ACP, FIR, . . . ) ) Retour en dimension finie ;
Utilisation de noyaux définis par rapport à la norme ou au
produit scalaire ;
Utilisation de transformations fonctionnelles (dérivées. . . )
. . .
40. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Méthodologie
Choix du noyau
Choisir { j}j1 une base P
hilbertienne de L2(μ) :
8 n = 1, . . . ,N, xn =
j1 xnj j ;
41. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Méthodologie
Choix du noyau
Choisir { j}j1 une base P
hilbertienne de L2(μ) :
8 n = 1, . . . ,N, xn =
j1 xnj j ;
Utiliser un SVM standard sur les coordonnées
x(d)
i = (xi1, . . . , xid ) ;
Ceci revient à choisir le noyau :
K(x, x0) = K(P(x),P(x0))
où P : x 2 L2(μ) ! Rd est la projection sur
Vect { j}j=1,...,d ;
42. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Une procédure consistante
Choisir les paramètres
Paramètres à déterminer : d, C, K, paramètres liés à K :
43. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Une procédure consistante
Choisir les paramètres
Paramètres à déterminer : d, C, K, paramètres liés à K :
Pour tout d 1, tout C 2]0; Cd ] et tout K 2 Kd (ensemble
fini),
effectuer l’apprentissage sur l observations ! construction
de la fonction de décision ;
44. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Une procédure consistante
Choisir les paramètres
Paramètres à déterminer : d, C, K, paramètres liés à K :
Pour tout d 1, tout C 2]0; Cd ] et tout K 2 Kd (ensemble
fini),
effectuer l’apprentissage sur l observations ! construction
de la fonction de décision ;
évaluer l’erreur sur les m = N − l observations restantes :
(fonction d’erreur pénalisée)
1
m
XN
n=l+1
11{(xn)6=yn} +
d p
N − l
45. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Résultat
Consistance
Le classifieur construit de cette manière-là est universellement
consistant : son erreur converge vers l’erreur de Bayes.
46. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Résultat
Consistance
Le classifieur construit de cette manière-là est universellement
consistant : son erreur converge vers l’erreur de Bayes.
Limites du résultat :
X doit être bornée dans L2(μ) ;
La base de projection doit être orthogonale (6= B-Splines,
ACP, . . . ).
47. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Sommaire
1 Motivations
Exemples
Rappels sur le principe SVM
2 Aspects théoriques
Approche directe
Régularisation
Consistance
3 Expériences
Données de spectrométrie
Boat / Goat
48. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Données de spectrométrie
But : Séparer les morceaux de viande avec un fort contenu de
graisse ( 20 %) de ceux avec un faible contenu.
0 10 20 30 40 50 60 70 80 90 100
4.5
4
3.5
3
2.5
2
Fat 20 %
0 10 20 30 40 50 60 70 80 90 100
5.5
5
4.5
4
3.5
3
2.5
2
Fat 20 %
49. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Méthodologie et résultats
Description des données et méthodes
215 spectres discrétisés en 100 points.
50 découpages aléatoires en : 120 (apprentissage) / 95
(test) ;
10 CV pour la détermination des paramètres.
50. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Méthodologie et résultats
Description des données et méthodes
215 spectres discrétisés en 100 points.
50 découpages aléatoires en : 120 (apprentissage) / 95
(test) ;
10 CV pour la détermination des paramètres.
Résultats
Noyau Erreur moyenne (test)
Linéaire 2.7%
Linéaire sur X00 2.3%
Gaussien 6.1%
Gaussien sur X00 1.9%
Les résultats entre gaussien sur X00 et linéaire sont
significativement différents (t-test)
Gaussien sur X00 est meilleur que linéaire dans 27 cas sur 50 (égal
dans 10 cas).
51. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Reconnaissance vocale
But : Différencier les mots Boat et Goat
0 2000 4000 6000 8000
−1.0 −0.5 0.0 0.5 1.0
Boat
time
0 2000 4000 6000 8000
−0.6 −0.4 −0.2 0.0 0.2 0.4 0.6
Goat
time
52. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Méthodologie et résultats
Description des données et méthodes
100 enregistrements discrétisés en 8 192 points ( ! ! !)
53. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Méthodologie et résultats
Description des données et méthodes
100 enregistrements discrétisés en 8 192 points ( ! ! !)
Mise en oeuvre de la procédure consistante :
Projection sur une base trigonométrique ;
Partage de la base de données en 50 spectres
(apprentissage) / 49 (validation) ;
Performances déterminées par Leave-One-Out.
54. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Méthodologie et résultats
Description des données et méthodes
100 enregistrements discrétisés en 8 192 points ( ! ! !)
Mise en oeuvre de la procédure consistante :
Projection sur une base trigonométrique ;
Partage de la base de données en 50 spectres
(apprentissage) / 49 (validation) ;
Performances déterminées par Leave-One-Out.
Résultats
Méthodes Erreur LOO
SVM linéaire sur données brutes 46%
SVM gaussien sur projection 8%
k-plus proches voisins sur projection 21%
55. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Conclusion et perspectives
Possibilité de traiter les données fonctionnelles par SVM;
56. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Conclusion et perspectives
Possibilité de traiter les données fonctionnelles par SVM;
Une approche par projection permet d’obtenir une
procédure consistante ;
57. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Conclusion et perspectives
Possibilité de traiter les données fonctionnelles par SVM;
Une approche par projection permet d’obtenir une
procédure consistante ;
D’un point de vue pratique :
La projection permet d’obtenir une régularisation
supplémentaire qui améliore les performances ;
Des opérations fonctionnelles peuvent également améliorer
les performances ;
58. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
Conclusion et perspectives
Possibilité de traiter les données fonctionnelles par SVM;
Une approche par projection permet d’obtenir une
procédure consistante ;
D’un point de vue pratique :
La projection permet d’obtenir une régularisation
supplémentaire qui améliore les performances ;
Des opérations fonctionnelles peuvent également améliorer
les performances ;
Quelques questions ouvertes :
Relacher les conditions pour la consistance (base B-Spline,
autres) ;
Etudier la consistance du point de vue des problèmes de
régression.
59. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
G. Biau, F. Bunea, et M. Wegkamp.
Functional Classification in Hilbert Spaces.
IEEE Transactions on Information Theory, 2005.
A paraître.
L. Ferré et N. Villa.
Multi-layer Neural Network with Functional Inputs.
2005.
Soumis à publication.
T. Hastie, A. Buja, et R. Tibshirani.
Penalized Discriminant Analysis.
Annals of Statistics, 23 : 73–102, 1995.
T. Hastie, S. Rosset, R. Tibschirani, et J. Zhu.
The entire regularization path for the support vector machine.
Journal of Machine Learning Research, 5 : 1391–1415, 2004.
C.J. Lin.
Formulations of support vector machines : a note from an optimization point of view.
Neural Computation, 2(13) : 307–317, 2001.
J.O. Ramsay et B.W. Silverman.
Applied Functional Data Analysis.
Springer Verlag, 2002.
F. Rossi, B. Conan-Guez, et A. El Golli.
Clustering functional data with the som algorithm.
In ESANN’2004 proceedings, 305–312, Bruges, Belgique, 2004.
60. Discrimination
de courbes
par SVM
LSP,
Mai 2005
Nathalie
Villa
Motivations
Exemples
Rappels sur le
principe SVM
Aspects
théoriques
Approche
directe
Régularisation
Consistance
Expériences
Données de
spectrométrie
Boat / Goat
Bibliographie
F. Rossi, N. Delannay, B. Conan-Guez, et M. Verleysen.
Representation of functional data in neural networks.
Neurocomputing, 64 : 183–210, 2005.
F. Rossi et B. Conan-Guez.
Functional Multi-Layer perceptron : a nonlinear tool for functional data anlysis.
Neural Networks, 18(1) : 45–60, 2005.
F. Rossi et N. Villa.
Classification in Hilbert Spaces with Support Vector Machines.
In ASMDA 2005 proceedings, Brest, France, 2005.
A paraître.
N. Villa et F. Rossi.
Support Vector Machine for Functional Data Classification.
In ESANN proceedings, 467–472, 2005.