Intelligence Artificielle - mai 2012          Comparaison de différentes         méthodes utilisant des réseaux           ...
Présentation (1/2) Objectif : Comparer différentes méthodes de  prédiction de fonction Paramètres : Nous avons testé sur...
Présentation (2/2) Pour l’input, on utilise 5 points pour prévoir le 6ème:             [f(t-1), f(t-2), f(t-3), f(t-4), f...
Paramètres de chaque méthode       Méthode                                     Paramètres Cascade forward BPN        3 cou...
Cascade forward BPN Réseau avec une “auto-organisation” Pendant l’entraînement, des neurones  sont séléctionnés d’un lot...
Elman BPN Réseau récurrent simple (RNN) A 3 couches : input, output, et une   couche cachée Ressemble au feedforward BP...
Feed forward BPN Différent des méthodes récurrentes ou semi-  récurrentes (cascade) Réseau artificiel dans lequel les co...
Layered recurrent network Dans celui-ci on a des cycles Permet d’exhiber un   comportement temporel   dynamique Leur mé...
ANFIS   (Adaptive-Network-Based Fuzzy Inference System ) Réseau adaptatif basé sur le système d’interférence  floue de Ta...
ANFIS    (Adaptive-Network-Based Fuzzy Inference System )    La première couche prend les inputs (transcrit des variables...
Conclusion     Notre but était de comparer les performances Pour cela, on a utilisé le RMSE (root of mean squared  error)...
Prochain SlideShare
Chargement dans…5
×

Machine Learning : comparing neural network methods

1 779 vues

Publié le

In this presentation, we compare different machine learning methods, on two functions (SIN and a decrementing EXP).

Publié dans : Technologie
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
1 779
Sur SlideShare
0
Issues des intégrations
0
Intégrations
3
Actions
Partages
0
Téléchargements
32
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Machine Learning : comparing neural network methods

  1. 1. Intelligence Artificielle - mai 2012 Comparaison de différentes méthodes utilisant des réseaux de neurones Objet d’application : des fonctions bruitéesKostiantyn KLEKOTANicholas CHARRIERE
  2. 2. Présentation (1/2) Objectif : Comparer différentes méthodes de prédiction de fonction Paramètres : Nous avons testé sur les 2 fonctions suivantes : X(t)=sin(4πt)+ε Y(t)=exp(-t/2)+εOù ε est un bruit distribué normalement avec une dispersion de 0.05 100 points de données pour l’entraînement, et 100 pour la vérification (sauf pour ANFIS  400/400)
  3. 3. Présentation (2/2) Pour l’input, on utilise 5 points pour prévoir le 6ème: [f(t-1), f(t-2), f(t-3), f(t-4), f(t-5)] → f(t) On a comparé les méthodes suivantes :  Cascade forward backpropagation network  Elman backpropagation network  Feed forward backpropagation network  Layered recurrent network  ANFIS (Adaptive-Network-Based Fuzzy Inference System ) On utilise la méthode du RMSE (root mean sqared error) pour comparer
  4. 4. Paramètres de chaque méthode Méthode Paramètres Cascade forward BPN 3 couches de 5 neurones chacune + un neurone en output Elman BPN 2 couches de 5 neurones chacune + un neurone en output Feed forward BPN 1 couche de 5 neurones + un neurone en outputLayered recurrent network 1 couche de 10 neurones + 1 neurone en output Généré automatiquement, avec : Nombre de noeuds: 92 Nombre de paramètres linéaires: 192 Nombre de paramètres non linéaires: 30 Nombre total de paramètres: 222 ANFIS Nombre de paires de data d’apprentissage: 400 Nombre de paire de data de vérif.: 100 Nombre de loies floues: 32 Nombre max d’Epochs: 25
  5. 5. Cascade forward BPN Réseau avec une “auto-organisation” Pendant l’entraînement, des neurones sont séléctionnés d’un lot de candidats et ajoutés à la couche cachée Architecture en cascade L’algorithme d’apprentissage maximise l’amplitude de la corrélation entre l’output du nouveau neurone et l’erreur résiduelle du réseau qu’on essaye de minimiser
  6. 6. Elman BPN Réseau récurrent simple (RNN) A 3 couches : input, output, et une couche cachée Ressemble au feedforward BPN, mais possède une couche de “contexte” Elle est remplie, sans pondération, de l’output de la couche cachée Puis le réseau Elman s’en rappelle et les output sur la prochaine étape Enfin ces valeurs sont renvoyées, en utilisant une connection qui utilise un apprentissage pour pondérer, dans la couche cachée
  7. 7. Feed forward BPN Différent des méthodes récurrentes ou semi- récurrentes (cascade) Réseau artificiel dans lequel les connections ne forment pas un cycle Premier et peut-être plus simple des réseaux, l’information circule dans un seul sens
  8. 8. Layered recurrent network Dans celui-ci on a des cycles Permet d’exhiber un comportement temporel dynamique Leur mémoire leur permet de gérer des séquences aléatoires d’inputs Pratique pour des taches comme de la reconnaissance d’écriture En général on y utilise la méthode du gradient descent.
  9. 9. ANFIS (Adaptive-Network-Based Fuzzy Inference System ) Réseau adaptatif basé sur le système d’interférence floue de Takagi-Sugeno Une des premieres versions de réseaux de neurones combinés à la logique floue Permet donc d’avoir les qualités de ces deux-dernières dans un même framework Permet de bien approximer des fonctions non-linéaires
  10. 10. ANFIS (Adaptive-Network-Based Fuzzy Inference System ) La première couche prend les inputs (transcrit des variables verbales en valeurs numériques grâce aux fonctions d’appartenance (membership functions) La seconde couche multiplie les signaux et renvoie le produit La troisieme couche normalise avec les règles La quatrième sert à pondérer en appliquant de nouvelles règles La cinquième aggrège les résultats
  11. 11. Conclusion Notre but était de comparer les performances Pour cela, on a utilisé le RMSE (root of mean squared error) Les résultats montrent que les productivités sont très proches Meilleure méthode pour SIN : Feedforward BPN Meilleure méthode pour EXP : ANFIS

×