Ce document compare différentes méthodes de prédiction basées sur des réseaux de neurones pour des fonctions bruitées. Les méthodes incluses sont le cascade forward backpropagation network, l'elman backpropagation network, le feed forward backpropagation network, le layered recurrent network et l'anfis. Les résultats montrent que le feedforward bpn est le meilleur pour la fonction sin tandis que l'anfis est préféré pour la fonction exp.

1. Intelligence Artificielle - mai 2012
Comparaison de différentes
méthodes utilisant des réseaux
de neurones
Objet d’application : des fonctions bruitées
Kostiantyn KLEKOTA
Nicholas CHARRIERE

2. Présentation (1/2)
 Objectif : Comparer différentes méthodes de
prédiction de fonction
 Paramètres : Nous avons testé sur les 2 fonctions
suivantes :
X(t)=sin(4πt)+ε Y(t)=exp(-t/2)+ε
Où ε est un bruit distribué normalement avec une dispersion de 0.05
 100 points de données pour l’entraînement, et 100
pour la vérification (sauf pour ANFIS  400/400)

3. Présentation (2/2)
 Pour l’input, on utilise 5 points pour prévoir le 6ème:
[f(t-1), f(t-2), f(t-3), f(t-4), f(t-5)] → f(t)
 On a comparé les méthodes suivantes :
 Cascade forward backpropagation network
 Elman backpropagation network
 Feed forward backpropagation network
 Layered recurrent network
 ANFIS (Adaptive-Network-Based Fuzzy Inference System )
 On utilise la méthode du RMSE (root mean sqared error)
pour comparer

4. Paramètres de chaque méthode
Méthode Paramètres
Cascade forward BPN 3 couches de 5 neurones chacune + un neurone en output
Elman BPN 2 couches de 5 neurones chacune + un neurone en output
Feed forward BPN 1 couche de 5 neurones + un neurone en output
Layered recurrent network 1 couche de 10 neurones + 1 neurone en output
Généré automatiquement, avec :
Nombre de noeuds: 92
Nombre de paramètres linéaires: 192
Nombre de paramètres non linéaires: 30
Nombre total de paramètres: 222
ANFIS Nombre de paires de data d’apprentissage: 400
Nombre de paire de data de vérif.: 100
Nombre de loies floues: 32
Nombre max d’Epochs: 25

5. Cascade forward BPN
 Réseau avec une “auto-organisation”
 Pendant l’entraînement, des neurones
sont séléctionnés d’un lot de candidats
et ajoutés à la couche cachée
 Architecture en cascade
 L’algorithme d’apprentissage maximise
l’amplitude de la corrélation entre
l’output du nouveau neurone et l’erreur
résiduelle du réseau qu’on essaye de
minimiser

6. Elman BPN
 Réseau récurrent simple (RNN)
 A 3 couches : input, output, et une
couche cachée
 Ressemble au feedforward BPN, mais
possède une couche de “contexte”
 Elle est remplie, sans pondération, de
l’output de la couche cachée
 Puis le réseau Elman s’en rappelle et les
output sur la prochaine étape
 Enfin ces valeurs sont renvoyées, en
utilisant une connection qui utilise un
apprentissage pour pondérer, dans la
couche cachée

7. Feed forward BPN
 Différent des méthodes récurrentes ou semi-
récurrentes (cascade)
 Réseau artificiel dans lequel les connections ne
forment pas un cycle
 Premier et peut-être plus simple des réseaux,
l’information circule dans un seul sens

8. Layered recurrent network
 Dans celui-ci on a des cycles
 Permet d’exhiber un
comportement temporel
dynamique
 Leur mémoire leur permet de
gérer des séquences
aléatoires d’inputs
 Pratique pour des taches
comme de la reconnaissance
d’écriture
 En général on y utilise la
méthode du gradient descent.

9. ANFIS
(Adaptive-Network-Based Fuzzy Inference System )
 Réseau adaptatif basé sur le système d’interférence
floue de Takagi-Sugeno
 Une des premieres versions de réseaux de neurones
combinés à la logique floue
 Permet donc d’avoir les qualités de ces deux-dernières
dans un même framework
 Permet de bien approximer des fonctions non-linéaires

10. ANFIS
(Adaptive-Network-Based Fuzzy Inference System )
 La première couche prend les inputs (transcrit des variables verbales en
valeurs numériques grâce aux fonctions d’appartenance (membership
functions)
 La seconde couche multiplie les signaux et renvoie le produit
 La troisieme couche normalise avec les règles
 La quatrième sert à pondérer en appliquant de nouvelles règles
 La cinquième aggrège les résultats

11. Conclusion
Notre but était de comparer les performances
 Pour cela, on a utilisé le RMSE (root of mean squared
error)
 Les résultats montrent que les productivités sont très
proches
 Meilleure méthode pour SIN : Feedforward BPN
 Meilleure méthode pour EXP : ANFIS