Télécharger en tant que PDF, PPTX
![Première schématisation
du neurone (Dieters, 1865)
Enregistrement d’un neurone vivant :
micro-électrode de verre
Neuropuce (Infineon) : 16 384 capteurs au mm2
pour enregistrer tout signal électrique émis par
un neurone vivant, ici celui d’une “limace de boue”
[Lymnaea stagnalis]
Réseaux de neurones naturels
Neurones biologiques
8](https://image.slidesharecdn.com/a4rnas-230516175555-6f109e92/85/A-4-RNAs-pdf-8-320.jpg)
![φ
RNA
X Y
vecteur d’entrée vecteur de sortie
Réseaux de Neurones Artificiels
Fonctionnement
On peut aussi voir un réseau de neurones artificiels
comme un outil de modélisation de type “ boîte noire ” :
Le RNA réalise une association d’un espace d’entrée X
vers un espace de sortie Y. La “fonction” φ est définie par
les poids du réseau. Ceux-ci sont ajustés au problème par
une règle d’apprentissage, à partir d’une base d’exemples
(xk,tk) [apprentissage supervisé, si tk est connu ]
24](https://image.slidesharecdn.com/a4rnas-230516175555-6f109e92/85/A-4-RNAs-pdf-24-320.jpg)
![Quelques modèles de RNAs
Limite du perceptron
Le perceptron est incapable de distinguer les patterns non
séparables linéairement [Minsky 69]
input P 0 1 0 1
input Q 1 0 0 1
ET 0 0 0 1
XOR 1 1 0 0 0
0
0
1
0
1 0
1
P
Q
fonction ET logique
patterns séparables linéairement
P
Q
fonction XOR (ou exclusif)
patterns non séparables linéairement
0
1
0
1
1
0
1
0
39](https://image.slidesharecdn.com/a4rnas-230516175555-6f109e92/85/A-4-RNAs-pdf-39-320.jpg)
![X Y
entrées sorties
désirées
sorties
obtenues
tm
k
t1
k
ym
y1
xn
x1
Généralisation, calcul du réseau :
• présenter les xi aux neurones d’entrée
• calculer les activités, de couche en couche, jusqu’aux sorties yj
Apprentissage, par rétro-propagation [ backprop ] :
xn
k
x1
k
y1
k
ym
k
erreur
neurone sigmoïde Nj : yj = σ ( Σwijxi - θj )
• initialiser les poids wij aléatoirement, sur chaque couche
• présenter les xi
k aux neurones d’entrée
• calculer les activités, de couche en couche, jusqu’aux sorties yj
k
• mesurer l’erreur entre sorties calculées yj
k et sorties désirées tj
k
• en sens inverse, calculer les gradients et modifier les poids wij
A
k
Quelques modèles de RNAs
Perceptron Multi-Couches (PMC/MLP)
40](https://image.slidesharecdn.com/a4rnas-230516175555-6f109e92/85/A-4-RNAs-pdf-40-320.jpg)
A 4 RNAs.pdf
- 1. Réseaux de NeuronesArtificiels Proposé par : Dr. Ben Othman Ibtissem 1
- 2. Plan 1. Contexte général 2.Réseaux de neurones naturels 3. Réseaux de Neurones Artificiels (RNAs) 4. Architectures des RNAs 5. Apprentissage des RNAs 6. Quelques modèles de RNAs 7. RNAs et réduction de dimensions non linéaire 2
- 3. Contexte général Pourquoi lesréseaux de neurones? Caractéristiques de l’architecture du cerveau humain: une architecture massivement parallèle un mode de calcul et une mémoire distribués une capacité d'apprentissage une capacité de généralisation une capacité d'adaptation une résistance aux pannes une faible consommation énergétique 3
- 4. Contexte général Applications Applicationsindustrielles Reconnaissance de codes postaux (AT&T, la Poste) Contrôle de paramètres de processus de production industrielle de pâte à papier (Siemens) Prévision de consommation d’eau (Générale des eaux) Logiciels d’aide à la décision Prévisions météorologiques 4
- 5. Réseaux de neuronesnaturels Cerveau, neurones et intelligence Le cerveau humain est constitué d’environ 1011 neurones. En moyenne, chaque neurone a de l’ordre de 104 connexions. 5
- 6. Réseaux de neuronesnaturels Neurones biologiques Les neurones forment des réseaux de communication complexes, chaque neurone établissant de très nombreuses connexions avec d'autres. vibrisses du rat : neurones sensitifs => thalamus (White et Peters ) neurones thalamiques => cortex 6
- 7. Réseaux de neuronesnaturels Neurones biologiques 7
- 8. Première schématisation du neurone(Dieters, 1865) Enregistrement d’un neurone vivant : micro-électrode de verre Neuropuce (Infineon) : 16 384 capteurs au mm2 pour enregistrer tout signal électrique émis par un neurone vivant, ici celui d’une “limace de boue” [Lymnaea stagnalis] Réseaux de neurones naturels Neurones biologiques 8
- 9. Réseaux de neuronesnaturels Neurones biologiques Bien qu’il existe une grande diversité de neurones, ils fonctionnent tous sur le même schéma. Ils se décomposent en trois régions principales : Le corps cellulaire Les dendrites L ’axone Dendrites : Signaux d’entrée Axone : Signal de sortie 9
- 10. soma axone dendrites connexion synaptique autre dendrite Réseaux de neuronesnaturels Neurones biologiques Schématiquement, un neurone biologique est constitué d’un arbre dendritique, d’un soma et d’un axone. Un neurone peut émettre des impulsions sur son axone. Elles se propagent vers les dendrites des neurones auxquels il est connecté, qui les transmettent au corps cellulaire (ou soma), via des connexions pondérées par des synapses. 10
- 11. Réseaux de neuronesnaturels Fondements biologiques Fonctionnement des neurones L’influx nerveux est assimilable à un signal électrique se propageant comme ceci : Les dendrites reçoivent l’influx nerveux d’autres neurones. Le neurone évalue l’ensemble de la stimulation reçue. Si elle est suffisante, il est excité : il transmet un signal (0/1) le long de l’axone. L’excitation est propagée jusqu’aux autres neurones qui y sont connectés via les synapses. 11
- 12. Réseaux de NeuronesArtificiels Domaines d’application Utilisation des réseaux de neurones: Classification Catégorisation Approximation de fonctions Prédiction - prévision Optimisation 12
- 13. Réseaux de NeuronesArtificiels Un domaine interdisciplinaire STATISTIQUES, analyse de données OPTIMISATION AUTOMATIQUE, commande, robotique INTELLIGENCE ARTIFICIELLE Apprentissage Artificiel VISION 13
- 14. 1940 1950 1960 1970 1980 1990 2000 20... Neurone formel deMcCulloch & Pitts Adaline de Widrow Perceptron de Rosenblatt Réseau de Hopfield Réseaux RBF Moody & Darken Cartes auto-organisatrices de Kohonen Réseaux MLP Rumelhart et al. Machines à Vecteurs de Support Vapnik Loi de renforcement de Hebb } notions fondatrices Réseaux de Neurones Artificiels Historique 14
- 15. Réseaux de NeuronesArtificiels Neurone biologique vs neurone artificiel RNA: système informatique dont la conception est schématiquement inspiré des neurones biologiques. 15
- 16. y = 1si Σwixi>θ = 0 sinon x1 xi xn Σ w1 wi wn sommation, seuillage θ Réseaux de Neurones Artificiels Neurones artificiels Le premier modèle mathématique de neurone est le neurone formel de McCulloch et Pitts (1943). Loi du “tout ou rien” : le neurone émet ou non une impulsion sur son axone, selon que la somme pondérée de ses entrées dendritiques dépasse ou non son seuil θ. 16
- 17. Réseaux de NeuronesArtificiels Interprétation mathématique 17
- 18. Réseaux de NeuronesArtificiels Interprétation mathématique 18
- 19. Réseaux de NeuronesArtificiels Fonctions d’activation (ou fonctions de transfert ) (a) : seuil (fonction de Heaviside) (b) : linéaire par morceaux (c) : sigmoïde g(x) = (1 + e – βx) - 1 (d) : gaussienne 19
- 20. Réseaux de NeuronesArtificiels Fonctions d’activation La fonction linéaire et la fonction à seuil Output (sortie) Activation de la cellule Input (entrées) Somme pondérée des entrées minimum maximum L'activation augmente en même temps que la somme pondérée des entrées. Elle varie entre un minimum et un maximum 0 fonction linéaire du type y = x Output (sortie) Activation de la cellule Input (entrées) Somme pondérée des entrées minimum maximum 0 seuil L'activation passe brutalement de son minimum à son maximum, une fois atteint le seuil critique en entrée. 20
- 21. Réseaux de NeuronesArtificiels Fonctions d’activation La fonction sigmoïde i t1 a 1 1 e Xi Si T avec Xi Wij aj t 21
- 22. Réseaux de NeuronesArtificiels Fonctionnement 22
- 23. Réseaux de NeuronesArtificiels Fonctionnement Un réseau de neurones artificiels est un ensemble de neurones formels, connectés entre eux selon une certaine architecture / topologie. Les activités se propagent de neurone en neurone selon une certaine dynamique. Les poids des connexions sont modifiés / adaptés par une règle d’apprentissage, à partir d’exemples. 23
- 24. φ RNA X Y vecteur d’entréevecteur de sortie Réseaux de Neurones Artificiels Fonctionnement On peut aussi voir un réseau de neurones artificiels comme un outil de modélisation de type “ boîte noire ” : Le RNA réalise une association d’un espace d’entrée X vers un espace de sortie Y. La “fonction” φ est définie par les poids du réseau. Ceux-ci sont ajustés au problème par une règle d’apprentissage, à partir d’une base d’exemples (xk,tk) [apprentissage supervisé, si tk est connu ] 24
- 25. Si Yest le vecteur des sorties et X le vecteur des entrées: Y = FW(X) FW : fonction d’activation du réseau W : vecteur des « poids » des liaisons synaptiques Apprentissage = détermination des poids permettant d’obtenir une sortie proche d’une sortie Y0 voulue à partir d’une entrée X. Réseaux de Neurones Artificiels Fonctionnement 25
- 26. Réseaux de NeuronesArtificiels Connexions synaptiques Les poids synaptiques (artificiels) sont des nombres réels. On associe habituellement les poids positifs à des connexions excitatrices et les poids négatifs à des connexions inhibitrices. mais... Les règles d’apprentissage des modèles connexionnistes classiques peuvent modifier le signe d’un poids synaptique donné, ce qui n’est guère réaliste, sur le plan biologique. 26
- 27. Architecture des RNAs Topologiesdes RNAs 27
- 28. Architecture des RNAs Réseauxbouclés Les neurones ne peuvent pas être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière Exemple -> réseau entièrement connecté : 28
- 29. Architecture des RNAs Réseaux« non bouclés » ou réseaux à couches Les neurones peuvent être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière Exemple -> réseau à une couche intermédiaire : 29
- 30.
- 31. Architecture des RNAs Structured’interconnexion Propagation avant (feedforward) couche d’entrée couche cachée couche de sortie réseau multicouche réseau à connections locales propagation des activations : de l’entrée vers la sortie 31
- 32. Architecture des RNAs Structured’interconnexion Modèle récurrent (feedback network) Propagation des activations : synchrone : toutes les unités sont mises à jour simultanément asynchrone : les unités sont mises à jours séquentiellement 32
- 33. Architecture des RNAs Architecturegénérale d’un RNA Réseau Stimulus Réponse 0 1 0 1 1 1 0 0 1 1 0 0 1 0 1 0 Pattern d'entrée Pattern de sortie codage décodage 33
- 34. Apprentissage des RNAs Définition L’apprentissage est une phase du développement d’un réseau de neurones durant laquelle le comportement du réseau est modifié jusqu’à l’obtention du comportement désiré. On distingue deux grandes classes d’algorithmes d’apprentissage : L’apprentissage supervisé L’apprentissage non supervisé Hybride 34
- 35. Apprentissage des RNAs Apprentissagesupervisé superviseur réseau sortie désirée sortie obtenue erreur 35
- 36. Apprentissage des RNAs Apprentissagenon supervisé réseau sortie obtenue 36
- 37. Quelques modèles deRNAs Le perceptron Le perceptron de Rosenblatt (1957) est le premier RNA opérationnel. C’est un réseau à propagation avant avec seulement deux couches (entrée et sortie) entièrement interconnectées. Il est composé de neurones à seuil. L ’apprentissage est supervisé et les poids sont modifiés selon la règle delta. 37
- 38. Quelques modèles deRNAs Le perceptron i Wij Entrée Sortie ai {-1,+1 } j=n j=1 … aj {1,0 } Rétine Traits significatifs Classification 38
- 39. Quelques modèles deRNAs Limite du perceptron Le perceptron est incapable de distinguer les patterns non séparables linéairement [Minsky 69] input P 0 1 0 1 input Q 1 0 0 1 ET 0 0 0 1 XOR 1 1 0 0 0 0 0 1 0 1 0 1 P Q fonction ET logique patterns séparables linéairement P Q fonction XOR (ou exclusif) patterns non séparables linéairement 0 1 0 1 1 0 1 0 39
- 40. X Y entrées sorties désirées sorties obtenues tm k t1 k ym y1 xn x1 Généralisation,calcul du réseau : • présenter les xi aux neurones d’entrée • calculer les activités, de couche en couche, jusqu’aux sorties yj Apprentissage, par rétro-propagation [ backprop ] : xn k x1 k y1 k ym k erreur neurone sigmoïde Nj : yj = σ ( Σwijxi - θj ) • initialiser les poids wij aléatoirement, sur chaque couche • présenter les xi k aux neurones d’entrée • calculer les activités, de couche en couche, jusqu’aux sorties yj k • mesurer l’erreur entre sorties calculées yj k et sorties désirées tj k • en sens inverse, calculer les gradients et modifier les poids wij A k Quelques modèles de RNAs Perceptron Multi-Couches (PMC/MLP) 40
- 41. Quelques modèles deRNAs Perceptron Multi-Couches (PMC/MLP) Apprentissage-Validation-Test Apprentissage d’un PMC: phase de calibrage durant laquelle les poids sont remis à jour jusqu’à ce qu’ils permettent au PMC d’avoir des meilleurs résultats. Sur-apprentissage d’un PMC: éviter ce cas en cherchant le minimum d’erreur de généralisation sur un ensemble de validation , et en arrêtant l’apprentissage avant la convergence du PMC. Dimensionner un PMC: déterminer le nombre de neurones dans chaque couche. 41
- 42. Quelques modèles deRNAs Perceptron Multi-Couches (PMC/MLP) Apprentissage-Validation-Test 42
- 43. Quelques modèles deRNAs Apprentissage-Validation-Test Alors que les tests concernent la vérification des performances d'un réseau de neurones hors échantillon et sa capacité de généralisation, la validation est parfois utilisée lors de l'apprentissage (ex: cas du early stopping). Une fois le réseau calculé, il faut toujours procéder à des tests afin de vérifier que notre réseau réagit correctement. 43
- 44. RNAs et réductionde dimensions non linéaire ACP vs ACP non-linéaire ACP ACP non-linéaire 44
- 45. RNAs et réductionde dimensions non linéaire Architecture auto-associative du RNA 45
- 46. Références C. M.Bishop, Neural networks for pattern recognition, Oxford university, 1995. Fabien Moutarde, Apprentissage artificiel («Machine- Learning»), Centre de Robotique (CAOR), MINES ParisTech (Ecole des Mines de Paris), Mai 2011. Hélène Paugam-Moisy, Réseaux de neurones temporels : dynamique et apprentissage, Université Lyon 2, Institut des Sciences Cognitives, Novembre 2005. Manuel Clergue, Réseaux de Neurones Artificiels, université Nice Sophia Antipolis. 46