SlideShare une entreprise Scribd logo
Réseaux de Neurones Artificiels
Proposé par : Dr. Ben Othman Ibtissem
1
Plan
1. Contexte général
2. Réseaux de neurones naturels
3. Réseaux de Neurones Artificiels (RNAs)
4. Architectures des RNAs
5. Apprentissage des RNAs
6. Quelques modèles de RNAs
7. RNAs et réduction de dimensions non linéaire
2
Contexte général
Pourquoi les réseaux de neurones?
 Caractéristiques de l’architecture du cerveau humain:
 une architecture massivement parallèle
 un mode de calcul et une mémoire distribués
 une capacité d'apprentissage
 une capacité de généralisation
 une capacité d'adaptation
 une résistance aux pannes
 une faible consommation énergétique
3
Contexte général
Applications
 Applications industrielles
 Reconnaissance de codes postaux (AT&T, la Poste)
 Contrôle de paramètres de processus de production
industrielle de pâte à papier (Siemens)
 Prévision de consommation d’eau (Générale des eaux)
 Logiciels d’aide à la décision
 Prévisions météorologiques
4
Réseaux de neurones naturels
Cerveau, neurones et intelligence
 Le cerveau humain est
constitué d’environ 1011
neurones.
 En moyenne, chaque
neurone a de l’ordre de 104
connexions.
5
Réseaux de neurones naturels
Neurones biologiques
 Les neurones forment des réseaux de communication
complexes, chaque neurone établissant de très nombreuses
connexions avec d'autres.
vibrisses du rat : neurones sensitifs => thalamus
(White et Peters ) neurones thalamiques => cortex
6
Réseaux de neurones naturels
Neurones biologiques
7
Première schématisation
du neurone (Dieters, 1865)
Enregistrement d’un neurone vivant :
micro-électrode de verre
Neuropuce (Infineon) : 16 384 capteurs au mm2
pour enregistrer tout signal électrique émis par
un neurone vivant, ici celui d’une “limace de boue”
[Lymnaea stagnalis]
Réseaux de neurones naturels
Neurones biologiques
8
Réseaux de neurones naturels
Neurones biologiques
 Bien qu’il existe une
grande diversité de
neurones, ils fonctionnent
tous sur le même schéma.
 Ils se décomposent en trois
régions principales :
 Le corps cellulaire
 Les dendrites
 L ’axone
Dendrites : Signaux d’entrée
Axone : Signal de sortie
9
soma
axone
dendrites
connexion
synaptique
autre
dendrite
Réseaux de neurones naturels
Neurones biologiques
 Schématiquement, un neurone biologique est constitué
d’un arbre dendritique, d’un soma et d’un axone.
 Un neurone peut émettre des impulsions sur son axone.
Elles se propagent vers les dendrites des neurones
auxquels il est connecté, qui les transmettent au corps
cellulaire (ou soma), via des connexions pondérées par des
synapses.
10
Réseaux de neurones naturels
Fondements biologiques
Fonctionnement des neurones
 L’influx nerveux est assimilable à un signal électrique se
propageant comme ceci :
 Les dendrites reçoivent l’influx nerveux d’autres neurones.
 Le neurone évalue l’ensemble de la stimulation reçue.
 Si elle est suffisante, il est excité : il transmet un signal
(0/1) le long de l’axone.
 L’excitation est propagée jusqu’aux autres neurones qui y
sont connectés via les synapses.
11
Réseaux de Neurones Artificiels
Domaines d’application
 Utilisation des réseaux de neurones:
 Classification
 Catégorisation
 Approximation de fonctions
 Prédiction - prévision
 Optimisation
12
Réseaux de Neurones Artificiels
Un domaine interdisciplinaire
STATISTIQUES,
analyse de données
OPTIMISATION
AUTOMATIQUE,
commande,
robotique
INTELLIGENCE
ARTIFICIELLE
Apprentissage
Artificiel
VISION
13
1940
1950
1960
1970
1980
1990
2000
20...
Neurone formel de McCulloch & Pitts
Adaline de Widrow
Perceptron de Rosenblatt
Réseau de Hopfield
Réseaux RBF Moody & Darken
Cartes auto-organisatrices de Kohonen
Réseaux MLP Rumelhart et al.
Machines à Vecteurs de Support Vapnik
Loi de renforcement de Hebb } notions fondatrices
Réseaux de Neurones Artificiels
Historique
14
Réseaux de Neurones Artificiels
Neurone biologique vs neurone artificiel
 RNA: système informatique dont la conception est
schématiquement inspiré des neurones biologiques.
15
y = 1 si Σwixi>θ
= 0 sinon
x1
xi
xn
Σ
w1
wi
wn
sommation, seuillage
θ
Réseaux de Neurones Artificiels
Neurones artificiels
 Le premier modèle mathématique de neurone est le
neurone formel de McCulloch et Pitts (1943).
 Loi du “tout ou rien” : le neurone émet ou non une
impulsion sur son axone, selon que la somme pondérée de
ses entrées dendritiques dépasse ou non son seuil θ.
16
Réseaux de Neurones Artificiels
Interprétation mathématique
17
Réseaux de Neurones Artificiels
Interprétation mathématique
18
Réseaux de Neurones Artificiels
Fonctions d’activation (ou fonctions de transfert )
(a) : seuil (fonction de Heaviside)
(b) : linéaire par morceaux
(c) : sigmoïde g(x) = (1 + e – βx) - 1
(d) : gaussienne
19
Réseaux de Neurones Artificiels
Fonctions d’activation
La fonction linéaire et la fonction à seuil
Output (sortie)
Activation de la cellule
Input (entrées)
Somme pondérée des entrées
minimum
maximum
L'activation augmente en même temps
que la somme pondérée des entrées. Elle
varie entre un minimum et un maximum
0
fonction linéaire du type
y = x
Output (sortie)
Activation de la cellule
Input (entrées)
Somme pondérée des entrées
minimum
maximum
0 seuil
L'activation passe brutalement de son
minimum à son maximum, une fois atteint
le seuil critique en entrée.
20
Réseaux de Neurones Artificiels
Fonctions d’activation
La fonction sigmoïde
i
t1
a 
1
1  e

Xi  Si
T
avec Xi  Wij aj
t
21
Réseaux de Neurones Artificiels
Fonctionnement
22
Réseaux de Neurones Artificiels
Fonctionnement
 Un réseau de neurones artificiels est un ensemble de
neurones formels, connectés entre eux selon une certaine
architecture / topologie.
 Les activités se propagent de neurone en neurone selon
une certaine dynamique.
 Les poids des connexions sont modifiés / adaptés par une
règle d’apprentissage, à partir d’exemples.
23
φ
RNA
X Y
vecteur d’entrée vecteur de sortie
Réseaux de Neurones Artificiels
Fonctionnement
 On peut aussi voir un réseau de neurones artificiels
comme un outil de modélisation de type “ boîte noire ” :
 Le RNA réalise une association d’un espace d’entrée X
vers un espace de sortie Y. La “fonction” φ est définie par
les poids du réseau. Ceux-ci sont ajustés au problème par
une règle d’apprentissage, à partir d’une base d’exemples
(xk,tk) [apprentissage supervisé, si tk est connu ]
24
 Si Y est le vecteur des sorties et X le vecteur des entrées:
Y = FW(X)
 FW : fonction d’activation du réseau
 W : vecteur des « poids » des liaisons synaptiques
 Apprentissage = détermination des poids permettant
d’obtenir une sortie proche d’une sortie Y0 voulue à partir
d’une entrée X.
Réseaux de Neurones Artificiels
Fonctionnement
25
Réseaux de Neurones Artificiels
Connexions synaptiques
 Les poids synaptiques (artificiels) sont des nombres réels.
 On associe habituellement les poids positifs à des
connexions excitatrices et les poids négatifs à des
connexions inhibitrices.
mais...
 Les règles d’apprentissage des modèles connexionnistes
classiques peuvent modifier le signe d’un poids
synaptique donné, ce qui n’est guère réaliste, sur le plan
biologique.
26
Architecture des RNAs
Topologies des RNAs
27
Architecture des RNAs
Réseaux bouclés
 Les neurones ne peuvent pas être ordonnés de sorte qu’il
n’y ai pas de connexion vers l’arrière
 Exemple -> réseau entièrement connecté :
28
Architecture des RNAs
Réseaux « non bouclés » ou réseaux à couches
 Les neurones peuvent être ordonnés de sorte qu’il n’y ai
pas de connexion vers l’arrière
 Exemple -> réseau à une couche intermédiaire :
29
Architecture des RNAs
30
Architecture des RNAs
Structure d’interconnexion
Propagation avant (feedforward)
couche d’entrée
couche cachée
couche de sortie
réseau multicouche
réseau à connections locales
propagation des activations : de l’entrée vers la sortie
31
Architecture des RNAs
Structure d’interconnexion
Modèle récurrent (feedback network)
Propagation des activations :
synchrone : toutes les unités sont mises à jour simultanément
asynchrone : les unités sont mises à jours séquentiellement
32
Architecture des RNAs
Architecture générale d’un RNA
Réseau
Stimulus Réponse
0
1
0
1
1
1
0
0
1
1
0
0
1
0
1
0
Pattern
d'entrée
Pattern
de sortie
codage
décodage
33
Apprentissage des RNAs
Définition
 L’apprentissage est une phase du développement d’un
réseau de neurones durant laquelle le comportement du
réseau est modifié jusqu’à l’obtention du comportement
désiré.
 On distingue deux grandes classes d’algorithmes
d’apprentissage :
 L’apprentissage supervisé
 L’apprentissage non supervisé
 Hybride
34
Apprentissage des RNAs
Apprentissage supervisé
superviseur
réseau
sortie désirée
sortie obtenue
erreur
35
Apprentissage des RNAs
Apprentissage non supervisé
réseau sortie obtenue
36
Quelques modèles de RNAs
Le perceptron
 Le perceptron de Rosenblatt (1957) est le premier RNA
opérationnel.
 C’est un réseau à propagation avant avec seulement deux
couches (entrée et sortie) entièrement interconnectées.
 Il est composé de neurones à seuil.
 L ’apprentissage est supervisé et les poids sont modifiés
selon la règle delta.
37
Quelques modèles de RNAs
Le perceptron
i
Wij
Entrée Sortie
ai {-1,+1 }
j=n
j=1
…
aj {1,0 }
Rétine
Traits significatifs Classification
38
Quelques modèles de RNAs
Limite du perceptron
Le perceptron est incapable de distinguer les patterns non
séparables linéairement [Minsky 69]
input P 0 1 0 1
input Q 1 0 0 1
ET 0 0 0 1
XOR 1 1 0 0 0
0
0
1
0
1 0
1
P
Q
fonction ET logique
patterns séparables linéairement
P
Q
fonction XOR (ou exclusif)
patterns non séparables linéairement
0
1
0
1
1
0
1
0
39
X Y
entrées sorties
désirées
sorties
obtenues
tm
k
t1
k
ym
y1
xn
x1
Généralisation, calcul du réseau :
• présenter les xi aux neurones d’entrée
• calculer les activités, de couche en couche, jusqu’aux sorties yj
Apprentissage, par rétro-propagation [ backprop ] :
xn
k
x1
k
y1
k
ym
k
erreur
neurone sigmoïde Nj : yj = σ ( Σwijxi - θj )
• initialiser les poids wij aléatoirement, sur chaque couche
• présenter les xi
k aux neurones d’entrée
• calculer les activités, de couche en couche, jusqu’aux sorties yj
k
• mesurer l’erreur entre sorties calculées yj
k et sorties désirées tj
k
• en sens inverse, calculer les gradients et modifier les poids wij
A
k
Quelques modèles de RNAs
Perceptron Multi-Couches (PMC/MLP)
40
Quelques modèles de RNAs
Perceptron Multi-Couches (PMC/MLP)
Apprentissage-Validation-Test
 Apprentissage d’un PMC:
 phase de calibrage durant laquelle les poids sont remis à jour
jusqu’à ce qu’ils permettent au PMC d’avoir des meilleurs
résultats.
 Sur-apprentissage d’un PMC:
 éviter ce cas en cherchant le minimum d’erreur de
généralisation sur un ensemble de validation , et en arrêtant
l’apprentissage avant la convergence du PMC.
 Dimensionner un PMC:
 déterminer le nombre de neurones dans chaque couche.
41
Quelques modèles de RNAs
Perceptron Multi-Couches (PMC/MLP)
Apprentissage-Validation-Test
42
Quelques modèles de RNAs
Apprentissage-Validation-Test
 Alors que les tests concernent la vérification des
performances d'un réseau de neurones hors échantillon et
sa capacité de généralisation, la validation est parfois
utilisée lors de l'apprentissage (ex: cas du early stopping).
 Une fois le réseau calculé, il faut toujours procéder à des
tests afin de vérifier que notre réseau réagit correctement.
43
RNAs et réduction de dimensions non linéaire
ACP vs ACP non-linéaire
ACP ACP non-linéaire
44
RNAs et réduction de dimensions non linéaire
Architecture auto-associative du RNA
45
Références
 C. M. Bishop, Neural networks for pattern recognition,
Oxford university, 1995.
 Fabien Moutarde, Apprentissage artificiel («Machine-
Learning»), Centre de Robotique (CAOR), MINES
ParisTech (Ecole des Mines de Paris), Mai 2011.
 Hélène Paugam-Moisy, Réseaux de neurones temporels :
dynamique et apprentissage, Université Lyon 2, Institut
des Sciences Cognitives, Novembre 2005.
 Manuel Clergue, Réseaux de Neurones
Artificiels, université Nice Sophia Antipolis.
46

Contenu connexe

Tendances

Perceptron monocouche en français
Perceptron monocouche en françaisPerceptron monocouche en français
Perceptron monocouche en français
Hakim Nasaoui
 
Intelligence Artificielle : Introduction à l'intelligence artificielle
Intelligence Artificielle : Introduction à l'intelligence artificielleIntelligence Artificielle : Introduction à l'intelligence artificielle
Intelligence Artificielle : Introduction à l'intelligence artificielle
ECAM Brussels Engineering School
 
Intelligence Artificielle - Comment change-t-elle le mode ? JBU2018
Intelligence Artificielle - Comment change-t-elle le mode ? JBU2018Intelligence Artificielle - Comment change-t-elle le mode ? JBU2018
Intelligence Artificielle - Comment change-t-elle le mode ? JBU2018
OPcyberland
 
L'intelligence artificielle et les pratiques documentaires : quels enjeux
L'intelligence artificielle et les pratiques documentaires : quels enjeuxL'intelligence artificielle et les pratiques documentaires : quels enjeux
L'intelligence artificielle et les pratiques documentaires : quels enjeux
Assane Fall
 
Artificial Intelligence and the Future of Humanity
Artificial Intelligence and the Future of HumanityArtificial Intelligence and the Future of Humanity
Artificial Intelligence and the Future of Humanity
Gerd Leonhard
 
historique de l'informatique
historique de l'informatiquehistorique de l'informatique
historique de l'informatique
Abdelouahab Benlatreche
 
Comprendre l’intelligence artificielle [webinaire]
Comprendre l’intelligence artificielle [webinaire]Comprendre l’intelligence artificielle [webinaire]
Comprendre l’intelligence artificielle [webinaire]
Technologia Formation
 
Introduction of Artificial Intelligence and Machine Learning
Introduction of Artificial Intelligence and Machine Learning Introduction of Artificial Intelligence and Machine Learning
Introduction of Artificial Intelligence and Machine Learning
bigdata trunk
 
Traitement de signal -chapitre 1
Traitement de signal -chapitre 1Traitement de signal -chapitre 1
Traitement de signal -chapitre 1
Samir Tabib
 
Présentation des IoT
Présentation des IoTPrésentation des IoT
Présentation des IoT
Lakhdar Meftah
 
Exercices vhdl
Exercices vhdlExercices vhdl
Exercices vhdlyassinesmz
 
Travaux dirigés 1: algorithme & structures de données (corrigés)
Travaux dirigés 1: algorithme & structures de données (corrigés)Travaux dirigés 1: algorithme & structures de données (corrigés)
Travaux dirigés 1: algorithme & structures de données (corrigés)
Ines Ouaz
 
Réseaux neurons
Réseaux neuronsRéseaux neurons
Réseaux neurons
sadjida bellatreche
 
Cours d'Électronique Analogique
Cours d'Électronique AnalogiqueCours d'Électronique Analogique
Cours d'Électronique Analogique
morin moli
 
Ccna 2-module-2-v4
Ccna 2-module-2-v4Ccna 2-module-2-v4
Ccna 2-module-2-v4
Siham Tatiggit
 
optimisation cours.pdf
optimisation cours.pdfoptimisation cours.pdf
optimisation cours.pdf
Mouloudi1
 
Parlez-vous le langage IA ? 30 notions pour comprendre l'IA
Parlez-vous le langage IA ? 30 notions pour comprendre l'IAParlez-vous le langage IA ? 30 notions pour comprendre l'IA
Parlez-vous le langage IA ? 30 notions pour comprendre l'IA
BigBrain Evolution
 
chap3 numerisation_des_signaux
chap3 numerisation_des_signauxchap3 numerisation_des_signaux
chap3 numerisation_des_signaux
BAKKOURY Jamila
 
Data Analyse pas à pas avec R
Data Analyse pas à pas avec RData Analyse pas à pas avec R
Data Analyse pas à pas avec R
Amar LAKEL, PhD
 
Bias in Artificial Intelligence
Bias in Artificial IntelligenceBias in Artificial Intelligence
Bias in Artificial Intelligence
Neelima Kumar
 

Tendances (20)

Perceptron monocouche en français
Perceptron monocouche en françaisPerceptron monocouche en français
Perceptron monocouche en français
 
Intelligence Artificielle : Introduction à l'intelligence artificielle
Intelligence Artificielle : Introduction à l'intelligence artificielleIntelligence Artificielle : Introduction à l'intelligence artificielle
Intelligence Artificielle : Introduction à l'intelligence artificielle
 
Intelligence Artificielle - Comment change-t-elle le mode ? JBU2018
Intelligence Artificielle - Comment change-t-elle le mode ? JBU2018Intelligence Artificielle - Comment change-t-elle le mode ? JBU2018
Intelligence Artificielle - Comment change-t-elle le mode ? JBU2018
 
L'intelligence artificielle et les pratiques documentaires : quels enjeux
L'intelligence artificielle et les pratiques documentaires : quels enjeuxL'intelligence artificielle et les pratiques documentaires : quels enjeux
L'intelligence artificielle et les pratiques documentaires : quels enjeux
 
Artificial Intelligence and the Future of Humanity
Artificial Intelligence and the Future of HumanityArtificial Intelligence and the Future of Humanity
Artificial Intelligence and the Future of Humanity
 
historique de l'informatique
historique de l'informatiquehistorique de l'informatique
historique de l'informatique
 
Comprendre l’intelligence artificielle [webinaire]
Comprendre l’intelligence artificielle [webinaire]Comprendre l’intelligence artificielle [webinaire]
Comprendre l’intelligence artificielle [webinaire]
 
Introduction of Artificial Intelligence and Machine Learning
Introduction of Artificial Intelligence and Machine Learning Introduction of Artificial Intelligence and Machine Learning
Introduction of Artificial Intelligence and Machine Learning
 
Traitement de signal -chapitre 1
Traitement de signal -chapitre 1Traitement de signal -chapitre 1
Traitement de signal -chapitre 1
 
Présentation des IoT
Présentation des IoTPrésentation des IoT
Présentation des IoT
 
Exercices vhdl
Exercices vhdlExercices vhdl
Exercices vhdl
 
Travaux dirigés 1: algorithme & structures de données (corrigés)
Travaux dirigés 1: algorithme & structures de données (corrigés)Travaux dirigés 1: algorithme & structures de données (corrigés)
Travaux dirigés 1: algorithme & structures de données (corrigés)
 
Réseaux neurons
Réseaux neuronsRéseaux neurons
Réseaux neurons
 
Cours d'Électronique Analogique
Cours d'Électronique AnalogiqueCours d'Électronique Analogique
Cours d'Électronique Analogique
 
Ccna 2-module-2-v4
Ccna 2-module-2-v4Ccna 2-module-2-v4
Ccna 2-module-2-v4
 
optimisation cours.pdf
optimisation cours.pdfoptimisation cours.pdf
optimisation cours.pdf
 
Parlez-vous le langage IA ? 30 notions pour comprendre l'IA
Parlez-vous le langage IA ? 30 notions pour comprendre l'IAParlez-vous le langage IA ? 30 notions pour comprendre l'IA
Parlez-vous le langage IA ? 30 notions pour comprendre l'IA
 
chap3 numerisation_des_signaux
chap3 numerisation_des_signauxchap3 numerisation_des_signaux
chap3 numerisation_des_signaux
 
Data Analyse pas à pas avec R
Data Analyse pas à pas avec RData Analyse pas à pas avec R
Data Analyse pas à pas avec R
 
Bias in Artificial Intelligence
Bias in Artificial IntelligenceBias in Artificial Intelligence
Bias in Artificial Intelligence
 

Similaire à A 4 RNAs.pdf

coursHPM-M2-RIA-nov05.ppt
coursHPM-M2-RIA-nov05.pptcoursHPM-M2-RIA-nov05.ppt
coursHPM-M2-RIA-nov05.ppt
AyaDrief
 
courshhdkdhdljevveljdheidbHPM-M2-RIA-nov05.ppt
courshhdkdhdljevveljdheidbHPM-M2-RIA-nov05.pptcourshhdkdhdljevveljdheidbHPM-M2-RIA-nov05.ppt
courshhdkdhdljevveljdheidbHPM-M2-RIA-nov05.ppt
OuattaraBamory3
 
réseaux de neurons temporels dynqmique et apprentissage
réseaux de neurons temporels dynqmique et apprentissageréseaux de neurons temporels dynqmique et apprentissage
réseaux de neurons temporels dynqmique et apprentissage
billalbeldjenna
 
Rapport projet Master 2 - Intelligence Artificielle
Rapport projet Master 2 - Intelligence ArtificielleRapport projet Master 2 - Intelligence Artificielle
Rapport projet Master 2 - Intelligence Artificielle
Yanis Marchand
 
Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)
Soumia Elyakote HERMA
 
Présentation pfe
Présentation pfePrésentation pfe
Présentation pfe
Abdelghafour Zguindou
 
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
ENSET, Université Hassan II Casablanca
 
Le Reseau De Neurones
Le Reseau De NeuronesLe Reseau De Neurones
Le Reseau De Neuronesguestf80d95
 
Machine Learning : comparing neural network methods
Machine Learning : comparing neural network methodsMachine Learning : comparing neural network methods
Machine Learning : comparing neural network methods
Nichochar
 
Delorme nis1998
Delorme nis1998Delorme nis1998
Delorme nis1998
Khalifa Bakkar
 
Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1 Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1
ENSET, Université Hassan II Casablanca
 
prsentationrn-151107223049-lva1-app6891.pdf
prsentationrn-151107223049-lva1-app6891.pdfprsentationrn-151107223049-lva1-app6891.pdf
prsentationrn-151107223049-lva1-app6891.pdf
drajou
 
BIO5068_corrige_CS_portages_outaouais-2.pdf
BIO5068_corrige_CS_portages_outaouais-2.pdfBIO5068_corrige_CS_portages_outaouais-2.pdf
BIO5068_corrige_CS_portages_outaouais-2.pdf
LinaBenabou
 
TP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdfTP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdf
SafaeElOmari
 
Retropropagation-Gradient-2018-4p.pdf
Retropropagation-Gradient-2018-4p.pdfRetropropagation-Gradient-2018-4p.pdf
Retropropagation-Gradient-2018-4p.pdf
C00LiMoUn1
 
GIND5439_Chapitre6.pdf
GIND5439_Chapitre6.pdfGIND5439_Chapitre6.pdf
GIND5439_Chapitre6.pdf
AbdallahAmirat1
 
Conférence: Catalyseurs de l'Intelligence Artificielle et Écosystème des Fram...
Conférence: Catalyseurs de l'Intelligence Artificielle et Écosystème des Fram...Conférence: Catalyseurs de l'Intelligence Artificielle et Écosystème des Fram...
Conférence: Catalyseurs de l'Intelligence Artificielle et Écosystème des Fram...
ENSET, Université Hassan II Casablanca
 
Réseaux des neurones
Réseaux des neuronesRéseaux des neurones
Réseaux des neuronesMed Zaibi
 

Similaire à A 4 RNAs.pdf (20)

coursHPM-M2-RIA-nov05.ppt
coursHPM-M2-RIA-nov05.pptcoursHPM-M2-RIA-nov05.ppt
coursHPM-M2-RIA-nov05.ppt
 
courshhdkdhdljevveljdheidbHPM-M2-RIA-nov05.ppt
courshhdkdhdljevveljdheidbHPM-M2-RIA-nov05.pptcourshhdkdhdljevveljdheidbHPM-M2-RIA-nov05.ppt
courshhdkdhdljevveljdheidbHPM-M2-RIA-nov05.ppt
 
réseaux de neurons temporels dynqmique et apprentissage
réseaux de neurons temporels dynqmique et apprentissageréseaux de neurons temporels dynqmique et apprentissage
réseaux de neurons temporels dynqmique et apprentissage
 
Rapport projet Master 2 - Intelligence Artificielle
Rapport projet Master 2 - Intelligence ArtificielleRapport projet Master 2 - Intelligence Artificielle
Rapport projet Master 2 - Intelligence Artificielle
 
Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)
 
Réseaux de neurones
Réseaux de neurones Réseaux de neurones
Réseaux de neurones
 
Présentation pfe
Présentation pfePrésentation pfe
Présentation pfe
 
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
 
Le Reseau De Neurones
Le Reseau De NeuronesLe Reseau De Neurones
Le Reseau De Neurones
 
Machine Learning : comparing neural network methods
Machine Learning : comparing neural network methodsMachine Learning : comparing neural network methods
Machine Learning : comparing neural network methods
 
Delorme nis1998
Delorme nis1998Delorme nis1998
Delorme nis1998
 
Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1 Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1
 
Cours rn 2006
Cours rn 2006Cours rn 2006
Cours rn 2006
 
prsentationrn-151107223049-lva1-app6891.pdf
prsentationrn-151107223049-lva1-app6891.pdfprsentationrn-151107223049-lva1-app6891.pdf
prsentationrn-151107223049-lva1-app6891.pdf
 
BIO5068_corrige_CS_portages_outaouais-2.pdf
BIO5068_corrige_CS_portages_outaouais-2.pdfBIO5068_corrige_CS_portages_outaouais-2.pdf
BIO5068_corrige_CS_portages_outaouais-2.pdf
 
TP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdfTP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdf
 
Retropropagation-Gradient-2018-4p.pdf
Retropropagation-Gradient-2018-4p.pdfRetropropagation-Gradient-2018-4p.pdf
Retropropagation-Gradient-2018-4p.pdf
 
GIND5439_Chapitre6.pdf
GIND5439_Chapitre6.pdfGIND5439_Chapitre6.pdf
GIND5439_Chapitre6.pdf
 
Conférence: Catalyseurs de l'Intelligence Artificielle et Écosystème des Fram...
Conférence: Catalyseurs de l'Intelligence Artificielle et Écosystème des Fram...Conférence: Catalyseurs de l'Intelligence Artificielle et Écosystème des Fram...
Conférence: Catalyseurs de l'Intelligence Artificielle et Écosystème des Fram...
 
Réseaux des neurones
Réseaux des neuronesRéseaux des neurones
Réseaux des neurones
 

Dernier

PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
ayoub_anbara96
 
Note Agro-climatique et prairies n°4 - Juin 2024
Note Agro-climatique et prairies n°4 - Juin 2024Note Agro-climatique et prairies n°4 - Juin 2024
Note Agro-climatique et prairies n°4 - Juin 2024
idelewebmestre
 
Alternative au 3eme lien et complement au Tramway de la ville de Quebec Rev 1...
Alternative au 3eme lien et complement au Tramway de la ville de Quebec Rev 1...Alternative au 3eme lien et complement au Tramway de la ville de Quebec Rev 1...
Alternative au 3eme lien et complement au Tramway de la ville de Quebec Rev 1...
Daniel Bedard
 
S210-S-27.04-chaudiere-à-vapeur bilan thermique
S210-S-27.04-chaudiere-à-vapeur bilan thermiqueS210-S-27.04-chaudiere-à-vapeur bilan thermique
S210-S-27.04-chaudiere-à-vapeur bilan thermique
ALIIAE
 
PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
ayoub_anbara96
 
SRE - Mythes et Réalités - Voxxed 2024.pdf
SRE - Mythes et Réalités - Voxxed 2024.pdfSRE - Mythes et Réalités - Voxxed 2024.pdf
SRE - Mythes et Réalités - Voxxed 2024.pdf
Henri Gomez
 
PFE ABDOUS BERRI 2024, RAPPORT COMPLET RETA FINAL.pdf
PFE ABDOUS BERRI 2024, RAPPORT COMPLET RETA FINAL.pdfPFE ABDOUS BERRI 2024, RAPPORT COMPLET RETA FINAL.pdf
PFE ABDOUS BERRI 2024, RAPPORT COMPLET RETA FINAL.pdf
iheberry
 
Rénovation des prairies sans labour est-ce possible en bio.pdf
Rénovation des prairies sans labour est-ce possible en bio.pdfRénovation des prairies sans labour est-ce possible en bio.pdf
Rénovation des prairies sans labour est-ce possible en bio.pdf
idelewebmestre
 

Dernier (8)

PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
 
Note Agro-climatique et prairies n°4 - Juin 2024
Note Agro-climatique et prairies n°4 - Juin 2024Note Agro-climatique et prairies n°4 - Juin 2024
Note Agro-climatique et prairies n°4 - Juin 2024
 
Alternative au 3eme lien et complement au Tramway de la ville de Quebec Rev 1...
Alternative au 3eme lien et complement au Tramway de la ville de Quebec Rev 1...Alternative au 3eme lien et complement au Tramway de la ville de Quebec Rev 1...
Alternative au 3eme lien et complement au Tramway de la ville de Quebec Rev 1...
 
S210-S-27.04-chaudiere-à-vapeur bilan thermique
S210-S-27.04-chaudiere-à-vapeur bilan thermiqueS210-S-27.04-chaudiere-à-vapeur bilan thermique
S210-S-27.04-chaudiere-à-vapeur bilan thermique
 
PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
PFE MASTER en Développement d’une Application E-commerce avec la Technologie ...
 
SRE - Mythes et Réalités - Voxxed 2024.pdf
SRE - Mythes et Réalités - Voxxed 2024.pdfSRE - Mythes et Réalités - Voxxed 2024.pdf
SRE - Mythes et Réalités - Voxxed 2024.pdf
 
PFE ABDOUS BERRI 2024, RAPPORT COMPLET RETA FINAL.pdf
PFE ABDOUS BERRI 2024, RAPPORT COMPLET RETA FINAL.pdfPFE ABDOUS BERRI 2024, RAPPORT COMPLET RETA FINAL.pdf
PFE ABDOUS BERRI 2024, RAPPORT COMPLET RETA FINAL.pdf
 
Rénovation des prairies sans labour est-ce possible en bio.pdf
Rénovation des prairies sans labour est-ce possible en bio.pdfRénovation des prairies sans labour est-ce possible en bio.pdf
Rénovation des prairies sans labour est-ce possible en bio.pdf
 

A 4 RNAs.pdf

  • 1. Réseaux de Neurones Artificiels Proposé par : Dr. Ben Othman Ibtissem 1
  • 2. Plan 1. Contexte général 2. Réseaux de neurones naturels 3. Réseaux de Neurones Artificiels (RNAs) 4. Architectures des RNAs 5. Apprentissage des RNAs 6. Quelques modèles de RNAs 7. RNAs et réduction de dimensions non linéaire 2
  • 3. Contexte général Pourquoi les réseaux de neurones?  Caractéristiques de l’architecture du cerveau humain:  une architecture massivement parallèle  un mode de calcul et une mémoire distribués  une capacité d'apprentissage  une capacité de généralisation  une capacité d'adaptation  une résistance aux pannes  une faible consommation énergétique 3
  • 4. Contexte général Applications  Applications industrielles  Reconnaissance de codes postaux (AT&T, la Poste)  Contrôle de paramètres de processus de production industrielle de pâte à papier (Siemens)  Prévision de consommation d’eau (Générale des eaux)  Logiciels d’aide à la décision  Prévisions météorologiques 4
  • 5. Réseaux de neurones naturels Cerveau, neurones et intelligence  Le cerveau humain est constitué d’environ 1011 neurones.  En moyenne, chaque neurone a de l’ordre de 104 connexions. 5
  • 6. Réseaux de neurones naturels Neurones biologiques  Les neurones forment des réseaux de communication complexes, chaque neurone établissant de très nombreuses connexions avec d'autres. vibrisses du rat : neurones sensitifs => thalamus (White et Peters ) neurones thalamiques => cortex 6
  • 7. Réseaux de neurones naturels Neurones biologiques 7
  • 8. Première schématisation du neurone (Dieters, 1865) Enregistrement d’un neurone vivant : micro-électrode de verre Neuropuce (Infineon) : 16 384 capteurs au mm2 pour enregistrer tout signal électrique émis par un neurone vivant, ici celui d’une “limace de boue” [Lymnaea stagnalis] Réseaux de neurones naturels Neurones biologiques 8
  • 9. Réseaux de neurones naturels Neurones biologiques  Bien qu’il existe une grande diversité de neurones, ils fonctionnent tous sur le même schéma.  Ils se décomposent en trois régions principales :  Le corps cellulaire  Les dendrites  L ’axone Dendrites : Signaux d’entrée Axone : Signal de sortie 9
  • 10. soma axone dendrites connexion synaptique autre dendrite Réseaux de neurones naturels Neurones biologiques  Schématiquement, un neurone biologique est constitué d’un arbre dendritique, d’un soma et d’un axone.  Un neurone peut émettre des impulsions sur son axone. Elles se propagent vers les dendrites des neurones auxquels il est connecté, qui les transmettent au corps cellulaire (ou soma), via des connexions pondérées par des synapses. 10
  • 11. Réseaux de neurones naturels Fondements biologiques Fonctionnement des neurones  L’influx nerveux est assimilable à un signal électrique se propageant comme ceci :  Les dendrites reçoivent l’influx nerveux d’autres neurones.  Le neurone évalue l’ensemble de la stimulation reçue.  Si elle est suffisante, il est excité : il transmet un signal (0/1) le long de l’axone.  L’excitation est propagée jusqu’aux autres neurones qui y sont connectés via les synapses. 11
  • 12. Réseaux de Neurones Artificiels Domaines d’application  Utilisation des réseaux de neurones:  Classification  Catégorisation  Approximation de fonctions  Prédiction - prévision  Optimisation 12
  • 13. Réseaux de Neurones Artificiels Un domaine interdisciplinaire STATISTIQUES, analyse de données OPTIMISATION AUTOMATIQUE, commande, robotique INTELLIGENCE ARTIFICIELLE Apprentissage Artificiel VISION 13
  • 14. 1940 1950 1960 1970 1980 1990 2000 20... Neurone formel de McCulloch & Pitts Adaline de Widrow Perceptron de Rosenblatt Réseau de Hopfield Réseaux RBF Moody & Darken Cartes auto-organisatrices de Kohonen Réseaux MLP Rumelhart et al. Machines à Vecteurs de Support Vapnik Loi de renforcement de Hebb } notions fondatrices Réseaux de Neurones Artificiels Historique 14
  • 15. Réseaux de Neurones Artificiels Neurone biologique vs neurone artificiel  RNA: système informatique dont la conception est schématiquement inspiré des neurones biologiques. 15
  • 16. y = 1 si Σwixi>θ = 0 sinon x1 xi xn Σ w1 wi wn sommation, seuillage θ Réseaux de Neurones Artificiels Neurones artificiels  Le premier modèle mathématique de neurone est le neurone formel de McCulloch et Pitts (1943).  Loi du “tout ou rien” : le neurone émet ou non une impulsion sur son axone, selon que la somme pondérée de ses entrées dendritiques dépasse ou non son seuil θ. 16
  • 17. Réseaux de Neurones Artificiels Interprétation mathématique 17
  • 18. Réseaux de Neurones Artificiels Interprétation mathématique 18
  • 19. Réseaux de Neurones Artificiels Fonctions d’activation (ou fonctions de transfert ) (a) : seuil (fonction de Heaviside) (b) : linéaire par morceaux (c) : sigmoïde g(x) = (1 + e – βx) - 1 (d) : gaussienne 19
  • 20. Réseaux de Neurones Artificiels Fonctions d’activation La fonction linéaire et la fonction à seuil Output (sortie) Activation de la cellule Input (entrées) Somme pondérée des entrées minimum maximum L'activation augmente en même temps que la somme pondérée des entrées. Elle varie entre un minimum et un maximum 0 fonction linéaire du type y = x Output (sortie) Activation de la cellule Input (entrées) Somme pondérée des entrées minimum maximum 0 seuil L'activation passe brutalement de son minimum à son maximum, une fois atteint le seuil critique en entrée. 20
  • 21. Réseaux de Neurones Artificiels Fonctions d’activation La fonction sigmoïde i t1 a  1 1  e  Xi  Si T avec Xi  Wij aj t 21
  • 22. Réseaux de Neurones Artificiels Fonctionnement 22
  • 23. Réseaux de Neurones Artificiels Fonctionnement  Un réseau de neurones artificiels est un ensemble de neurones formels, connectés entre eux selon une certaine architecture / topologie.  Les activités se propagent de neurone en neurone selon une certaine dynamique.  Les poids des connexions sont modifiés / adaptés par une règle d’apprentissage, à partir d’exemples. 23
  • 24. φ RNA X Y vecteur d’entrée vecteur de sortie Réseaux de Neurones Artificiels Fonctionnement  On peut aussi voir un réseau de neurones artificiels comme un outil de modélisation de type “ boîte noire ” :  Le RNA réalise une association d’un espace d’entrée X vers un espace de sortie Y. La “fonction” φ est définie par les poids du réseau. Ceux-ci sont ajustés au problème par une règle d’apprentissage, à partir d’une base d’exemples (xk,tk) [apprentissage supervisé, si tk est connu ] 24
  • 25.  Si Y est le vecteur des sorties et X le vecteur des entrées: Y = FW(X)  FW : fonction d’activation du réseau  W : vecteur des « poids » des liaisons synaptiques  Apprentissage = détermination des poids permettant d’obtenir une sortie proche d’une sortie Y0 voulue à partir d’une entrée X. Réseaux de Neurones Artificiels Fonctionnement 25
  • 26. Réseaux de Neurones Artificiels Connexions synaptiques  Les poids synaptiques (artificiels) sont des nombres réels.  On associe habituellement les poids positifs à des connexions excitatrices et les poids négatifs à des connexions inhibitrices. mais...  Les règles d’apprentissage des modèles connexionnistes classiques peuvent modifier le signe d’un poids synaptique donné, ce qui n’est guère réaliste, sur le plan biologique. 26
  • 28. Architecture des RNAs Réseaux bouclés  Les neurones ne peuvent pas être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière  Exemple -> réseau entièrement connecté : 28
  • 29. Architecture des RNAs Réseaux « non bouclés » ou réseaux à couches  Les neurones peuvent être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière  Exemple -> réseau à une couche intermédiaire : 29
  • 31. Architecture des RNAs Structure d’interconnexion Propagation avant (feedforward) couche d’entrée couche cachée couche de sortie réseau multicouche réseau à connections locales propagation des activations : de l’entrée vers la sortie 31
  • 32. Architecture des RNAs Structure d’interconnexion Modèle récurrent (feedback network) Propagation des activations : synchrone : toutes les unités sont mises à jour simultanément asynchrone : les unités sont mises à jours séquentiellement 32
  • 33. Architecture des RNAs Architecture générale d’un RNA Réseau Stimulus Réponse 0 1 0 1 1 1 0 0 1 1 0 0 1 0 1 0 Pattern d'entrée Pattern de sortie codage décodage 33
  • 34. Apprentissage des RNAs Définition  L’apprentissage est une phase du développement d’un réseau de neurones durant laquelle le comportement du réseau est modifié jusqu’à l’obtention du comportement désiré.  On distingue deux grandes classes d’algorithmes d’apprentissage :  L’apprentissage supervisé  L’apprentissage non supervisé  Hybride 34
  • 35. Apprentissage des RNAs Apprentissage supervisé superviseur réseau sortie désirée sortie obtenue erreur 35
  • 36. Apprentissage des RNAs Apprentissage non supervisé réseau sortie obtenue 36
  • 37. Quelques modèles de RNAs Le perceptron  Le perceptron de Rosenblatt (1957) est le premier RNA opérationnel.  C’est un réseau à propagation avant avec seulement deux couches (entrée et sortie) entièrement interconnectées.  Il est composé de neurones à seuil.  L ’apprentissage est supervisé et les poids sont modifiés selon la règle delta. 37
  • 38. Quelques modèles de RNAs Le perceptron i Wij Entrée Sortie ai {-1,+1 } j=n j=1 … aj {1,0 } Rétine Traits significatifs Classification 38
  • 39. Quelques modèles de RNAs Limite du perceptron Le perceptron est incapable de distinguer les patterns non séparables linéairement [Minsky 69] input P 0 1 0 1 input Q 1 0 0 1 ET 0 0 0 1 XOR 1 1 0 0 0 0 0 1 0 1 0 1 P Q fonction ET logique patterns séparables linéairement P Q fonction XOR (ou exclusif) patterns non séparables linéairement 0 1 0 1 1 0 1 0 39
  • 40. X Y entrées sorties désirées sorties obtenues tm k t1 k ym y1 xn x1 Généralisation, calcul du réseau : • présenter les xi aux neurones d’entrée • calculer les activités, de couche en couche, jusqu’aux sorties yj Apprentissage, par rétro-propagation [ backprop ] : xn k x1 k y1 k ym k erreur neurone sigmoïde Nj : yj = σ ( Σwijxi - θj ) • initialiser les poids wij aléatoirement, sur chaque couche • présenter les xi k aux neurones d’entrée • calculer les activités, de couche en couche, jusqu’aux sorties yj k • mesurer l’erreur entre sorties calculées yj k et sorties désirées tj k • en sens inverse, calculer les gradients et modifier les poids wij A k Quelques modèles de RNAs Perceptron Multi-Couches (PMC/MLP) 40
  • 41. Quelques modèles de RNAs Perceptron Multi-Couches (PMC/MLP) Apprentissage-Validation-Test  Apprentissage d’un PMC:  phase de calibrage durant laquelle les poids sont remis à jour jusqu’à ce qu’ils permettent au PMC d’avoir des meilleurs résultats.  Sur-apprentissage d’un PMC:  éviter ce cas en cherchant le minimum d’erreur de généralisation sur un ensemble de validation , et en arrêtant l’apprentissage avant la convergence du PMC.  Dimensionner un PMC:  déterminer le nombre de neurones dans chaque couche. 41
  • 42. Quelques modèles de RNAs Perceptron Multi-Couches (PMC/MLP) Apprentissage-Validation-Test 42
  • 43. Quelques modèles de RNAs Apprentissage-Validation-Test  Alors que les tests concernent la vérification des performances d'un réseau de neurones hors échantillon et sa capacité de généralisation, la validation est parfois utilisée lors de l'apprentissage (ex: cas du early stopping).  Une fois le réseau calculé, il faut toujours procéder à des tests afin de vérifier que notre réseau réagit correctement. 43
  • 44. RNAs et réduction de dimensions non linéaire ACP vs ACP non-linéaire ACP ACP non-linéaire 44
  • 45. RNAs et réduction de dimensions non linéaire Architecture auto-associative du RNA 45
  • 46. Références  C. M. Bishop, Neural networks for pattern recognition, Oxford university, 1995.  Fabien Moutarde, Apprentissage artificiel («Machine- Learning»), Centre de Robotique (CAOR), MINES ParisTech (Ecole des Mines de Paris), Mai 2011.  Hélène Paugam-Moisy, Réseaux de neurones temporels : dynamique et apprentissage, Université Lyon 2, Institut des Sciences Cognitives, Novembre 2005.  Manuel Clergue, Réseaux de Neurones Artificiels, université Nice Sophia Antipolis. 46