SlideShare une entreprise Scribd logo
1  sur  141
Télécharger pour lire hors ligne
CHAPITRE 6
Les réseaux de neurones
Récapitulatif
L'apprentissage automatique
Les types d’apprentissage
Régression
La classification
PLAN
7
1) Introduction Générale
2) Historique de réseaux de neurones
3) Domaine d’application de réseaux de neurones
4 ) Architecture d’un perceptron
5) Fonctions d’activation
6) Type de réseaux de neurones
INTRODUCTION GÉNÉRALE
Machine learning vs Deep learning
Machine learning vs Deep learning
●
●
Différences majeures
…
Différences majeures
Différences majeures
Différences majeures
Différences majeures
Tableau récapitulatif
Qu’est ce qu’un réseau de neurones artificiels?
Historique des réseaux de neurones
Apparition des réseaux de neurones
●
●
●
Les précurseurs
Le Perceptron
But : apprendre dans le cerveau en modifiant la façon dont les synapses sont connectés
Le perceptron multi-couches
Théories et modèles plus récents
Domaines d’application des réseaux
de neurones
●
●
●
●
Architecture d’un perceptron
●
●
●
●
●
NEURONE BIOLOGIQUE
NEURONE FORMEL vs BIOLOGIQUE
Perceptron simple(SLP)
Perceptron multi-couche (Multi-layer Perceptron)
Perceptron multi-couche (Multi-layer Perceptron)
Exemple :
Exemple :
Exemple :
Fonctions d’activation
●
●
●
Qu’est ce qu’une fonction d’activation
Fonctionnement
Les types des fonctions d’activation
Types des fonctions d’activation non linéaire :
définition - Avantages - Désavantages
●
●
●
●
●
●
Sigmoid / Logistique
●
●
●
●
● ●
●
●
TanH / tangente hyperbolique
●
●
●
●
●●
ReLu / Rectified Linear Unit
Il s’agit de l’une des fonctions les plus puissantes
et les plus utiles
● Elle est rapide → simple à calculer
● Elle casse la linéarité des valeurs
négatives
● Elle désactive certains neurones
f(x) = max(0, x)
Leaky ReLU
● La fonction Leaky ReLU est interprétée par la formule:
f(x) = max(0.1x, x).
● Elle essaye de corriger la fonction ReLU lorsque l'entrée est négative.
Parametric ReLU
● La fonction ReLU paramétrique est interprétée par la formule:
f(x) = max(ax, x)
où "a" est un hyperparamètre.
Cela donne aux neurones la possibilité de choisir quelle pente est la
meilleure dans la région négative. Avec cette capacité, la fonction ReLU
paramétrique à la possibilité de devenir une fonction ReLU classique ou
une fonction Leaky ReLU.
Softmax
●
●
●
Recap
Types des réseaux de neurones
●
●
●
Réseaux De Neurones Artificiels (ANN)
●
●
●
●
●
●
●
●
●
Artificial Neural Networks (ANN)
Architecture des réseaux de neurones artificiels
●
●
●
Reconnaissance de caractères
manuscrits
Reconnaissance de la parole
Application des réseaux de neurones artificiels
Signature Classification La reconnaissance faciale
Limites des réseaux neurones artificiels (ANN)
●
● A
Avantages de ANN
●
●
●
●
●
●
●
●
Inconvénients de ANN
Exemple
●
●
●
●
Exemple
•Wnew
•W old
•N
•d
•Y
•X
•
•
•
Réseaux De neurones récurrents(RNN)
●
●
●
●
●
●
●
●
Définition
Réseau de neurones à propagation avant
Exemple
Exemple
Exemple
nb_échantillons (N) * taille_séquence (T) * nb_variables (M)
Architecture globale
Architecture globale
Architecture globale
Architecture globale
ht = f(xt, ht-1)
Architecture globale
Comportement d’une cellule
La formule devient :
ht = tanh( WT * concat (xt, ht-1) + b )
où W et b sont les poids appris par le modèle :
● W est une matrice de taille (R + M) x R
● b un vecteur de taille R
Comportement d’une cellule
Comportement d’une cellule
Empiler des couches
récurrentes
Entraînement des réseaux de neurones récurrents et backpropagation
Limites des RNN simples
ŷ
ŷ
λ
∘ ∘
●
●
●
Limites des RNN simples
Dérivée de tanh
LSTM (Long Short-Term Memory)
Représentation d’une cellule LSTM
ht
, ct
= f(xt
, ht-1
, ct-1
)
Représentation d’une cellule LSTM
Cellule LSTM pas à pas
1
●
●
●
Cellule LSTM pas à pas
Cellule LSTM pas à pas
Cellule LSTM pas à pas
Cellule LSTM pas à pas
5 – En parallèle, un vecteur kt
de taille R est
créé par une couche tanh. kt
est le vecteur
candidat pour mettre à jour le cell state.
Cellule LSTM pas à pas
Cellule LSTM pas à pas
Cellule LSTM pas à pas
Cellule LSTM pas à pas
Cellule LSTM pas à pas
Réseau neuronal convolutif (CNN)
●
○
○
○
●
○
○
●
○
○
○
●
○
○
●
Définition de la convolution:
●
●
●
●
Qu’est ce que la convolution
Qu’est ce que la convolution
D’où vient le principe ?
●
● …
●
●
Pourquoi les CNN ?
Chronologie de l’avancement des CNN
Fonctionnalités
du CNN
●
●
Connectivité locale :
-
-
●
Partage de paramètres
Comment
ca marche ?
●
●
●
Description :
Remarque : appliquer K filtres de taille F×F engendre un feature map de sortie de taille O×O×K
.
Dimensions d'un filtre ― Un filtre de taille F×F appliqué à une entrée contenant C canaux est un volume de taille
F×F×C qui effectue des convolutions sur une entrée de taille I×I×C et qui produit un feature map de sortie (aussi
appelé activation map) de taille O×O×1.
La couche convolutionnelle contient des filtres pour lesquels il est important de savoir comment ajuster ses paramètres.
Paramètres des filtres :
Stride ― Dans le contexte d'une opération de convolution ou de pooling, la stride S est un paramètre qui dénote
le nombre de pixels par lesquels la fenêtre se déplace après chaque opération.
Zero-padding ― Le zero-padding est une technique consistant à ajouter P zeros à chaque côté des frontières de l'entrée. Cette
valeur peut être spécifiée soit manuellement, soit automatiquement par le biais d'une des configurations détaillées ci-dessous :
Les Types De Couches :
● Couche convolutionnelle (CONV)
● Pooling (POOL)
● Fully Connected (FC)
Couche convolutionnelle (CONV) ― La couche convolutionnelle (en anglais convolution layer) (CONV) utilise des
filtres qui scannent l'entrée I suivant ses dimensions en effectuant des opérations de convolution. Elle peut être
réglée en ajustant la taille du filtre F et le stride S. La sortie O de cette opération est appelée feature map ou aussi
activation map.
Remarque : l'étape de convolution peut aussi être généralisée dans les cas 1D et 3D.
Les Types De Couches :
Pooling (POOL) ― La couche de pooling (en anglais pooling layer) (POOL) est une opération de sous-
échantillonnage typiquement appliquée après une couche convolutionnelle. En particulier, les types de pooling les plus
populaires sont le max et l'average pooling, où les valeurs maximales et moyennes sont prises, respectivement.
Fully Connected (FC) ― La couche de fully connected (en anglais fully connected layer) (FC) s'applique sur une
entrée préalablement aplatie où chaque entrée est connectée à tous les neurones. Les couches de fully connected
sont typiquement présentes à la fin des architectures de CNN et peuvent être utilisées pour optimiser des objectifs tels
que les scores de classe.
Stochastic gradient descent
(NLL) :
Une méthode généralement utilisée est de pénaliser les valeurs extrêmes des paramètres, qui
correspondent souvent à un surapprentissage.
Savoir à quel point les performances de notre modèle sont faible et donc
maximiser la probabilité de choisir la bonne classe
Compatibilité des paramètres dans la couche convolutionnelle ― En notant I le côté du volume d'entrée, F la taille du filtre,
P la quantité de zero-padding,S la stride, la taille O de la feature map de sortie suivant cette dimension est telle que :
Réglage des paramètres
Comprendre la complexité du modèle ― Pour évaluer la complexité d'un modèle, il est souvent utile de déterminer le
nombre de paramètres que l'architecture va avoir. Dans une couche donnée d'un réseau de neurones convolutionnels, on a :
Réglage des paramètres
Réglage des paramètres
Champ récepteur ― Le champ récepteur à la couche k est la surface notée Rk×Rk de l'entrée que chaque pixel de la
k-ième activation map peut 'voir'. En notant Fj la taille du filtre de la couche j et Si la valeur de stride de la couche i et avec la
convention S0=1, le champ récepteur à la couche k peut être calculé de la manière suivante :
Dans l'exemple ci-dessous, on a F1=F2=3 et S1=S2=1, ce qui donne R2=1+2⋅1+2⋅1=5
Implémentation
Conclusion
CHAPITRE 6
Les réseaux de neurones

Contenu connexe

Tendances

Algorithmes machine learning/ neural network / deep learning
Algorithmes machine learning/ neural network / deep learningAlgorithmes machine learning/ neural network / deep learning
Algorithmes machine learning/ neural network / deep learningBassem Brayek
 
Les 10 plus populaires algorithmes du machine learning
Les 10 plus populaires algorithmes du machine learningLes 10 plus populaires algorithmes du machine learning
Les 10 plus populaires algorithmes du machine learningHakim Nasaoui
 
Introduction to Machine learning
Introduction to Machine learningIntroduction to Machine learning
Introduction to Machine learningQuentin Ambard
 
Data mining - ACP Analyse en Composantes Principales
Data mining - ACP Analyse en Composantes PrincipalesData mining - ACP Analyse en Composantes Principales
Data mining - ACP Analyse en Composantes PrincipalesMohamed Heny SELMI
 
Introduction: Intelligence Artificielle, Machine Learning et Deep Learning
Introduction: Intelligence Artificielle, Machine Learning et Deep LearningIntroduction: Intelligence Artificielle, Machine Learning et Deep Learning
Introduction: Intelligence Artificielle, Machine Learning et Deep LearningNcib Lotfi
 
Les reseaux profonds
Les reseaux profondsLes reseaux profonds
Les reseaux profondsStany Mwamba
 
Les applications du Deep Learning
Les applications du Deep LearningLes applications du Deep Learning
Les applications du Deep LearningJedha Bootcamp
 
Training Neural Networks
Training Neural NetworksTraining Neural Networks
Training Neural NetworksDatabricks
 
Les réseaux de neurones convolutifs CNN
Les réseaux de neurones convolutifs CNNLes réseaux de neurones convolutifs CNN
Les réseaux de neurones convolutifs CNNSALMARACHIDI1
 
Les arbres de décisions
Les arbres de décisionsLes arbres de décisions
Les arbres de décisionsMariem Chaaben
 
Vers une plateforme intelligente pour la prévision des maladies végétales
Vers une plateforme intelligente pour la prévision des maladies végétalesVers une plateforme intelligente pour la prévision des maladies végétales
Vers une plateforme intelligente pour la prévision des maladies végétalesSarra BOUHENNI
 

Tendances (20)

Réseaux neurons
Réseaux neuronsRéseaux neurons
Réseaux neurons
 
Algorithmes machine learning/ neural network / deep learning
Algorithmes machine learning/ neural network / deep learningAlgorithmes machine learning/ neural network / deep learning
Algorithmes machine learning/ neural network / deep learning
 
Deep learning
Deep learningDeep learning
Deep learning
 
Deep learning
Deep learningDeep learning
Deep learning
 
Les 10 plus populaires algorithmes du machine learning
Les 10 plus populaires algorithmes du machine learningLes 10 plus populaires algorithmes du machine learning
Les 10 plus populaires algorithmes du machine learning
 
Machine Learning
Machine LearningMachine Learning
Machine Learning
 
Présentation pfe
Présentation pfePrésentation pfe
Présentation pfe
 
Introduction to Machine learning
Introduction to Machine learningIntroduction to Machine learning
Introduction to Machine learning
 
Data mining - ACP Analyse en Composantes Principales
Data mining - ACP Analyse en Composantes PrincipalesData mining - ACP Analyse en Composantes Principales
Data mining - ACP Analyse en Composantes Principales
 
Introduction: Intelligence Artificielle, Machine Learning et Deep Learning
Introduction: Intelligence Artificielle, Machine Learning et Deep LearningIntroduction: Intelligence Artificielle, Machine Learning et Deep Learning
Introduction: Intelligence Artificielle, Machine Learning et Deep Learning
 
Algorithme knn
Algorithme knnAlgorithme knn
Algorithme knn
 
Les reseaux profonds
Les reseaux profondsLes reseaux profonds
Les reseaux profonds
 
Knn
KnnKnn
Knn
 
Les applications du Deep Learning
Les applications du Deep LearningLes applications du Deep Learning
Les applications du Deep Learning
 
Training Neural Networks
Training Neural NetworksTraining Neural Networks
Training Neural Networks
 
Les réseaux de neurones convolutifs CNN
Les réseaux de neurones convolutifs CNNLes réseaux de neurones convolutifs CNN
Les réseaux de neurones convolutifs CNN
 
Les arbres de décisions
Les arbres de décisionsLes arbres de décisions
Les arbres de décisions
 
Data Mining
Data MiningData Mining
Data Mining
 
5.5 Clustering
5.5 Clustering5.5 Clustering
5.5 Clustering
 
Vers une plateforme intelligente pour la prévision des maladies végétales
Vers une plateforme intelligente pour la prévision des maladies végétalesVers une plateforme intelligente pour la prévision des maladies végétales
Vers une plateforme intelligente pour la prévision des maladies végétales
 

Similaire à Les réseaux de neurones

TP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdfTP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdfSafaeElOmari
 
Cassandra pour les développeurs java
Cassandra pour les développeurs javaCassandra pour les développeurs java
Cassandra pour les développeurs javaJérémy Sevellec
 
Diabang et fatimetou mennou rapport design & simulation of dssss using ma...
Diabang et fatimetou mennou rapport design & simulation of dssss using ma...Diabang et fatimetou mennou rapport design & simulation of dssss using ma...
Diabang et fatimetou mennou rapport design & simulation of dssss using ma...Cheikh Tidiane DIABANG
 
Convolutional Neural Networks (CNNs)
Convolutional Neural Networks (CNNs)Convolutional Neural Networks (CNNs)
Convolutional Neural Networks (CNNs)Hajar Bouchriha
 
Rapport-du-projet CNN.docx
Rapport-du-projet CNN.docxRapport-du-projet CNN.docx
Rapport-du-projet CNN.docxkhalil Ismail
 
Computer Vision - Classification automatique des races de chien à partir de p...
Computer Vision - Classification automatique des races de chien à partir de p...Computer Vision - Classification automatique des races de chien à partir de p...
Computer Vision - Classification automatique des races de chien à partir de p...FUMERY Michael
 
Cours Benhabiles TMS320.pdf
Cours Benhabiles TMS320.pdfCours Benhabiles TMS320.pdf
Cours Benhabiles TMS320.pdfHouBou3
 
OSIS18_IoT: L'approche machine virtuelle pour les microcontrôleurs, le projet...
OSIS18_IoT: L'approche machine virtuelle pour les microcontrôleurs, le projet...OSIS18_IoT: L'approche machine virtuelle pour les microcontrôleurs, le projet...
OSIS18_IoT: L'approche machine virtuelle pour les microcontrôleurs, le projet...Pôle Systematic Paris-Region
 
prsentationrn-151107223049-lva1-app6891.pdf
prsentationrn-151107223049-lva1-app6891.pdfprsentationrn-151107223049-lva1-app6891.pdf
prsentationrn-151107223049-lva1-app6891.pdfdrajou
 
Recursive Neural Network summary
Recursive Neural Network summaryRecursive Neural Network summary
Recursive Neural Network summaryStephen Larroque
 
Poly reseau transparents_ppt
Poly reseau transparents_pptPoly reseau transparents_ppt
Poly reseau transparents_pptLily Babou
 
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...ENSET, Université Hassan II Casablanca
 
Retropropagation-Gradient-2018-4p.pdf
Retropropagation-Gradient-2018-4p.pdfRetropropagation-Gradient-2018-4p.pdf
Retropropagation-Gradient-2018-4p.pdfC00LiMoUn1
 
Tp 1 transmission de donné inisiallisation à simulink matlab
Tp 1 transmission de donné inisiallisation à simulink matlabTp 1 transmission de donné inisiallisation à simulink matlab
Tp 1 transmission de donné inisiallisation à simulink matlabhamdinho
 
Cours de PIC Généralités.pdf
Cours de PIC Généralités.pdfCours de PIC Généralités.pdf
Cours de PIC Généralités.pdfAliRami3
 
examen en DSP 2023.pdf
examen en DSP 2023.pdfexamen en DSP 2023.pdf
examen en DSP 2023.pdfkamouf
 

Similaire à Les réseaux de neurones (20)

TP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdfTP_Réseaux_de_neurones_Safae_ElOmari.pdf
TP_Réseaux_de_neurones_Safae_ElOmari.pdf
 
Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1 Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1
 
Cassandra pour les développeurs java
Cassandra pour les développeurs javaCassandra pour les développeurs java
Cassandra pour les développeurs java
 
Diabang et fatimetou mennou rapport design & simulation of dssss using ma...
Diabang et fatimetou mennou rapport design & simulation of dssss using ma...Diabang et fatimetou mennou rapport design & simulation of dssss using ma...
Diabang et fatimetou mennou rapport design & simulation of dssss using ma...
 
Convolutional Neural Networks (CNNs)
Convolutional Neural Networks (CNNs)Convolutional Neural Networks (CNNs)
Convolutional Neural Networks (CNNs)
 
Rapport-du-projet CNN.docx
Rapport-du-projet CNN.docxRapport-du-projet CNN.docx
Rapport-du-projet CNN.docx
 
Computer Vision - Classification automatique des races de chien à partir de p...
Computer Vision - Classification automatique des races de chien à partir de p...Computer Vision - Classification automatique des races de chien à partir de p...
Computer Vision - Classification automatique des races de chien à partir de p...
 
Cours Benhabiles TMS320.pdf
Cours Benhabiles TMS320.pdfCours Benhabiles TMS320.pdf
Cours Benhabiles TMS320.pdf
 
OSIS18_IoT: L'approche machine virtuelle pour les microcontrôleurs, le projet...
OSIS18_IoT: L'approche machine virtuelle pour les microcontrôleurs, le projet...OSIS18_IoT: L'approche machine virtuelle pour les microcontrôleurs, le projet...
OSIS18_IoT: L'approche machine virtuelle pour les microcontrôleurs, le projet...
 
prsentationrn-151107223049-lva1-app6891.pdf
prsentationrn-151107223049-lva1-app6891.pdfprsentationrn-151107223049-lva1-app6891.pdf
prsentationrn-151107223049-lva1-app6891.pdf
 
Soutenance 17 Avril 2003
Soutenance 17 Avril 2003Soutenance 17 Avril 2003
Soutenance 17 Avril 2003
 
Recursive Neural Network summary
Recursive Neural Network summaryRecursive Neural Network summary
Recursive Neural Network summary
 
Poly reseau transparents_ppt
Poly reseau transparents_pptPoly reseau transparents_ppt
Poly reseau transparents_ppt
 
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
Mise en oeuvre des Frameworks de Machines et Deep Learning pour les Applicati...
 
Retropropagation-Gradient-2018-4p.pdf
Retropropagation-Gradient-2018-4p.pdfRetropropagation-Gradient-2018-4p.pdf
Retropropagation-Gradient-2018-4p.pdf
 
Tp 1 transmission de donné inisiallisation à simulink matlab
Tp 1 transmission de donné inisiallisation à simulink matlabTp 1 transmission de donné inisiallisation à simulink matlab
Tp 1 transmission de donné inisiallisation à simulink matlab
 
Cours de PIC Généralités.pdf
Cours de PIC Généralités.pdfCours de PIC Généralités.pdf
Cours de PIC Généralités.pdf
 
examen en DSP 2023.pdf
examen en DSP 2023.pdfexamen en DSP 2023.pdf
examen en DSP 2023.pdf
 
Cours rn 2006
Cours rn 2006Cours rn 2006
Cours rn 2006
 
Version 01
Version 01Version 01
Version 01
 

Les réseaux de neurones