Le chapitre 6 traite des réseaux de neurones, notamment de leur historique, architecture, et types tels que le perceptron et les réseaux de neurones convolutifs. Il aborde également les fonctions d'activation, les applications des réseaux de neurones, et les limites de ces architectures dans divers domaines. Enfin, le chapitre décrit des méthodes d'entraînement et d'ajustement des paramètres des modèles de réseaux de neurones.

1. CHAPITRE 6
Les réseaux de neurones

2. Récapitulatif

3. L'apprentissage automatique

4. Les types d’apprentissage

5. Régression

6. La classification

7. PLAN
7
1) Introduction Générale
2) Historique de réseaux de neurones
3) Domaine d’application de réseaux de neurones
4 ) Architecture d’un perceptron
5) Fonctions d’activation
6) Type de réseaux de neurones

8. INTRODUCTION GÉNÉRALE

9. Machine learning vs Deep learning

10. Machine learning vs Deep learning
●
●

11. Différences majeures

12. …
Différences majeures

13. Différences majeures

14. Différences majeures

15. Différences majeures

16. Tableau récapitulatif

17. Qu’est ce qu’un réseau de neurones artificiels?

18. Historique des réseaux de neurones

19. Apparition des réseaux de neurones
●
●
●

20. Les précurseurs

21. Le Perceptron
But : apprendre dans le cerveau en modifiant la façon dont les synapses sont connectés

24. Le perceptron multi-couches

26. Théories et modèles plus récents

27. Domaines d’application des réseaux
de neurones

30. ●
●
●
●

31. Architecture d’un perceptron
●
●
●
●
●

32. NEURONE BIOLOGIQUE

33. NEURONE FORMEL vs BIOLOGIQUE

34. Perceptron simple(SLP)

35. Perceptron multi-couche (Multi-layer Perceptron)

36. Perceptron multi-couche (Multi-layer Perceptron)

37. Exemple :

38. Exemple :

39. Exemple :

40. Fonctions d’activation
●
●
●

41. Qu’est ce qu’une fonction d’activation

42. Fonctionnement

43. Les types des fonctions d’activation

49. Types des fonctions d’activation non linéaire :
définition - Avantages - Désavantages
●
●
●
●
●
●

50. Sigmoid / Logistique
●
●
●
●

51. ● ●
●
●

52. TanH / tangente hyperbolique
●
●
●
●

53. ●●

54. ReLu / Rectified Linear Unit
Il s’agit de l’une des fonctions les plus puissantes
et les plus utiles
● Elle est rapide → simple à calculer
● Elle casse la linéarité des valeurs
négatives
● Elle désactive certains neurones
f(x) = max(0, x)

55. Leaky ReLU
● La fonction Leaky ReLU est interprétée par la formule:
f(x) = max(0.1x, x).
● Elle essaye de corriger la fonction ReLU lorsque l'entrée est négative.

56. Parametric ReLU
● La fonction ReLU paramétrique est interprétée par la formule:
f(x) = max(ax, x)
où "a" est un hyperparamètre.
Cela donne aux neurones la possibilité de choisir quelle pente est la
meilleure dans la région négative. Avec cette capacité, la fonction ReLU
paramétrique à la possibilité de devenir une fonction ReLU classique ou
une fonction Leaky ReLU.

57. Softmax
●
●
●

58. Recap

60. Types des réseaux de neurones
●
●
●

61. Réseaux De Neurones Artificiels (ANN)
●
●
●
●
●
●

62. ●
●
●
Artificial Neural Networks (ANN)

63. Architecture des réseaux de neurones artificiels
●
●
●

64. Reconnaissance de caractères
manuscrits
Reconnaissance de la parole
Application des réseaux de neurones artificiels

65. Signature Classification La reconnaissance faciale

66. Limites des réseaux neurones artificiels (ANN)
●
● A

67. Avantages de ANN
●
●
●
●
●

68. ●
●
●
Inconvénients de ANN

69. Exemple

70. ●
●

73. ●
●

74. Exemple

78. •Wnew
•W old
•N
•d
•Y
•X

80. •
•
•

81. Réseaux De neurones récurrents(RNN)
●
●
●
●
●
●
●
●

82. Définition

83. Réseau de neurones à propagation avant

85. Exemple

86. Exemple

87. Exemple

88. nb_échantillons (N) * taille_séquence (T) * nb_variables (M)
Architecture globale

89. Architecture globale

90. Architecture globale

91. Architecture globale

92. ht = f(xt, ht-1)
Architecture globale

93. Comportement d’une cellule

94. La formule devient :
ht = tanh( WT * concat (xt, ht-1) + b )
où W et b sont les poids appris par le modèle :
● W est une matrice de taille (R + M) x R
● b un vecteur de taille R
Comportement d’une cellule

95. Comportement d’une cellule

96. Empiler des couches
récurrentes

97. Entraînement des réseaux de neurones récurrents et backpropagation

98. Limites des RNN simples
ŷ
ŷ
λ

99. ∘ ∘
●
●
●
Limites des RNN simples

100. Dérivée de tanh

101. LSTM (Long Short-Term Memory)

102. Représentation d’une cellule LSTM

103. ht
, ct
= f(xt
, ht-1
, ct-1
)
Représentation d’une cellule LSTM

104. Cellule LSTM pas à pas
1
●
●
●

105. Cellule LSTM pas à pas

106. Cellule LSTM pas à pas

107. Cellule LSTM pas à pas

108. Cellule LSTM pas à pas

109. 5 – En parallèle, un vecteur kt
de taille R est
créé par une couche tanh. kt
est le vecteur
candidat pour mettre à jour le cell state.
Cellule LSTM pas à pas

110. Cellule LSTM pas à pas

111. Cellule LSTM pas à pas

112. Cellule LSTM pas à pas

113. Cellule LSTM pas à pas

114. Réseau neuronal convolutif (CNN)
●
○
○
○
●
○
○
●
○
○
○
●
○
○
●

115. Définition de la convolution:
●
●
●
●

116. Qu’est ce que la convolution

117. Qu’est ce que la convolution

118. D’où vient le principe ?
●
● …
●
●
Pourquoi les CNN ?

119. Chronologie de l’avancement des CNN

122. Fonctionnalités
du CNN
●
●

123. Connectivité locale :

124. -
-
●

125. Partage de paramètres

126. Comment
ca marche ?
●
●
●

127. Description :

128. Remarque : appliquer K filtres de taille F×F engendre un feature map de sortie de taille O×O×K
.
Dimensions d'un filtre ― Un filtre de taille F×F appliqué à une entrée contenant C canaux est un volume de taille
F×F×C qui effectue des convolutions sur une entrée de taille I×I×C et qui produit un feature map de sortie (aussi
appelé activation map) de taille O×O×1.
La couche convolutionnelle contient des filtres pour lesquels il est important de savoir comment ajuster ses paramètres.
Paramètres des filtres :

129. Stride ― Dans le contexte d'une opération de convolution ou de pooling, la stride S est un paramètre qui dénote
le nombre de pixels par lesquels la fenêtre se déplace après chaque opération.

130. Zero-padding ― Le zero-padding est une technique consistant à ajouter P zeros à chaque côté des frontières de l'entrée. Cette
valeur peut être spécifiée soit manuellement, soit automatiquement par le biais d'une des configurations détaillées ci-dessous :

131. Les Types De Couches :
● Couche convolutionnelle (CONV)
● Pooling (POOL)
● Fully Connected (FC)

132. Couche convolutionnelle (CONV) ― La couche convolutionnelle (en anglais convolution layer) (CONV) utilise des
filtres qui scannent l'entrée I suivant ses dimensions en effectuant des opérations de convolution. Elle peut être
réglée en ajustant la taille du filtre F et le stride S. La sortie O de cette opération est appelée feature map ou aussi
activation map.
Remarque : l'étape de convolution peut aussi être généralisée dans les cas 1D et 3D.
Les Types De Couches :

133. Pooling (POOL) ― La couche de pooling (en anglais pooling layer) (POOL) est une opération de sous-
échantillonnage typiquement appliquée après une couche convolutionnelle. En particulier, les types de pooling les plus
populaires sont le max et l'average pooling, où les valeurs maximales et moyennes sont prises, respectivement.

134. Fully Connected (FC) ― La couche de fully connected (en anglais fully connected layer) (FC) s'applique sur une
entrée préalablement aplatie où chaque entrée est connectée à tous les neurones. Les couches de fully connected
sont typiquement présentes à la fin des architectures de CNN et peuvent être utilisées pour optimiser des objectifs tels
que les scores de classe.

135. Stochastic gradient descent
(NLL) :
Une méthode généralement utilisée est de pénaliser les valeurs extrêmes des paramètres, qui
correspondent souvent à un surapprentissage.
Savoir à quel point les performances de notre modèle sont faible et donc
maximiser la probabilité de choisir la bonne classe

136. Compatibilité des paramètres dans la couche convolutionnelle ― En notant I le côté du volume d'entrée, F la taille du filtre,
P la quantité de zero-padding,S la stride, la taille O de la feature map de sortie suivant cette dimension est telle que :
Réglage des paramètres

137. Comprendre la complexité du modèle ― Pour évaluer la complexité d'un modèle, il est souvent utile de déterminer le
nombre de paramètres que l'architecture va avoir. Dans une couche donnée d'un réseau de neurones convolutionnels, on a :
Réglage des paramètres

138. Réglage des paramètres
Champ récepteur ― Le champ récepteur à la couche k est la surface notée Rk×Rk de l'entrée que chaque pixel de la
k-ième activation map peut 'voir'. En notant Fj la taille du filtre de la couche j et Si la valeur de stride de la couche i et avec la
convention S0=1, le champ récepteur à la couche k peut être calculé de la manière suivante :
Dans l'exemple ci-dessous, on a F1=F2=3 et S1=S2=1, ce qui donne R2=1+2⋅1+2⋅1=5

139. Implémentation

140. Conclusion

141. CHAPITRE 6
Les réseaux de neurones