Recommandé
Contenu connexe
Similaire à Recurrent neural network_PresentationRNN.pptx
Similaire à Recurrent neural network_PresentationRNN.pptx (11)
Recurrent neural network_PresentationRNN.pptx
- 1. Réalisé par : BABZINE BAHIJA ER-RAHMOUNY ZOHAYR Encadré par : Mr. El-fenaouy Reda Mr. Gardelle Bertin Réseau de neurones Récurrents
- 3. INTRODUCTION
- 7. Données Séquentiel Les données séquentielles sont des données organisées dans un ordre séquentiel, c'est-à-dire dans une séquence ou une séries ordonnées. Elles sont souvent utilisées pour représenter des événements qui se produisent dans le temps Exemple: Séries temporelles Séquences de sons ou de vidéos Séquences de lettres ou de mots dans un texte, etc.
- 9. Réseau de neurones Récurrents Permettent de traiter des séquences temporelles (langage, vidéos, données numériques). Ils conservent la mémoire des données du passé pour prédire des séquences de données dans le futur proche. [1]
- 10. Réseau de neurons Récurrents Comment convertir un réseau neuronal Feed-Forward en un réseau neuronal récurrent :[5]
- 11. Réseau de neurons Récurrents Comment convertir un réseau neuronal Feed-Forward en un réseau neuronal récurrent :[5]
- 12. Réseau de neurons Récurrents Comment convertir un réseau neuronal Feed-Forward en un réseau neuronal récurrent :[5]
- 13. Fonctionnement des RNN Dans les réseaux de neurones récurrents, les informations parcourent une boucle jusqu'à la couche cachée du milieu. [5]
- 14. Les différentes applications des RNN Plusieurs vers un Il y a plusieurs entrées et il y a une seule sortie . Exemple : Analyse des sentiments des textes. Cela permet d'identifier un sentiment parmi un groupe de mots, de déterminer le mot qui manque pour terminer la phrase reçue en Many to One
- 15. Les différentes applications des RNN Le RNN reçoit une seule entrée et renvoie plusieurs sorties, Exemple:légende de l'image Many to One One to Many
- 16. Les différentes applications des RNN Many to One One to Many Many to Many Plusieurs à plusieurs prendre plusieurs entrées et obtenir plusieurs sorties . On n'a pas forcément le même nombre de neurones d'entrée et de sortie. Exemple : la traduction de texte, mais on peut être ambitieux et envisager de terminer une œuvre musicale par son
- 17. Les différentes applications des RNN One to One One to Many [2] Many to Many Many to Many
- 18. Avantages et inconvénients des RNN Les RNN présentent divers avantages, tels que : Capacité à gérer les données de séquence Capacité à gérer des entrées de longueurs variables Capacité à stocker ou « mémoriser » des informations historiques Avantages Inconvénients Les RNN présentent divers inconvénients, tels que : Le calcul peut être très lent. Le réseau ne tient pas compte des entrées futures pour prendre des décisions. Problème de gradient de fuite, où les gradients utilisés pour calculer la mise à jour des poids peuvent devenir très proches de zéro, empêchant le réseau d'apprendre de nouveaux poids. Plus le réseau est profond, plus ce problème est prononcé. [3] [3]
- 19. Les différentes Types des RNN Il existe différentes variantes de RNN qui sont appliquées pratiquement dans les problèmes d'apprentissage automatique : 01 02 03 BRNN Unités récurrentes fermées GRU LSTM Mémoire à long court terme Réseaux de neurones récurrents bidirectionnels. [4]
- 21. Long-Short-Term-Memory Vanishing Gradient Problem Les réseaux de neurones récurrents permet de modéliser des problèmes de données dépendant du temps et séquentiels. Cependant que RNN est difficile à entraîner en raison du problème de gradient. Les RNN souffrent du problème vanishing gradients. Les gradients transportent des informations utilisées dans le RNN, et lorsque le gradient devient trop petit, les mises à jour des paramètres deviennent insignifiantes. Cela rend difficile l'apprentissage de longues séquences de données. Solutions aux problèmes de gradient Moyenle plus populaire et le plus efficace de traiter les problèmes de gradient, c'est-à-dire le réseau de mémoire à long court terme (LSTM). Initialisation du poids 1 Choisir la bonne fonction d'activation 2 Mémoire longue à court terme 2 LSTM
- 22. Long-Short-Term-Memory Les LSTM sont un type spécial de RNN capables d'apprendre des dépendances à long terme en se souvenant des informations pendant de longues périodes est le comportement par défaut.
- 23. Long-Short-Term-Memory Les LSTM ont également une structure en forme de chaîne, mais le module répétitif est une structure un peu différente. Au lieu d'avoir une seule couche de réseau neuronal, quatre couches en interaction communiquent de manière extraordinaire.
- 25. Fonctionnement de LSTM Xt Ht-1 . . . . Sigmoide Activation combien garder de l'ancien mémoire
- 26. Fonctionnement de LSTM Xt Ht-1 . . . . Sigmoide Activation Combien ajouter à la nouvelle mémoire
- 27. Fonctionnement de LSTM Xt Ht-1 . . . . Tanh Activation Générer une nouvelle mémoire
- 28. Fonctionnement de LSTM Xt Ht-1 . . . . Sigmoide Activation How much to output
- 29. Fonctionnement de LSTM Tanh Activation Générer la sortie * Ot
- 30. Fonctionnement de LSTM REMARQUE: Utilisées pour contrôler le flux d'informations entre les cellules et les portes de l'unité LSTM. Tanh: Calcule la sortie candidate de la cellule.(Forget) Sigmoide : calcule les activations des portes de contrôle.(Remembre)
- 31. [1] : https://metalblog.ctif.com/2021/09/06/les-reseaux-de-neurones-recurrents-pour- les-series-temporelles/ [2] :https://datascientest.com/en/recurrent-neural-network-what-is-it [3] :https://machinelearningmastery.com/an-introduction-to-recurrent-neural-networks- and-the-math-that-powers-them/ [4] :https://machinelearningmastery.com/an-introduction-to-recurrent-neural-networks- and-the-math-that-powers-them/ [5] :https://www.simplilearn.com/tutorials/deep-learning-tutorial/rnn
Notes de l'éditeur
- Les réseaux de neurones artificiels (RNA) sont une méthode d'apprentissage automatique inspirée du fonctionnement du cerveau humain. Ces réseaux sont composés de plusieurs couches de neurones, qui communiquent entre eux en transmettant des signaux électriques. Chaque neurone traite les signaux qu'il reçoit et les transmet aux neurones suivants, créant ainsi un flux d'information qui permet au réseau de réaliser des tâches de classification, de prédiction ou de reconnaissance de motifs.
- Les nœuds des différentes couches du réseau neuronal sont compressés pour former une seule couche de réseaux neuronaux récurrents. A, B et C sont les paramètres du réseau.
- Ici, "x" est la couche d'entrée, "h" est la couche cachée et "y" est la couche de sortie. A, B et C sont les paramètres de réseau utilisés pour améliorer la sortie du modèle. A tout instant t, l'entrée de courant est une combinaison d'entrées à x(t) et x(t-1). La sortie à tout moment est récupérée sur le réseau pour améliorer la sortie.
- Ici, "x" est la couche d'entrée, "h" est la couche cachée et "y" est la couche de sortie. A, B et C sont les paramètres de réseau utilisés pour améliorer la sortie du modèle. A tout instant t, l'entrée de courant est une combinaison d'entrées à x(t) et x(t-1). La sortie à tout moment est récupérée sur le réseau pour améliorer la sortie.
- La couche d'entrée 'x' reçoit l'entrée du réseau neuronal, la traite et la transmet à la couche intermédiaire. La couche intermédiaire « h » peut être constituée de plusieurs couches cachées, chacune avec ses propres fonctions d'activation, poids et biais. Si vous avez un réseau de neurones où les différents paramètres des différentes couches cachées ne sont pas affectés par la couche précédente, c'est à dire : le réseau de neurones n'a pas de mémoire, alors vous pouvez utiliser un réseau de neurones récurrent. Le réseau de neurones récurrent normalisera les différentes fonctions d'activation, les poids et les biais afin que chaque couche cachée ait les mêmes paramètres. Ensuite, au lieu de créer plusieurs calques cachés, il en créera un et le bouclera autant de fois que nécessaire.
- Bien que les RNN soient conçus pour capturer des informations sur les entrées passées, ils peuvent avoir du mal à capturer les dépendances à long terme dans la séquence d'entrée. En effet, les gradients peuvent devenir très faibles à mesure qu'ils se propagent dans le temps, ce qui peut amener le réseau à oublier des informations importantes.
- Tous les RNN se présentent sous la forme d'une chaîne de modules répétitifs d'un réseau de neurones. Dans les RNN standard, ce module répétitif aura une structure très simple, telle qu'une seule couche tanh.
- Bien que les RNN soient conçus pour capturer des informations sur les entrées passées, ils peuvent avoir du mal à capturer les dépendances à long terme dans la séquence d'entrée. En effet, les gradients peuvent devenir très faibles à mesure qu'ils se propagent dans le temps, ce qui peut amener le réseau à oublier des informations importantes.
- Bien que les RNN soient conçus pour capturer des informations sur les entrées passées, ils peuvent avoir du mal à capturer les dépendances à long terme dans la séquence d'entrée. En effet, les gradients peuvent devenir très faibles à mesure qu'ils se propagent dans le temps, ce qui peut amener le réseau à oublier des informations importantes.
- Bien que les RNN soient conçus pour capturer des informations sur les entrées passées, ils peuvent avoir du mal à capturer les dépendances à long terme dans la séquence d'entrée. En effet, les gradients peuvent devenir très faibles à mesure qu'ils se propagent dans le temps, ce qui peut amener le réseau à oublier des informations importantes.
- Bien que les RNN soient conçus pour capturer des informations sur les entrées passées, ils peuvent avoir du mal à capturer les dépendances à long terme dans la séquence d'entrée. En effet, les gradients peuvent devenir très faibles à mesure qu'ils se propagent dans le temps, ce qui peut amener le réseau à oublier des informations importantes.
- Bien que les RNN soient conçus pour capturer des informations sur les entrées passées, ils peuvent avoir du mal à capturer les dépendances à long terme dans la séquence d'entrée. En effet, les gradients peuvent devenir très faibles à mesure qu'ils se propagent dans le temps, ce qui peut amener le réseau à oublier des informations importantes.
- Bien que les RNN soient conçus pour capturer des informations sur les entrées passées, ils peuvent avoir du mal à capturer les dépendances à long terme dans la séquence d'entrée. En effet, les gradients peuvent devenir très faibles à mesure qu'ils se propagent dans le temps, ce qui peut amener le réseau à oublier des informations importantes.
- Bien que les RNN soient conçus pour capturer des informations sur les entrées passées, ils peuvent avoir du mal à capturer les dépendances à long terme dans la séquence d'entrée. En effet, les gradients peuvent devenir très faibles à mesure qu'ils se propagent dans le temps, ce qui peut amener le réseau à oublier des informations importantes.
- Bien que les RNN soient conçus pour capturer des informations sur les entrées passées, ils peuvent avoir du mal à capturer les dépendances à long terme dans la séquence d'entrée. En effet, les gradients peuvent devenir très faibles à mesure qu'ils se propagent dans le temps, ce qui peut amener le réseau à oublier des informations importantes.