Réseaux neurons

583 vues

Publié le

Réseaux neurons !!!

Publié dans : Technologie
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
583
Sur SlideShare
0
Issues des intégrations
0
Intégrations
9
Actions
Partages
0
Téléchargements
46
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Réseaux neurons

  1. 1. 1
  2. 2. Plan ! 201/12/2015Réseaux des Neurones • Introduction Pourquoi les réseaux de neurones? Historique • Analogie neurone formel et neurone biologique Le neurone biologique Le neurone formel : - Le modèle Mc Culloch et Pitts • Architecture des réseaux de neurones Réseaux bouclés et réseaux non bouclés • Notion d’apprentissage Apprentissage supervisé et non supervisé • Quelques modèles de réseaux de neurones Le perceptron multicouche Le modèle de Hopefield Les cartes de Kohonen • Exemples d’applications • Conclusion
  3. 3. Introduction Esprit-réseaux de neurones
  4. 4. Pourquoi les réseaux de neurones? Caractéristiques de l’architecture du cerveau humain:  une architecture massivement parallèle  un mode de calcul et une mémoire distribués  une capacité d'apprentissage  une capacité de généralisation  une capacité d'adaptation  une résistance aux pannes  une faible consommation énergétique Esprit-réseaux de neurones
  5. 5. Définition o C’est une approche qui a été privilégiée par l'Intelligence Artificielle. o Les réseaux de neurones artificiels sont des réseaux fortement connectés de processeurs élémentaires fonctionnant en parallèle. Chaque processeur élémentaire calcule une sortie unique sur la base des informations qu'il reçoit. Toute structure hiérarchique de réseaux est évidemment un réseau. 501/12/2015Esprit-réseaux de neurones
  6. 6. Historique Quelques repères • 1943 : o Modèle de McCulloch et Pitts • 1948: D. Hebb propose une règle d'apprentissage pour des réseaux de neurones . • 1960 : o Rosenblatt : perceptron et théorème de convergence o Minsky et Papert : limites du perceptron mono-couche • 1980 : o Modèle de Hopefield o Werbos : rétropropagation dans le cadre des perceptrons multi-couches (popularisé en 1986 par Rumelhart) 01/12/2015 6Esprit-réseaux de neurones
  7. 7. Intérêt 01/12/2015 7 Les RNA sont efficaces pour effectuer à grande vitesse des calculs et, d’une manière générale des tâches mécaniques La limitation des ordinateurs existants . La structure des réseaux de neurones étant elle-même parallèle, leur fonctionnement présente de nombreux avantages : une vitesse de calcul accrue, la résistance aux pannes locales, et enfin la régularité de la structure Ils s’inscrivent dans les mutations tech. Esprit-réseaux de neurones
  8. 8. 801/12/2015 Analogie neurone formel et neurone biologique Esprit-réseaux de neurones
  9. 9. Cellules nerveuses 01/12/2015 9Esprit-réseaux de neurones
  10. 10. 01/12/2015 10 Le neurone biologique Esprit-réseaux de neurones
  11. 11. 01/12/2015 11 Le neurone biologique  Dendrites : Signaux d’entrée  Axone : Signal de sortie Esprit-réseaux de neurones
  12. 12. Description schématique des éléments d’une synapse 1201/12/2015  Transmission entre un axone et une dendrite  Synapses excitatrices / synapses Esprit-réseaux de neurones
  13. 13. Structure d’un neurone artificiel 01/12/2015 13 Mise en correspondance neurone biologique / neurone artificiel Esprit-réseaux de neurones
  14. 14. 01/12/2015 14 Le neurone formel Esprit-réseaux de neurones
  15. 15. Neurone formel: le modèle Mc Culloch et Pitts 01/12/2015 15Esprit-réseaux de neurones
  16. 16. Le Neurone Formel 01/12/2015 16 Le neurone formel, l’unité élémentaire d’un RNA, se compose de deux parties : évaluation de la stimulation reçue (fonction E) évaluation de son activation (fonction f) Il est caractérisé par : son état X (binaire, discret, continu) le niveau d’activation reçu en entrée U (continu) le poids des connections en entrée Esprit-réseaux de neurones
  17. 17. Le Neurone Formel 1701/12/2015 La fonction d’entrée : somme pondérée des signaux d’entrée Le biais d’entrée (biais input): unité fictive dont le poids permet de régler le seuil de déclenchement du neurone Esprit-réseaux de neurones
  18. 18. Les fonctions de transfert (d’activation) 01/12/2015 18Esprit-réseaux de neurones
  19. 19. 01/12/2015Esprit-réseaux de neurones 19 Comparaison Biological Neuron Artificial Neuron corps cellulaire neurone Dendrites inputs Axone output Synaps poids
  20. 20. 01/12/2015 20 Architecture des réseaux de neurones Esprit-réseaux de neurones
  21. 21. 01/12/2015 21 Réseaux bouclés Les neurones ne peuvent pas être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière Exemple -> réseau entièrement connecté : Esprit-réseaux de neurones
  22. 22. 01/12/2015 22 Réseaux « non bouclés » ou réseaux à couches Les neurones peuvent être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière Exemple -> réseau à une couche intermédiaire : Esprit-réseaux de neurones
  23. 23. 01/12/2015 23 Si Y est le vecteur des sorties et X le vecteur des entrées: Y = FW(X) FW : fonction d’activation du réseau W : vecteur des « poids » des liaisons synaptiques Apprentissage = détermination des poids permettant d’obtenir une sortie proche d’une sortie Y0 voulue à partir d’une entrée X Nouveau Schéma Esprit-réseaux de neurones
  24. 24. 01/12/2015 24 Notion d’apprentissage Esprit-réseaux de neurones
  25. 25. 01/12/2015 25 Mise à jour des poids de connexion, en général à partir d’un ensemble de données d’entraînement Modification itérative des poids Paradigme d’apprentissage : modélisation de l’environnement dans lequel le réseau opèrera. 3 paradigmes d’apprentissage: Supervisé : on veut qu’à une entrée corresponde une sortie préalablement définie Non supervisé : on veut construire un réseau dont on ne connaît pas a priori la sortie correspondant à des entrées données Hybride Règles d’apprentissage : gouvernent la mise à jour des poids du réseau Algorithme d’apprentissage : procédure dans laquelle les règles d’apprentissage sont utilisées en vue de l’ajustement des poids Esprit-réseaux de neurones
  26. 26. Règles d’apprentissage 01/12/2015 26 4 règles principales Par compétition Règle de Hebb Par correction d’erreur Apprentissage de Boltzmann Esprit-réseaux de neurones
  27. 27. Autres règles • Apprentissage par descente de gradient : il s'agit de calculer une erreur et d'essayer de minimiser cette erreur. • Apprentissage par la règle de Widrow-Hoff (ou Adaline) : au lieu de calculer les variations des poids en sommant sur tous les exemples de S, l'idée est de modifier les poids à chaque présentation d'exemple. 01/12/2015 27Esprit-réseaux de neurones
  28. 28. Correction d’erreur • Si d est la sortie désirée et y la sortie obtenue, la modification des poids se fait en fonction de (d-y) • Algorithme de retro-propagation • Algorithme d’apprentissage du perceptron: o Initialisation des poids et du seuil à de petites valeurs aléatories o Présenter un vecteur d’entrées x(μ) et calculer sa sortie o Mettre à jour les poids en utilisant : wj(t+1) = wj(t) + η (d- y) xj avec d la sortie désirée, w vecteur des poids 01/12/2015 28Esprit-réseaux de neurones
  29. 29. 01/12/2015 29 Quelques modèles de réseaux de neurones Esprit-réseaux de neurones
  30. 30. Le Perceptron multicouches 3001/12/2015 • Modèle du perceptron simple: o pas de seuil o fonction d’activation = fonction signe o Séparation de deux classes d’entiers A et B -> apprentissage supervisé o Inconvénient : A et B doivent être linéairement séparables Esprit-réseaux de neurones
  31. 31. 01/12/2015 31 • Mémorisation de formes et de motifs • Mémoire distribuée • Mémoire associative Le modèle de Hopefield Esprit-réseaux de neurones
  32. 32. 01/12/2015 32 • N neurones binaires (1 ou -1) : 2N états possibles pour le réseau • Réseau entièrement connecté, connexion de poids Cij = Cji • État du neurone i à l’instant t: • L’état du neurone i dépend de l’état du réseau en général -> mémoire distribuée • But : trouver les Cji qui vont permettre de mémoriser un état particulier du réseau • Soient S1, S2… Sp p configuration du réseau à mémoriser : on veut, a partir d’une configuration proche de Sm, converger vers Sm -> mémoire associative • Principe de Hebb : Esprit-réseaux de neurones
  33. 33. 01/12/2015 33 Les cartes de Kohonen  On veut un réseau ayant deux caractéristiques particulières : Apprentissage non supervisé Les réponses associées à des entrées voisines sont voisines : auto organisation  Notion de voisinage entre les classes d’observation  Algorithme : Initialisation : à chaque classe on associe un vecteur code dans l’espace d’observation Etape : on tire un point au hasard dans l’espace des observations (données). On déplace ensuite la classe la plus proche, ainsi que tous ses voisins les plus proches, vers ce point. Esprit-réseaux de neurones
  34. 34. 01/12/2015 34 Exemples d’applications Esprit-réseaux de neurones
  35. 35. 01/12/2015 35Esprit-réseaux de neurones
  36. 36. 3601/12/2015 Conclusion Esprit-réseaux de neurones
  37. 37. Conclusion • les réseaux de neurones reposent à Présent sur des bases mathématiques solides qui permettent d’envisager des applications dans presque tout les domaines y compris industriel et à grande échelle, notamment dans le domaine de la classification. 01/12/2015 37Esprit-réseaux de neurones
  38. 38. Perspectives Les réseaux de neurones ont une histoire relativement jeune (environ 50 ans) et les applications intéressantes des réseaux de neurones n’ont vu le jour que depuis une vingtaine d’année (développement de l’informatique), et ils ont un futur très prometteur, on entend parler (par exemple) du WEB sémantique, RFID, … etc. 01/12/2015 38Esprit-réseaux de neurones
  39. 39. 01/12/2015Esprit-réseaux de neurones 39

×