Esprit-Intelligence Artificielle   02/11/2012   1
PlanIntroduction     Quelques Eléments de la neurobiologie        Les Modules mathématiques         Architecture du réseau...
IntroductionEsprit-Intelligence Artificielle             02/11/2012   3
Approche                                    basée sur la                                   connaissance                   ...
• C’est une approche qui a été privilégiée par  lIntelligence Artificielle.• Les réseaux de neurones sont fortement inspir...
Quelques repères• 1943: J. McCulloch & W. Pitts    proposent un modèle simple de neurone capable de produire une machine  ...
Intérêt                                                   IlsLa limitation                                              s’...
Quelques Eléments de la neurobiologieEsprit-Intelligence Artificielle   02/11/2012   8
Cellules nerveusesEsprit-Intelligence Artificielle     02/11/2012   9
Description schématique des éléments d’une                                   synapseEsprit-Intelligence Artificielle      ...
Apprentissage• Il est caractérisé par : Un système initial aux   mécanismes de fonctionnement et au potentiel   d’évolutio...
Les Modules mathématiquesEsprit-Intelligence Artificielle          02/11/2012   12
Structure d’un neurone            artificiel      Mise en correspondance neurone biologique / neurone artificielEsprit-Int...
Fonctionnement interne         d’un neurone• Un neurone reçoit les signaux dentrée x1, ..., xn .• Ces signaux sont pondéré...
Les fonctions de transfertEsprit-Intelligence Artificielle   02/11/2012   15
Réseaux de neurones           naturels vs. artificiels                                    réseau naturel        réseau art...
ARCHITECTURE DE RESEAUEsprit-Intelligence Artificielle   02/11/2012   17
Les réseaux "Feed-                      forward"• Ce sont des réseaux dans les quels linformation se  propage de couche en...
Perceptron monocouche La sortie S est calculée par la formule : S = 1si ∑ wi xi > s     0 si nonEsprit-Intelligence Artifi...
Perceptron               multicouche(PMC)Les neurones sont arrangés par couche. Il ny a pas de connexion entreneurones dun...
• On trouve aussi d’autre réseaux qui possèdent la   même architecture que le PMC mais avec   quelques particularités :par...
Les réseaux à fonction                radialeAppelé aussi RBF(en anglais : "Radial Basic Functions").Particularité :les fo...
Les réseaux ‘Feed back’• Ce sont des réseaux dans les quels linformation se   propage de couche en couche avec retour en  ...
• Les cartes auto organisatrices de kohonen       Ce modèle de carte auto-organisatrice appartient à la classe des réseaux...
APPRENTISSAGEEsprit-Intelligence Artificielle               02/11/2012   25
Types d’apprentissageIl existe plusieurs types d’apprentissage, les plusutilisées sont :• Mode supervisé : les exemples so...
•     Il existe d’autre types d’apprentissage comme :•     Sur-apprentissage ("apprentissage par-coeur") .•     Le mode hy...
Règles d’apprentissage                                           Par correction                           Règle de Hebb   ...
Autres règles• Apprentissage par descente de gradient :    il sagit de calculer une erreur et dessayer de minimiser cette ...
Algorithme d’apprentissage        du perceptron• Initialisation des poids et du seuil à de petites  valeurs aléatoires• Pr...
Apprentissage par                  correction derreur• Initialiser la matrice des poids au hasard• Choisir un exemple en e...
MISE EN PLACEEsprit-Intelligence Artificielle                   02/11/2012   32
Préparation des                    Détermination          Phase   données                         des paramètres    dappre...
Les points            Les points                               forts                faibles                               ...
Domaines d’application• Aérospatial : pilotage automatique, simulation du vol…• Automobile : système de guidage automatiqu...
Exemple d’application  Reconnaissance des formesIL y a plusieurs techniques pour la reconnaissance deforme ou bien d’ordre...
Programmation Temps de calcul            extrêmement      très lent            rapide et un            temps d’accès      ...
Méthodes modernes ou     par réseau de neurones• La seconde repose sur un réseau de neurone  discriminant.      La méthode...
Esprit-Intelligence Artificielle   02/11/2012   39
Le temps de calcul      Cette méthode           nécessaire à            nécessite un très           l’identification est  ...
ApplicationsExemple: Restitution de paramètres nuageux à partird’image satellite Esprit-Intelligence Artificielle         ...
ConclusionEsprit-Intelligence Artificielle                02/11/2012   42
Conclusion• les réseaux de neurones reposent à Présent sur des  bases mathématiques solides qui permettent  d’envisager de...
PerspectivesLes réseaux de neurones ont une histoire relativementjeune (environ 50 ans) et les applications intéressantesd...
Esprit-Intelligence Artificielle   02/11/2012   45
Prochain SlideShare
Chargement dans…5
×

Réseaux des neurones

7 829 vues

Publié le

0 commentaire
5 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
7 829
Sur SlideShare
0
Issues des intégrations
0
Intégrations
4
Actions
Partages
0
Téléchargements
372
Commentaires
0
J’aime
5
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • Les réseaux de neurones sont composés d’éléments simples (ou neurones) fonctionnant en parallèle. Ces éléments ont été fortement inspirés par le système nerveux biologique. Comme dans la nature, le fonctionnement du réseau (de neurone) est fortement influencé par la connections des éléments entre eux. On peut entraîner un réseau de neurone pour une tâche spécifique (reconnaissance de caractères par exemple) en ajustant les valeurs des connections (ou poids) entre les éléments (neurone). ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------APPRENTISSAGE----------------------------------------------------------------------------------------L’apprentissage « par paquet » (batch training) du réseau consiste à ajuster les poids et biais en présentant les vecteurs d’entrée/sortie de tout le jeu de données. L’apprentissage « pas à pas ou séquentiel » (incremental training) consiste à ajuster les poids et biais en présentant les composantes du vecteur d’entrée/sortie les unes après les autres. Ce type d’apprentissage est souvent qualifié d’apprentissage « en ligne » (« on line » training) ou « adaptatif » (« adaptive » training).
  • Réseaux des neurones

    1. 1. Esprit-Intelligence Artificielle 02/11/2012 1
    2. 2. PlanIntroduction Quelques Eléments de la neurobiologie Les Modules mathématiques Architecture du réseau Apprentissage Mise en placeConclusionEsprit-Intelligence Artificielle 02/11/2012 2
    3. 3. IntroductionEsprit-Intelligence Artificielle 02/11/2012 3
    4. 4. Approche basée sur la connaissance Inspiration de Approche traitement de algorithmique l’information par le cerveau La construction de logiciels Les RNA sont des réseaux fortement connectés de processeurs élémentaires fonctionnant en parallèle. Chaque processeur calcule une sortie unique sur la base des informations quil reçoitEsprit-Intelligence Artificielle 02/11/2012 4
    5. 5. • C’est une approche qui a été privilégiée par lIntelligence Artificielle.• Les réseaux de neurones sont fortement inspirés par le système nerveux biologique• On peut entraîner un réseau de neurone pour une tâche spécifique (reconnaissance de caractères par exemple) en ajustant les valeurs des connections (ou poids) entre les éléments neurone). Esprit-Intelligence Artificielle 02/11/2012 5
    6. 6. Quelques repères• 1943: J. McCulloch & W. Pitts proposent un modèle simple de neurone capable de produire une machine de Turing.• 1948: D. Hebb propose une règle dapprentissage pour des réseaux de neurones .• 1958: F. Rosenblatt propose le modèle du Perceptron et démontre son théorème de convergence.• 1969: M. Minsky & S. Papert démontrent les limitations du modèle du Perceptron.• 1985: apprentissage par rétro-propagation pour les réseaux multi-couches. Esprit-Intelligence Artificielle 02/11/2012 6
    7. 7. Intérêt IlsLa limitation s’inscrivent des dans les ordinateurs mutations La structure des existants . tech. réseaux de neurones Les RNA sont étant elle-même efficaces pour parallèle, leur effectuer à grande fonctionnement vitesse des calculs présente de nombreux et, d’une manière avantages : générale des tâches une vitesse de calcul mécaniques accrue, la résistance aux pannes locales, et enfin la régularité de la structureEsprit-Intelligence Artificielle 02/11/2012 7
    8. 8. Quelques Eléments de la neurobiologieEsprit-Intelligence Artificielle 02/11/2012 8
    9. 9. Cellules nerveusesEsprit-Intelligence Artificielle 02/11/2012 9
    10. 10. Description schématique des éléments d’une synapseEsprit-Intelligence Artificielle 02/11/2012 10
    11. 11. Apprentissage• Il est caractérisé par : Un système initial aux mécanismes de fonctionnement et au potentiel d’évolution fixés. l’évolution des connexions du réseau . l’interaction entre le monde extérieur et le réseau . un mécanisme sélectif . L’apprentissage peut être définit comme l’acquisition de propriétés associatives stables, et la mémorisation comme l’engrangement et le rappel de ces propriétés ou modifications. Esprit-Intelligence Artificielle 02/11/2012 11
    12. 12. Les Modules mathématiquesEsprit-Intelligence Artificielle 02/11/2012 12
    13. 13. Structure d’un neurone artificiel Mise en correspondance neurone biologique / neurone artificielEsprit-Intelligence Artificielle 02/11/2012 13
    14. 14. Fonctionnement interne d’un neurone• Un neurone reçoit les signaux dentrée x1, ..., xn .• Ces signaux sont pondérés par des poids w1, ..., wn .• Lactivation du neurone a=∑ wi.xi est transmise à une fonction de transition f (non linéaire) paramétrée par un seuil w0• Le signal de sortie y = f (a-w0) est propagé aux cellules suivantes Esprit-Intelligence Artificielle 02/11/2012 14
    15. 15. Les fonctions de transfertEsprit-Intelligence Artificielle 02/11/2012 15
    16. 16. Réseaux de neurones naturels vs. artificiels réseau naturel réseau artificielfonctionnement du réactions chimiques fonctionsneurone mathématiquestemps de réaction relativement lent très rapidenombre de neurones environ 10¹º entre 10⁴ et 10⁵nombre de connexions environ 10¹³ jusquà 10⁷ Esprit-Intelligence Artificielle 02/11/2012 16
    17. 17. ARCHITECTURE DE RESEAUEsprit-Intelligence Artificielle 02/11/2012 17
    18. 18. Les réseaux "Feed- forward"• Ce sont des réseaux dans les quels linformation se propage de couche en couche sans retour en arrière possible.• On distingue alors : o Perceptron monocouche o Perceptron multicouche(PMC) Le perceptron est un modèle de réseau de neurones avec algorithme dapprentissage Esprit-Intelligence Artificielle 02/11/2012 18
    19. 19. Perceptron monocouche La sortie S est calculée par la formule : S = 1si ∑ wi xi > s 0 si nonEsprit-Intelligence Artificielle 02/11/2012 19
    20. 20. Perceptron multicouche(PMC)Les neurones sont arrangés par couche. Il ny a pas de connexion entreneurones dune même couche et les connexions ne se font quavec lesneurones des couches avalesEsprit-Intelligence Artificielle 02/11/2012 20
    21. 21. • On trouve aussi d’autre réseaux qui possèdent la même architecture que le PMC mais avec quelques particularités :par exemple : PMC a connexion locale Esprit-Intelligence Artificielle 02/11/2012 21
    22. 22. Les réseaux à fonction radialeAppelé aussi RBF(en anglais : "Radial Basic Functions").Particularité :les fonctions de base utilisées ici sont des fonctionsGaussiennes.Utilité :Les RBF seront donc employés dans les mêmes typesde problèmes que les PMC à savoir, en classificationet en approximation de fonctions, particulièrement. Esprit-Intelligence Artificielle 02/11/2012 22
    23. 23. Les réseaux ‘Feed back’• Ce sont des réseaux dans les quels linformation se propage de couche en couche avec retour en arrière possible. Réseau à connexions complètes Réseau à connexions récurrentes Esprit-Intelligence Artificielle 02/11/2012 23
    24. 24. • Les cartes auto organisatrices de kohonen Ce modèle de carte auto-organisatrice appartient à la classe des réseaux à compétition.• Les réseaux de Hopfield Un réseau de Hopfield réalise une mémoire adressable par son contenu.• Les ART ART (Adaptive Resonance Theory) est un modèle de réseau de neurones à architecture évolutive développé en 1987 par Carpenter et Grossberg. Esprit-Intelligence Artificielle 02/11/2012 24
    25. 25. APPRENTISSAGEEsprit-Intelligence Artificielle 02/11/2012 25
    26. 26. Types d’apprentissageIl existe plusieurs types d’apprentissage, les plusutilisées sont :• Mode supervisé : les exemples sont des couples (entrée, sortie associée).• Mode non supervisé: on dispose que des valeurs (entrée).• Apprentissage par renforcement. Pour ces trois types dapprentissage, il y a également un choix traditionnel entre : o L’apprentissage << off-line >> o L’apprentissage << on-line >> Esprit-Intelligence Artificielle 02/11/2012 26
    27. 27. • Il existe d’autre types d’apprentissage comme :• Sur-apprentissage ("apprentissage par-coeur") .• Le mode hybride .• Apprentissage "local" .• Apprentissage "global" .• Validation croisée ("Cross Validation") . Esprit-Intelligence Artificielle 02/11/2012 27
    28. 28. Règles d’apprentissage Par correction Règle de Hebb d’erreur Par Apprentissage compétition de Boltzmann 4 règles principalesEsprit-Intelligence Artificielle 02/11/2012 28
    29. 29. Autres règles• Apprentissage par descente de gradient : il sagit de calculer une erreur et dessayer de minimiser cette erreur.• Apprentissage par la règle de Widrow-Hoff (ou Adaline) : au lieu de calculer les variations des poids en sommant sur tous les exemples de S, lidée est de modifier les poids à chaque présentation dexemple. Esprit-Intelligence Artificielle 02/11/2012 29
    30. 30. Algorithme d’apprentissage du perceptron• Initialisation des poids et du seuil à de petites valeurs aléatoires• Présenter un vecteur d’entrées x(μ) et calculer sa sortie• Mettre à jour les poids en utilisant : wj(t+1) = wj(t) + η (d- y) xj avec d la sortie désirée, w vecteur des poids η est une constante positive ,qui spécifie le pas de modification des poids Esprit-Intelligence Artificielle 02/11/2012 30
    31. 31. Apprentissage par correction derreur• Initialiser la matrice des poids au hasard• Choisir un exemple en entrée• Propager le calcul de cette entrée à travers le réseau• Calculer la sortie de cette entrée• Mesurer lerreur de prédiction par différence entre sortie réelle et sortie prévue• Calculer la contribution dun neurone à lerreur à partir de la sortie• Déterminer le signe de modification du poids• Corriger les poids des neurones pour diminuer lerreur Le processus recommence ainsi, à partir du choix de lexemple en entrée, jusquà ce quun taux derreur minimal soit atteint. Esprit-Intelligence Artificielle 02/11/2012 31
    32. 32. MISE EN PLACEEsprit-Intelligence Artificielle 02/11/2012 32
    33. 33. Préparation des Détermination Phase données des paramètres dapprentissageDétermination Optimisation dudes entrées et jeu de données des sortiesConstitution de Codage des la base entrées dexemplesEsprit-Intelligence Artificielle 02/11/2012 33
    34. 34. Les points Les points forts faibles Codage des Souplesse entrées Bonne Lisibilité résolution Traitement Non des variables optimalité continues Outils Performance disponiblesEsprit-Intelligence Artificielle 02/11/2012 34
    35. 35. Domaines d’application• Aérospatial : pilotage automatique, simulation du vol…• Automobile : système de guidage automatique,…• Défense : guidage de missile, suivi de cible,reconnaissance du visage, radar, sonar, lidar, traitementdu signal, compression de données, suppression du bruit…• Electronique : prédiction de la séquence d’un code,vision machine, synthétiseur vocal, modèle non linéaire,…• Finance : Prévision du coût de la vie• Secteur médical : Analyse EEC et ECG• Télécommunications : Compression de données … Esprit-Intelligence Artificielle 02/11/2012 35
    36. 36. Exemple d’application Reconnaissance des formesIL y a plusieurs techniques pour la reconnaissance deforme ou bien d’ordre Général la classification, oncite trois méthodes avec un exemple pour biencomprendre ces techniques : La méthode classique : La première, la plus classique, consiste simplement à mesurer la distance euclidienne entre l’image de test et toutes les images présentes dans la base d’apprentissage afin d’en déterminer la plus faible. Esprit-Intelligence Artificielle 02/11/2012 36
    37. 37. Programmation Temps de calcul extrêmement très lent rapide et un temps d’accès aux informations utiles immédiatEsprit-Intelligence Artificielle 02/11/2012 37
    38. 38. Méthodes modernes ou par réseau de neurones• La seconde repose sur un réseau de neurone discriminant. La méthode du réseau discriminant repose sur l’utilisation d’un unique réseau de neurones donnant en sortie la classe d’appartenance d’une image inconnue en entrée.• Il est composé d’une couche d’entrée, d’une couche cachée et de plusieurs sorties pour autant de personnes à discriminer. Esprit-Intelligence Artificielle 02/11/2012 38
    39. 39. Esprit-Intelligence Artificielle 02/11/2012 39
    40. 40. Le temps de calcul Cette méthode nécessaire à nécessite un très l’identification est long apprentissage rapide par rapport qui dépend du a l’autre méthode nombre de neurones sur la couche cachéeEsprit-Intelligence Artificielle 02/11/2012 40
    41. 41. ApplicationsExemple: Restitution de paramètres nuageux à partird’image satellite Esprit-Intelligence Artificielle 02/11/2012 41
    42. 42. ConclusionEsprit-Intelligence Artificielle 02/11/2012 42
    43. 43. Conclusion• les réseaux de neurones reposent à Présent sur des bases mathématiques solides qui permettent d’envisager des applications dans presque tout les domaines y compris industriel et à grande échelle, notamment dans le domaine de la classification. Esprit-Intelligence Artificielle 02/11/2012 43
    44. 44. PerspectivesLes réseaux de neurones ont une histoire relativementjeune (environ 50 ans) et les applications intéressantesdes réseaux de neurones n’ont vu le jour que depuisune vingtaine d’année (développement del’informatique), et ils ont un futur très prometteur, onentend parler (par exemple) du WEB sémantique,RFID, … etc. Esprit-Intelligence Artificielle 02/11/2012 44
    45. 45. Esprit-Intelligence Artificielle 02/11/2012 45

    ×