Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Voyage dans le monde du Deep Learning

721 vues

Publié le

L’intelligence artificielle, vous connaissez ? Les robots humanoïdes, les voitures autonomes, les assistants personnels, les robots chirurgicaux,… tout ça vous parle ? Evidemment sinon vous ne seriez pas là !

L’intelligence artificielle est d’après certains spécialistes, l’une des technologies émergente qui amorce la 4ème révolution industrielle. L’IA existe depuis les années 50 alors pourquoi ce buzz maintenant ? Grâce aux avancées technologiques et en particulier à celle du Deep Learning, sous-ensemble du Machine Learning, s’inspirant du fonctionnement des connexions neuronales du cerveau.

Différentes architectures de réseaux de neurones permettent d’adresser de nombreux champs d’application comme la vision par ordinateur (reconnaissance de formes) , la reconnaissance de la parole ou le traitement du langage naturel.

Alexia vous plongera dans le monde passionnant du Deep Learning, en vous parlant de neurones formels, de réseaux fully connected, convolutionnels et récurrents. Tout cela avec quelques formules mathématiques et surtout des exemples compréhensibles par des êtres humains.

Préparez vos neurones, ça va remuer !

SALON DE LA DATA - 12 SEPTEMBRE 2018 – CITÉ DES CONGRÈS DE NANTES

Publié dans : Données & analyses
  • Soyez le premier à commenter

Voyage dans le monde du Deep Learning

  1. 1. Voyage dans le monde du Deep Learning Mercredi 12 Septembre 2018
  2. 2. Alexia Audevart Data & Enthusiasm @aaudevart President of Toulouse Data Science meet-up Co-organizer of Toulouse DevFest conference Founder of datactik Data Scientist
  3. 3. Pourquoi le Deep Learning maintenant ?
  4. 4. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Définition Intelligence Artificielle Ensemble de théories et de techniques mises en œuvre en vue de réaliser des machines capables de simuler l’intelligence
  5. 5. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 La première vague de l’IA 1950 : Test de Turing 1956 : Conférence de Darmouth College Constat : Les ordinateurs sont primitifs => Besoin de micro-processeur puissant Promesse irréalisable - Arrêt des subventions => Hiver de l’IA 1960 : Subvention de la recherche par la DARPA aux USA
  6. 6. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 La première vague de l’IA 1970’s : Système Experts Fin du XXème siècle, les machines sont toujours moins intelligentes que les humains ! Programmes traditionnels avec des algorithmes qui se programment manuellement. Loi de Moore 1997 - Deep Blue
  7. 7. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 La deuxième vague de l’IA 2009 Reconnaissance Vocale Regain d’intérêt du Deep Learning Les programmes s’éduquent plus qu’ils ne se programment ! 2011 IBM Watson – Jeopardy 2012 Vision par ordinateur 2014 Traduction 2015 AplhaGo
  8. 8. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Le Deep Learning Objectif : simuler l’intelligence humaine Modéliser mathématiquement le cerveau afin de reproduire certaines caractéristiques : Approche essentiellement probabiliste ≠ raisonnement formel Capacité de mémoire Capacité d’apprentissage Capacité à traiter des informations incomplètes
  9. 9. Neurone Artificiel vs Neurone Biologique
  10. 10. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Notre cerveau en chiffre… • Diamètre d'un neurone : <0,1 mm • Poids du cerveau : 1,3 - 1,4 kg • 1mm3 de cortex contient 1 milliard de connexions • Nombre de neurones dans le cerveau humain : 100 milliards • Nombre de neurones dans le cœur : 40 000 neurones • Nombre de neurones dans les intestins : 100 milliards • 160 000 km réseau sanguin dans le cerveau => moitié de la distance de la Terre à la Lune • 1000 à 10000 connexions pour chaque synapse
  11. 11. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Inspiration Biologique Les DENDRITES = entrées du neurone L’AXONE = sortie du neurone vers d’autres neurones ou fibres musculaires Les SYNAPSES = point de connexion avec les autres neurones, fibres nerveuses ou musculaires Le NOYAU = active la sortie en fonction des simulations en entrée
  12. 12. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Le neurone formel 1943 : 1ère notion de neurone formel • Warren Mc Culloch (neurophysiologiste) et Walter Pitts (psychologue cognitif) La 1ère implémentation du neurone formel était limitée à des problèmes de classification binaire NoyauDendrites Axone Input Output
  13. 13. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Activation : • function A = “activated” if Y > threshold else not A(x) = max(0,x) Quelques Fonctions d’Activation Seuil Sigmoïde Tanh ReLU
  14. 14. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Prédiction du prix d’une maison X Size of a house y Price of a house neurone
  15. 15. Un réseau neuronal est une association de neurones formels en un graphe + ou – complexe.
  16. 16. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Le Deep Learning – Les principaux types de réseaux de neurones Olivier Ezratty – Les usages de l’IA (livre blanc)
  17. 17. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Les outils du Deep Learning
  18. 18. Deep Neural Network
  19. 19. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Prédiction du prix d’une maison y Price of a house # Bedrooms Zip Code Wealth X Family Size School Quality Walkability Size of a house
  20. 20. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Prédiction du prix d’une maison y Price of a house # Bedrooms Zip Code Wealth X Size of a house X2 X3 X4 X1 Un réseau neuronal basic = Fully Connected
  21. 21. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Machine Learning vs Deep Learning
  22. 22. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Machine Learning vs Deep Learning
  23. 23. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 MNIST ? MNIST = Mixed National Institute of Standards and Technology DataSet : http://yann.lecun.com/exdb/mnist
  24. 24. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 1-layer Neural Network - Overview 28 x 28 pixels ... 784 pixels 0 1 2 .... 9
  25. 25. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 1-layer Neural Network 28 x 28 pixels ... 784 pixels X = Input Linear Model WX + b Y = Logit S(Y) L 1-hot labels SoftMax Cross Entropy D(S,L) 2.0 5.7 0.3 1.3 1.9 0.9 7.3 1.5 2.7 3.1 0.08 0.21 0.01 0.05 0.07 0.03 0.28 0.06 0.10 0.11 0 0 0 0 0 0 1 0 0 0 Comment notre réseau apprend-t-il ?
  26. 26. Objectif : minimiser l’erreur lors de la phase d’apprentissage (apprentissage supervisé)
  27. 27. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Back Propagation Technique d’apprentissage par rétro-propagation des erreurs
  28. 28. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 La descente de gradient • Gradient = un vecteur de dérivées partielles indiquant la direction à suivre pour atteindre le minimum d’une fonction différentiable • Pour chaque neurone => calcul de l’erreur et du gradient pour obtenir le nouveau poid w Pour aller plus loin : • Learning Rate • Stochastic Gradient • ... Backpropagation in 5min : https://www.youtube.com/watch?v=q555kfIFUCM
  29. 29. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 1-layer Neural Network – Résultat MNIST Martin Gorner - https://github.com/GoogleCloudPlatform/tensorflow-without-a-phd
  30. 30. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Perceptron multicouche - Architecture 28 x 28 pixels ... 784 pixels 0 1 2 .... 9 Layer 1 - 200 neurones Layer 2 - 100 neurones Layer 3 - 60 neurones Layer 4 - 30 neurones Layer 5 - 10 neurones Fonction ReLu Fonction softmax
  31. 31. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Perceptron multicouche – Quelques paramètres d’optimisation Dropout Learning Rate Decay Fonctions d’activation
  32. 32. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Perceptron multicouche – Résultats MNIST TODO Résultats Martin Gorner - https://github.com/GoogleCloudPlatform/tensorflow-without-a-phd
  33. 33. Convolutional Neural Network
  34. 34. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 Avantage du CNN W CNN = Réseau de Neurones partageant ses paramètres dans l’espace Tirer partie de la forte corrélation entre pixels voisins Réduction du nombre de paramètres entrainable
  35. 35. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 CNN : Composition d’une image
  36. 36. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 CNN : Le noyau de convolution Kernel ou Patches ou Noyau de convolution
  37. 37. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 CNN : Le noyau de convolution
  38. 38. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 CNN : Le noyau de convolution Déplacement du noyau de convolution sur l’image Un CNN est un DNN où les stacks de couches matricielles sont remplacés par des piles de convolutions !
  39. 39. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 CNN : Stride
  40. 40. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 CNN : Stride
  41. 41. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 CNN : Pooling Permet de réduire la dimension des feature maps
  42. 42. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 CNN : Exemple Feature Learning Image Convolution + Activation + Pooling Convolution + Activation + Pooling Classification Flatten Fully Connected Softmax. . . . . . . . .
  43. 43. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 CNN Inside
  44. 44. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 CNN – Résultat MNIST Martin Gorner - https://github.com/GoogleCloudPlatform/tensorflow-without-a-phd
  45. 45. What else ?
  46. 46. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 RNN : Recurrent Neural Network Reconnaissance de phonèmes Maintenance préventive de moteur Analyse d’ECG Détection d’exoplanètes
  47. 47. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 RNN : Recurrent Neural Network La même fonction et les mêmes paramètres sont utilisés à chaque pas de temps
  48. 48. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 RNN : LSTM – Long Short Term Memory Capacité à mémoriser les contextes
  49. 49. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 GAN : Generative Adversorial Network Colorisation automatique de photos et films Complément d’images tronquées Génération d’une image à partir d’un descriptif textuel Génération automatique de visage
  50. 50. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 GAN : Generative Adversorial Network Application d’un style à une photo = = = = + + + +
  51. 51. Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 GAN : Generative Adversorial Network
  52. 52. Conclusion Alexia Audevart – Salon Data – Deep Learning© Tous droits réservés - 2018 In Summary... Neurone Formel Deep Neural Network Convolutional Neural Network Recurrent Neural Network Generative Adversorial Network
  53. 53. Alexia Audevart Data & Enthusiasm alexia@datactik.com @aaudevart Thank You ! Do you have any questions ?

×