Téléchargé 149 fois
![Problèmes avec réseaux profonds
Non linéarité d’une non linéarité d’une […] = 0](https://image.slidesharecdn.com/deeplearningavectensorflow-waq17-170420003958/85/Guillaume-Chevalier-Deep-learning-avec-tensor-flow-20-320.jpg)
![Inversion des phrases pour la traduction
[…] think I ⇒ Je pense […]](https://image.slidesharecdn.com/deeplearningavectensorflow-waq17-170420003958/85/Guillaume-Chevalier-Deep-learning-avec-tensor-flow-45-320.jpg)
![Mécanisme d’attention
Attention (a.tɑ̃.sjɔ̃) :
« L'attention est la prise de possession par l'esprit, sous une forme claire et vive,
d'un objet ou d'une suite de pensées parmi plusieurs qui semblent possibles
[…] Elle implique le retrait de certains objets afin de traiter plus efficacement les
autres » — William James](https://image.slidesharecdn.com/deeplearningavectensorflow-waq17-170420003958/85/Guillaume-Chevalier-Deep-learning-avec-tensor-flow-56-320.jpg)
![Régression linéaire avec TensorFlow
import tensorflow as tf
import numpy as np
trX, trY = someTrainingData(...) # Données linéaires avec un peu de bruit
X = tf.placeholder("float") # Données d’entrée du graphe TensorFlow
Y = tf.placeholder("float")
w = tf.Variable(0.0, name="weights") # Variable modifiable pour l’apprentissage
y_model = tf.multiply(X, w)
cost = tf.square(Y - y_model) # MSE (minimiser une “loss” selon les moindres carrés)
train_op = tf.train.GradientDescentOptimizer(0.01).minimize(cost) # Demander “train_op” plus tard roulera une étape d’optimisation
with tf.Session() as sess: # Rouler le graphe dans une session pour l’entrainement
tf.global_variables_initializer().run() # Initialiser les variables (ici, seulement “w”)
for i in range(100):
for (x, y) in zip(trX, trY): # Pour chaques données disponibles
sess.run(train_op, feed_dict={X: x, Y: y}) # Étape d’entrainement
prediction = sess.run(y_model, feed_dict={X: trX[0]}) # Prédiction pour le premier point d'entrainement](https://image.slidesharecdn.com/deeplearningavectensorflow-waq17-170420003958/85/Guillaume-Chevalier-Deep-learning-avec-tensor-flow-67-320.jpg)
Téléchargé parWeb à Québec
Guillaume Chevalier - Deep learning avec tensor flow
Le document présente une introduction approfondie au deep learning avec TensorFlow, en expliquant des concepts tels que les réseaux de neurones, les RNNs, et les LSTM. Il aborde également l'évolution des architectures, les mécanismes d'attention, ainsi que des exemples d'applications pratiques, notamment la traduction et les systèmes de recommandation. Enfin, il fournit des liens vers des ressources et des exercices pour approfondir ces sujets.
Contenu connexe
Similaire à Guillaume Chevalier - Deep learning avec tensor flow
Guillaume Chevalier - Deep learning avec tensor flow
- 1. Deep Learning avec TensorFlow,#WAQ17 Guillaume Chevalier
- 2. AI, ML, DL…? Réseaux de neurones linéaires (NN) Vers des architectures plus profondes Réseaux de neurones récurrents (RNN) Long Short-Term Memory cells (LSTM RNN) Encodeurs, Décodeurs, Séquences vers séquences (seq2seq) Autres modèles avancés Exercices
- 3. AI, ML, DL…? Réseaux de neurones linéaires (NN) Vers des architectures plus profondes Réseaux de neurones récurrents (RNN) Long Short-Term Memory cells (LSTM RNN) Encodeurs, Décodeurs, Séquences vers séquences (seq2seq) Autres modèles avancés Exercices
- 4.
- 5.
- 6. GPU vs CPU: Loi de Moore GFLOPS = Giga A.K.A. (10³)³ FLoating Point Operations Per Second.
- 7. Évolution des composantesdu iPhone
- 8. Ray Kurzweil Directeur del'ingénierie de Google Un futuriste bien connu Sur ses 147 prédictions depuis les années 1990, Kurzweil dit avoir un taux d'exactitude de 86% Selon lui, la singularité arrivera en 2029 environ Page wiki intéressante : https://en.wikipedia.org/wiki/Predictions_made_by_Ray_Kurzweil
- 9. AI, ML, DL…? Réseaux de neurones (NN) Vers des architectures plus profondes Réseaux de neurones récurrents (RNN) Long Short-Term Memory cells (LSTM RNN) Encodeurs, Décodeurs, Séquences vers séquences (seq2seq) Autres modèles avancés Exercices
- 10. Inspiré du neuronebiologique
- 11.
- 12. Réseaux de neurones 3couches (layers) 2 couches (layers)
- 13. Représentation de fonctions: régression et classification
- 14.
- 15. Analogie : régressionlinéaire, les moindres carrés But : créer un modèle mathématique en fonction des données. Fonction d’objectif à minimiser : E = Σ( (y - Y)² ) Modèle : Y = a⋅x + b Apprentissage itératif : a = a - k*dE/da b = b - k*dE/db
- 16. Minimiser l’erreur àla sortie du réseau: E = Erreur quadratique totale (Mean Squared Error - MSE). Puis, apprentissage par ajustement des poids: Comparaison des résultats pour apprentissage
- 17. Plan : y(x) =a⋅x + b Plan d'un plan : Avec h(x) = a⋅x + b : y(x) = c⋅h(x) + d = c⋅(a⋅x + b) + d y(x) = m⋅x + e ⇒ Le plan d’un plan reste un plan. Non-linéarités
- 18. Quelques fonctions d’activation(non-linéarités)
- 19. AI, ML, DL…? Réseaux de neurones (NN) Vers des architectures plus profondes Réseaux de neurones récurrents (RNN) Long Short-Term Memory cells (LSTM RNN) Encodeurs, Décodeurs, Séquences vers séquences (seq2seq) Autres modèles avancés Exercices
- 20. Problèmes avec réseauxprofonds Non linéarité d’une non linéarité d’une […] = 0
- 21. Une solution :ReLU Utiliser le “Rectifier Linear Unit” (ReLU, à droite) :
- 22. Solution supplémentaire :Highway network Couches de neurones “highway” avec connections résiduelles : Simple addition entre les entrées et les sorties d’une même couche. Permet une propagation aisée des gradients lors de la dérivation.
- 23. AI, ML, DL…? Réseaux de neurones (NN) Vers des architectures plus profondes Réseaux de neurones récurrents (RNN) Long Short-Term Memory cells (LSTM RNN) Encodeurs, Décodeurs, Séquences vers séquences (seq2seq) Autres modèles avancés Exercices
- 24. (Feedforward) (Decoder) (Encoder)(seq2seq) (seq2seq) Réseaux de neurones récurrents
- 25. Vue détaillée d’unRNN sur 4 temps
- 26. Vue détaillée d’unRNN sur 4 temps : plusieurs sorties Aussi : Backpropagation Through Time (BPTT)
- 27.
- 28.
- 29.
- 30.
- 31. AI, ML, DL…? Réseaux de neurones (NN) Vers des architectures plus profondes Réseaux de neurones récurrents (RNN) Long Short-Term Memory cells (LSTM RNN) Encodeurs, Décodeurs, Séquences vers séquences (seq2seq) Autres modèles avancés Exercices
- 32. Problèmes de profondeuravec les RNNs...
- 33. Problèmes de profondeuravec les RNNs...
- 34.
- 35. Solution : LongShort-Term Memory cells (LSTM) RNN : LSTM :
- 36. Solution : LongShort-Term Memory cells (LSTM) RNN :
- 37. Solution : LongShort-Term Memory cells (LSTM) LSTM :
- 39. Équations de lacellule LSTM
- 40. AI, ML, DL…? Réseaux de neurones (NN) Vers des architectures plus profondes Réseaux de neurones récurrents (RNN) Long Short-Term Memory cells (LSTM RNN) Encodeurs, Décodeurs, Séquences vers séquences (seq2seq) Autres modèles avancés Exercices
- 41. Encodeurs Encodent l’information pourcréer un état de la pensée
- 42. Décodeurs Décodent un étatde pensée en une autre séquence temporelle.
- 43. Encodeur + Décodeur= seq2seq Une séquence vers une séquence :
- 44.
- 45. Inversion des phrasespour la traduction […] think I ⇒ Je pense […]
- 46. “king - man+ woman = queen” Mathématique des mots possibles et fonctionne pour : Masculin vs féminin Singulier vs pluriel Changer les temps de verbes Pays vers capitales, et l’inverse Etc… 1 mot = 1 vecteur
- 47. Exemples En pratique :cela peut être fait avec des architectures Skip-gram ou CBOW à la seq2seq ou à la word2vec.
- 48.
- 49. Exemple high-level detraitement de phrases The cat sat on the mat
- 50. Exemple high-level detraitement de phrases The cat sat on the mat
- 51. Traiter différents typesde signaux Combiner avec les CNN qui sont très utile pour des données spatiales (CNN pas abordés dans cette présentation)
- 52. Applications possibles… beaucoup! Traduction dans n’importe quelle langues (E.x.: Google Traduction) Texte vers images, ou images vers texte (E.x.: Google Images) Synthétisation/interprétation d’audio ou de voix (E.x.: Siri) Systèmes de recommandation (E.x.: Netflix, Youtube) Vision: interprétation/génération de vidéo Prédiction des marchés boursiers pour le trading à haute fréquence Analyse de sentiments à partir de textes (peut être combiné pour la prédiction de marchés boursiers) Génération de texte / chatbots (E.x.: Siri? Cleverbot?) Transfert de style visuel pour les images
- 53. Transfert de style “NeuralStyle Transfer”. Maintenant mieux que “Deep Dream”. + =
- 54. Transfert de style: autres essais
- 55. AI, ML, DL…? Réseaux de neurones (NN) Vers des architectures plus profondes Réseaux de neurones récurrents (RNN) Long Short-Term Memory cells (LSTM RNN) Encodeurs, Décodeurs, Séquences vers séquences (seq2seq) Autres modèles avancés Exercices
- 56. Mécanisme d’attention Attention (a.tɑ̃.sjɔ̃): « L'attention est la prise de possession par l'esprit, sous une forme claire et vive, d'un objet ou d'une suite de pensées parmi plusieurs qui semblent possibles […] Elle implique le retrait de certains objets afin de traiter plus efficacement les autres » — William James
- 57.
- 58. Détails du mécanismed’attention
- 59.
- 60. Exemple sur unephrase
- 61. Exemple sur del’audio
- 62. Exemple sur ladescription automatique d’images
- 63.
- 64.
- 65. AI, ML, DL…? Réseaux de neurones (NN) Vers des architectures plus profondes Réseaux de neurones récurrents (RNN) Long Short-Term Memory cells (LSTM RNN) Encodeurs, Décodeurs, Séquences vers séquences (seq2seq) Autres modèles avancés Exercices
- 66. TensorFlow Graphe pour unréseau de neurones à 2 couches avec ReLU, pour classification. Puis à droite, un graphe comparatif simplifié pour une régression linéaire. y MSE y_model x
- 67. Régression linéaire avecTensorFlow import tensorflow as tf import numpy as np trX, trY = someTrainingData(...) # Données linéaires avec un peu de bruit X = tf.placeholder("float") # Données d’entrée du graphe TensorFlow Y = tf.placeholder("float") w = tf.Variable(0.0, name="weights") # Variable modifiable pour l’apprentissage y_model = tf.multiply(X, w) cost = tf.square(Y - y_model) # MSE (minimiser une “loss” selon les moindres carrés) train_op = tf.train.GradientDescentOptimizer(0.01).minimize(cost) # Demander “train_op” plus tard roulera une étape d’optimisation with tf.Session() as sess: # Rouler le graphe dans une session pour l’entrainement tf.global_variables_initializer().run() # Initialiser les variables (ici, seulement “w”) for i in range(100): for (x, y) in zip(trX, trY): # Pour chaques données disponibles sess.run(train_op, feed_dict={X: x, Y: y}) # Étape d’entrainement prediction = sess.run(y_model, feed_dict={X: trX[0]}) # Prédiction pour le premier point d'entrainement
- 68. Démo et Exercices AvecTensorFlow : https://github.com/guillaume-chevalier/LSTM-Human-Activity-Recognition https://github.com/guillaume-chevalier/seq2seq-signal-prediction Tout cela est aussi accessible dans le ZIP au lien drive envoyé par courriel : https://drive.google.com/drive/folders/0B1BexDr8jCulME16NlVIN3J1akk?usp=sharing
- 69.
- 70.