Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Deep learning pour les données séquentielles de grande dimension

140 vues

Publié le

Thèse "Deep learning pour les données séquentielles de grande dimension" par Nicolas GRANGER, lors de la journée Futur & Ruptures du 31 janvier 2019. Une journée scientifique pour présenter l’ensemble des travaux de thèses aboutis portant sur des thématiques prospectives du programme de l’IMT.

Publié dans : Ingénierie
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Deep learning pour les données séquentielles de grande dimension

  1. 1. DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION APPLICATION À LA RECONNAISSANCE GESTUELLE NICOLAS GRANGER
  2. 2. CHAPITRE 1 •COMPARAISON ENTRE HIDDEN MARKOV MODELS ET RECURRENT NEURAL NETWORKS
  3. 3. CHAPITRE 1 •COMPARAISON ENTRE HMM ET RNN
  4. 4. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 5Architecture générale des modèles de reconnaissance séquentielle Modélisation temporelle et classification Apprentissage de représentations Acquisition et prétraitements
  5. 5. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 6Problématiques • Qualité de la modélisation temporelle • Caractéristiques de la modélisation temporelle • Capacité à entraîner de bout en bout (y compris l’apprentissage de représentations) • Dépendance du modèle temporel aux représentations
  6. 6. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 7Apprentissage de représentations sur les gestes ● données multimodales ● en grande dimension ● peu d’expertise sur leur structure ► réseau de neurone profond (CNN WideResNet pour les images, MLP pour la pose) ► traitement temporel local (𝑁𝑒𝑡: 𝒙 𝑡 ↦ 𝒉 𝑡) ► même architecture pour l’approche HMM ou RNN
  7. 7. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 8Dépendance au contexte ► Ajout de contexte dans les entrées: 𝑁𝑒𝑡: (𝒙 𝑡−𝑤, … , 𝒙 𝑡+𝑤) ↦ 𝒉 𝑡
  8. 8. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 9Dépendance au contexte ► Ajout de contexte dans les entrées: 𝑁𝑒𝑡: (𝒙 𝑡−𝑤, … , 𝒙 𝑡+𝑤) ↦ 𝒉 𝑡
  9. 9. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 10Performances et interprétations
  10. 10. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 11Performances et interprétations HMM : • Modèle de transition interprétable • Valorisation de l’expertise • Temps de calcul • Dépendance au contexte dans les représentations • État de l’art du modèle de représentation désuet RNN: • Meilleures performances • Robustesse aux type d’entrées • Flexibilité • Boite noire
  11. 11. CHAPITRE 2 •ONE-SHOT LEARNING SUR DES DONNÉES SÉQUENTIELLES
  12. 12. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 13One-shot Learning: Définition Épisode : Pour n’importe quel sous-ensemble de classes d’un domaine, un classifieur one-shot doit fonctionner en utilisant un seul exemple d’apprentissage pour chaque classe. ► Pré-entrainement générique du modèle pour limiter la dépendance aux exemples épisoques
  13. 13. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 14Architecture générale
  14. 14. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 15Architecture générale Large réutilisation de l’approche pour la reconnaissance continue
  15. 15. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 16Pré-entrainement et méthode de Shepard Pré-apprentissage • Optimise les embeddings pour le plus proche voisin • plus proche voisin non-différentiable → entrainement sur une tâche secondaire artificielle Remplacement du plus proche voisin par la méthode de Shepard : • Fonctionnement équivalent • Complètement différentiable • Pré-apprentissage sur des épisodes possible • Prédictions moins bruitées
  16. 16. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 17Pré-entrainement et méthode de Shepard
  17. 17. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 18Résultats et interprétations
  18. 18. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 19Conclusion • Faisabilité du one-shot learning sur des séquences • Démonstration du transfert des modèles vers les conditions one-shot • Comparaison des méthodes de pré-apprentissage Perspectives : • Spécialisation épisodique plus fine • Reconnaissance continue / transcription
  19. 19. PUBLICATIONS DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 20 Granger, N., & el Yacoubi, M. A. (2017). Comparing Hybrid NN-HMM and RNN for Temporal Modeling in Gesture Recognition. In D. Liu, S. Xie, Y. Li, D. Zhao, & E.-S. M. El-Alfy (Éd.), Neural Information Processing (p. 147–156). Cham: Springer International Publishing. Granger, N., & Yacoubi, M. (2018). SeqTools: A python package for easy transformation, combination and evaluation of large datasets. Journal of Open Source Software, 3(30), 1006. https://doi.org/10.21105/joss.01006

×