SlideShare une entreprise Scribd logo
1  sur  57
© Niji | 2018
We deliver your ambition.
Depuis 2001, Niji associe dans une même chaîne de valeur, conseil, design et
transformation technologique, au plus près des enjeux stratégiques,
et des problématiques opérationnelles de ses clients…au service de leur performance.
DE L’IDÉE À LA RÉALITÉ
Paris
Rennes
Lille
Nantes
Lyon
Bordeaux
2
850
salariés
200+
clients grands comptes
internationaux et ETI
+ 20%
croissance
organique
par an
© Niji | 2018
Conseil, Design & Technologie.
NOTRE PROPOSITION DE VALEUR
Voice of customer
Business disruption
Digital Strategy
Technological opportunities
3
Un accompagnement depuis la stratégie en passant par l’idéation jusqu’à
la mise en œuvre opérationnelle et la maîtrise d’environnements technologiques
complexes. Une proposition de valeur équilibrée, intégrée et éprouvée.
110
CONSULTANTS
Customer & User eXperience
Brand & content design
Creative technology
Business performance
110
DESIGNERS
Software Factory
Labelized Test center
Agile & Scrum management
Smart technologies
500
EXPERTS
70 EXPERTS
SALESFORCE
Consulting,Integration,
Support…on all Clouds
Saleforce
4
© Niji | 2018
Un peu d’histoire
6
Boom du Deep Learning : les étapes clés
1957 1969 1989 1996 2011 2012 2017
© Niji | 2018
Intelligence Artificielle
7
General VS Narrow
Dans l’imaginaire : General AI
(ou le futur…)
La réalité : Narrow AI
© Niji | 2018
Intelligence Artificielle
8
Ca sert à quoi ?
Résolution de problème !
=
Recherche d’une solution optimale
Problème simple : x + 2 = 5
Problème complexe (pas de solution algorithmique) : le voyageur de commerce
explosion combinatoire : force brute impossible pour un grand nombre de ville
© Niji | 2018
Machine Learning
9
C’est quoi ?
Discipline venant du data mining.
Recherche de pattern dans des données et ajustement
des algorithmes en conséquence.
Decision Tree Learning, Inductive Logic Programming.
Clustering, Reinforcement Learning (Groundhog Day),
Neural Networks, Bayesian Networks.
© Niji | 2018
Deep Learning
10
C’est quoi ?
© Niji | 2018
Deep Learning
11
Chronologie et imbrication
© Niji | 2018
Deep Learning
12
Pourquoi cet essort tardif ?
Dans les années 90 il était extrêmement difficile d’entrainer
un réseau de neurones avec plus de 2 couches cachées à
cause:
• Nos jeux de données labellisés trop petits
• On utilisait des ordinateurs beaucoup trop lents
• On n’était pas en mesure d'initialiser correctement les
poids de notre réseau de neurones avant l'entraînement
• On utilisait le mauvais type de fonction d’activation
© Niji | 2018
Réseau de neurones
14
Qu’est-ce qu’un neurone artificiel ?
© Niji | 2018
Réseau de neurones
15
Les fonctions d’activation
© Niji | 2018
Réseau de neurones
16
Le modèle en couches de neurones
© Niji | 2018
Réseau de neurones
17
Perceptron multi-couches
© Niji | 2018
Réseau de neurones
18
Perceptron multi-couches
© Niji | 2018
Réseau de neurones
19
Perceptron multi-couches
© Niji | 2018
Réseau de neurones
20
Perceptron multi-couches
Réseau généraliste -> perte des relations spatiales
Explosion rapide du nombre de paramètres à entrainer :
• Si on a en entrée une image de 200x200x3 -> 120.000 entrées
• Donc si premières couche de 1000 neurones -> 120.000 * 1000 poids
• Si deuxième couche de 1000 neurones -> 1000 * 1000 poids
Plusieurs millions de paramètres à entrainer…
© Niji | 2018
Réseau de neurones
21
Réseau de neurones convolutifs (CNN)
Les couches de neurones ne sont plus des « classifiers » mais des filtres (cf. photoshop) permettant de
détecter des « features ».
© Niji | 2018
Réseau de neurones
22
Réseau de neurones convolutifs (CNN) : Convolution
© Niji | 2018
Réseau de neurones
23
Réseau de neurones convolutifs (CNN) : Pooling
© Niji | 2018
Réseau de neurones
24
AlexNet
© Niji | 2018
Réseau de neurones
25
Réseau de neurones convolutifs (CNN)
© Niji | 2018
Réseau de neurones
26
VGG16
© Niji | 2018
Réseau de neurones
27
Autres CNN
© Niji | 2018
Réseau de neurones
28
Autres types de réseau : Recurrent Neural Network / Long Short Term Memory
© Niji | 2018
Réseau de neurones
29
Réseaux hybrides : Single Shot MultiBox Detection (SSD)
© Niji | 2018
Réseau de neurones
30
Réseaux hybrides : Visual Question Answering
© Niji | 2018
Réseau de neurones
31
Réseaux antagonistes génératifs (GAN)
© Niji | 2018
Réseau de neurones
32
Choisir / designer son modèle
En fonction du cas d’usage
• Aide visuelle par ordinateur
• Reconnaissance d’image
• Détection d’image
• Reconnaissance vocale
• Traitement du langage naturel
• Moteurs de recommandation
• Régression
• …
© Niji | 2018
Comment apprend un réseau de neurones ?
34
Rétropropagation des erreurs
Apprentissage = déterminer les poids
Rétropropagation
© Niji | 2018
Etapes de l’apprentissage
35
Mécanisme de rétropropagation
1. Présentation d'un motif d'entraînement au réseau.
2. Comparaison de la sortie du réseau avec la sortie ciblée.
3. Calcul de l'erreur en sortie de chacun des neurones du réseau.
4. Calcul, pour chacun des neurones, de la valeur de sortie qui aurait été correcte.
5. Définition de l'augmentation ou de la diminution nécessaire pour obtenir cette valeur.
6. Ajustement du poids de chaque connexion vers l'erreur locale la plus faible.
7. Attribution d'un blâme à tous les neurones précédents.
8. Recommencer à partir de l'étape 4, sur les neurones précédents, le blâme servant d’erreur.
© Niji | 2018
Qualité de l’apprentissage
36
Mesure de la performance d’un réseau de neurones
• Durée d’apprentissage
• Précision des prédictions
• Capacité de généralisation
• Durée de prédiction
Sous / Sur-apprentissage, temps ( = $)…
Modèle ne respectant pas la SLA
Réseau inutilisable en condition réelle
RisquesMesures
© Niji | 2018
Sur-apprentissage
37
Aka overfitting
Le réseau n’est pas capable de généraliser
• Modèle de réseau inadapté
• Pas assez de données
• Trop d’apprentissage
© Niji | 2018
Sur-apprentissage
38
Détection
L’élève apprend trop bien sa leçon !
Comment le détecter ?
Grâce à un jeu de données de validation
© Niji | 2018
Sur-apprentissage
39
Solutions : récupérer plus de données d’entrainement
• Datasets existants
• User Generated Content
(attention à assainir les data)
• Crowd sourcing
© Niji | 2018
Sur-apprentissage
40
Solution : data augmentation
• appliquer des transformations : rotation,
déformation, homothétie, symétrie
• changer la luminosité, la colorimétrie, le
focus, …
• autres : ajouter du bruit, ajouter des
éléments en foreground, découper, …
© Niji | 2018
Sur-apprentissage
41
Autres solutions : dropout, batch normalization, weight regularization, early stopping
Dropout Early Stopping
© Niji | 2018
Optimisation du modèle
42
Simplifier / optimiser son modèle, bien choisir ses hyper-paramètres
Recherche & Développement
Automatisé (Network Architecture Search)
© Niji | 2018
Problématique de la vitesse d’apprentissage
43
Trop de vitesse… tue la vitesse
© Niji | 2018
Réduire la durée d’apprentissage
44
Augmenter la puissance de traitement
Hardware Cloud Computing MLaaS
© Niji | 2018
Accélérer l’apprentissage (bis)
45
Le transfer learning
• Basé sur le fonctionnement du cerveau humain.
• Réutilisation de neurones déjà entrainés pour des tâches similaires.
• Le cerveau est constitué de neurones entrainés depuis des millions d’années (ex: prédispositions
héréditaires).
© Niji | 2018
Transfer learning
46
Similitudes
© Niji | 2018
Transfer Learning
47
Etapes
1. Construire le même modèle de réseau de neurones mais en changeant
le nombre de libellés de la couche de classification.
2. Restaure tous les poids depuis un réseau déjà entrainé, excepté pour
la couche de classification. Celle-ci est initialisé de manière aléatoire.
3. Gèle des poids des couches précédentes du réseau.
4. Entrainement avec les nouvelles données.
© Niji | 2018
Transfer Learning
48
Pour un CNN
© Niji | 2018
Transfer Learning
49
Règles essentielles
• New dataset is small and similar to original dataset.
Since the data is small, it is not a good idea to fine-tune the ConvNet due to overfitting concerns. Since the data is
similar to the original data, we expect higher-level features in the ConvNet to be relevant to this dataset as well. Hence,
the best idea might be to train a linear classifier on the CNN codes.
• New dataset is large and similar to the original dataset.
Since we have more data, we can have more confidence that we won’t overfit if we were to try to fine-tune through the
full network.
• New dataset is small but very different from the original dataset.
Since the data is small, it is likely best to only train a linear classifier. Since the dataset is very different, it might not be
best to train the classifier form the top of the network, which contains more dataset-specific features. Instead, it might
work better to train the SVM classifier from activations somewhere earlier in the network.
• New dataset is large and very different from the original dataset.
Since the dataset is very large, we may expect that we can afford to train a ConvNet from scratch. However, in practice
it is very often still beneficial to initialize with weights from a pretrained model. In this case, we would have enough data
and confidence to fine-tune through the entire network.
© Niji | 2018
Frameworks
51
© Niji | 2018
Frameworks
52
Focus TensorFlow / Keras
© Niji | 2018
Outils
53
Notebooks
© Niji | 2018
Mobile / Web
54
CoreML / ML Kit
Mobile
Web
© Niji | 2018
Matériel
55
© Niji | 2018
MLaaS, Cloud
56
© Niji | 2018
Vos contacts
www.niji.fr
@Niji_Digital
Paris
Lille
Nantes
Rennes
Lyon
Bordeaux
Cédric PORTE
CTO
cedric.porte@niji.fr

Contenu connexe

Tendances

Réseaux des neurones
Réseaux des neuronesRéseaux des neurones
Réseaux des neuronesMed Zaibi
 
AI Apprentissage Automatique, Machine Learnig
AI Apprentissage Automatique, Machine LearnigAI Apprentissage Automatique, Machine Learnig
AI Apprentissage Automatique, Machine LearnigFelipe Sanchez Garzon
 
Introduction au traitement d'images
Introduction au traitement d'imagesIntroduction au traitement d'images
Introduction au traitement d'imagesAbdelouahed Abdou
 
Comprendre l’intelligence artificielle [webinaire]
Comprendre l’intelligence artificielle [webinaire]Comprendre l’intelligence artificielle [webinaire]
Comprendre l’intelligence artificielle [webinaire]Technologia Formation
 
L’optimisation par essaims de particules
L’optimisation par essaims de particulesL’optimisation par essaims de particules
L’optimisation par essaims de particuleschagra bassem
 
réseaux de neurones artificiels
réseaux de neurones artificiels réseaux de neurones artificiels
réseaux de neurones artificiels Oussama Werfelli
 
Intelligence Artificielle - Algorithmes de recherche
Intelligence Artificielle - Algorithmes de rechercheIntelligence Artificielle - Algorithmes de recherche
Intelligence Artificielle - Algorithmes de rechercheMohamed Heny SELMI
 
Introduction: Intelligence Artificielle, Machine Learning et Deep Learning
Introduction: Intelligence Artificielle, Machine Learning et Deep LearningIntroduction: Intelligence Artificielle, Machine Learning et Deep Learning
Introduction: Intelligence Artificielle, Machine Learning et Deep LearningNcib Lotfi
 
Introduction au Machine Learning
Introduction au Machine LearningIntroduction au Machine Learning
Introduction au Machine LearningMathieu Goeminne
 
Intelligence Artificielle : Introduction à l'intelligence artificielle
Intelligence Artificielle : Introduction à l'intelligence artificielleIntelligence Artificielle : Introduction à l'intelligence artificielle
Intelligence Artificielle : Introduction à l'intelligence artificielleECAM Brussels Engineering School
 
Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Soumia Elyakote HERMA
 
Les réseaux de neurones convolutifs CNN
Les réseaux de neurones convolutifs CNNLes réseaux de neurones convolutifs CNN
Les réseaux de neurones convolutifs CNNSALMARACHIDI1
 
Data mining - Classification - arbres de décision
Data mining - Classification - arbres de décisionData mining - Classification - arbres de décision
Data mining - Classification - arbres de décisionMohamed Heny SELMI
 
Perceptron monocouche en français
Perceptron monocouche en françaisPerceptron monocouche en français
Perceptron monocouche en françaisHakim Nasaoui
 
Data mining - Introduction générale
Data mining - Introduction généraleData mining - Introduction générale
Data mining - Introduction généraleMohamed Heny SELMI
 
Traitement d'image sous Matlab
Traitement d'image sous Matlab  Traitement d'image sous Matlab
Traitement d'image sous Matlab Hajer Dahech
 
Analyse factorielle des_correspondances-afc
Analyse factorielle des_correspondances-afcAnalyse factorielle des_correspondances-afc
Analyse factorielle des_correspondances-afcRémi Bachelet
 

Tendances (20)

Réseaux des neurones
Réseaux des neuronesRéseaux des neurones
Réseaux des neurones
 
Deep learning
Deep learningDeep learning
Deep learning
 
AI Apprentissage Automatique, Machine Learnig
AI Apprentissage Automatique, Machine LearnigAI Apprentissage Automatique, Machine Learnig
AI Apprentissage Automatique, Machine Learnig
 
Introduction au traitement d'images
Introduction au traitement d'imagesIntroduction au traitement d'images
Introduction au traitement d'images
 
Comprendre l’intelligence artificielle [webinaire]
Comprendre l’intelligence artificielle [webinaire]Comprendre l’intelligence artificielle [webinaire]
Comprendre l’intelligence artificielle [webinaire]
 
L’optimisation par essaims de particules
L’optimisation par essaims de particulesL’optimisation par essaims de particules
L’optimisation par essaims de particules
 
réseaux de neurones artificiels
réseaux de neurones artificiels réseaux de neurones artificiels
réseaux de neurones artificiels
 
Intelligence Artificielle - Algorithmes de recherche
Intelligence Artificielle - Algorithmes de rechercheIntelligence Artificielle - Algorithmes de recherche
Intelligence Artificielle - Algorithmes de recherche
 
Introduction: Intelligence Artificielle, Machine Learning et Deep Learning
Introduction: Intelligence Artificielle, Machine Learning et Deep LearningIntroduction: Intelligence Artificielle, Machine Learning et Deep Learning
Introduction: Intelligence Artificielle, Machine Learning et Deep Learning
 
Introduction au Machine Learning
Introduction au Machine LearningIntroduction au Machine Learning
Introduction au Machine Learning
 
Intelligence Artificielle : Introduction à l'intelligence artificielle
Intelligence Artificielle : Introduction à l'intelligence artificielleIntelligence Artificielle : Introduction à l'intelligence artificielle
Intelligence Artificielle : Introduction à l'intelligence artificielle
 
Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)
 
Les réseaux de neurones convolutifs CNN
Les réseaux de neurones convolutifs CNNLes réseaux de neurones convolutifs CNN
Les réseaux de neurones convolutifs CNN
 
Réseaux de neurones
Réseaux de neurones Réseaux de neurones
Réseaux de neurones
 
Data mining - Classification - arbres de décision
Data mining - Classification - arbres de décisionData mining - Classification - arbres de décision
Data mining - Classification - arbres de décision
 
Perceptron monocouche en français
Perceptron monocouche en françaisPerceptron monocouche en français
Perceptron monocouche en français
 
Deep learning
Deep learningDeep learning
Deep learning
 
Data mining - Introduction générale
Data mining - Introduction généraleData mining - Introduction générale
Data mining - Introduction générale
 
Traitement d'image sous Matlab
Traitement d'image sous Matlab  Traitement d'image sous Matlab
Traitement d'image sous Matlab
 
Analyse factorielle des_correspondances-afc
Analyse factorielle des_correspondances-afcAnalyse factorielle des_correspondances-afc
Analyse factorielle des_correspondances-afc
 

Similaire à Introduction au Deep Learning

XebiCon'17 : Le Deep Learning dans la vraie vie - Sandra Pietrowska et Yoann ...
XebiCon'17 : Le Deep Learning dans la vraie vie - Sandra Pietrowska et Yoann ...XebiCon'17 : Le Deep Learning dans la vraie vie - Sandra Pietrowska et Yoann ...
XebiCon'17 : Le Deep Learning dans la vraie vie - Sandra Pietrowska et Yoann ...Publicis Sapient Engineering
 
Du Data Mining à la Data Science
Du Data Mining à la Data ScienceDu Data Mining à la Data Science
Du Data Mining à la Data ScienceSoft Computing
 
Introduction à Neo4j - La base de données de graphes - 2016
Introduction à Neo4j - La base de données de graphes - 2016Introduction à Neo4j - La base de données de graphes - 2016
Introduction à Neo4j - La base de données de graphes - 2016Cédric Fauvet
 
Morning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide AcademyMorning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide AcademyOxalide
 
Oxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigDataOxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigDataLudovic Piot
 
[Workshop] Calcul intensif - GENCI
[Workshop] Calcul intensif - GENCI[Workshop] Calcul intensif - GENCI
[Workshop] Calcul intensif - GENCIFrenchTechCentral
 
La "Data science" au service des entreprises
La "Data science" au service des entreprisesLa "Data science" au service des entreprises
La "Data science" au service des entreprisesAymen ZAAFOURI
 
Meeting Nuvollo - La passerelle-I.D.E (french)
Meeting Nuvollo - La passerelle-I.D.E (french)Meeting Nuvollo - La passerelle-I.D.E (french)
Meeting Nuvollo - La passerelle-I.D.E (french)Nuvollo
 
Nuvollo and La passerelle-I.D.E (french)
Nuvollo and La passerelle-I.D.E (french)Nuvollo and La passerelle-I.D.E (french)
Nuvollo and La passerelle-I.D.E (french)Nuvollo
 
Nouvelles opportunités pour les données fortement interconnectées : La base d...
Nouvelles opportunités pour les données fortement interconnectées : La base d...Nouvelles opportunités pour les données fortement interconnectées : La base d...
Nouvelles opportunités pour les données fortement interconnectées : La base d...Cédric Fauvet
 
29/06/17 Matinale Python
29/06/17 Matinale Python29/06/17 Matinale Python
29/06/17 Matinale PythonSoft Computing
 
Nuxeo Summer Seminar 2007 - Micro Research (FR)
Nuxeo Summer Seminar 2007 - Micro Research (FR)Nuxeo Summer Seminar 2007 - Micro Research (FR)
Nuxeo Summer Seminar 2007 - Micro Research (FR)Stefane Fermigier
 
Séminaire BIG DATA, SYNTHÈSE - ORSYS Formation
Séminaire BIG DATA, SYNTHÈSE - ORSYS FormationSéminaire BIG DATA, SYNTHÈSE - ORSYS Formation
Séminaire BIG DATA, SYNTHÈSE - ORSYS FormationORSYS
 
Dw521 g formation-ibm-puredata-system-for-analytics-pour-developpeurs-et-admi...
Dw521 g formation-ibm-puredata-system-for-analytics-pour-developpeurs-et-admi...Dw521 g formation-ibm-puredata-system-for-analytics-pour-developpeurs-et-admi...
Dw521 g formation-ibm-puredata-system-for-analytics-pour-developpeurs-et-admi...CERTyou Formation
 
Workshop IA : accélérez vos projets grâce au calcul intensif
Workshop IA : accélérez vos projets grâce au calcul intensif Workshop IA : accélérez vos projets grâce au calcul intensif
Workshop IA : accélérez vos projets grâce au calcul intensif Stéphanie Roger
 
Neo4j - Cas d'usages pour votre métier
Neo4j - Cas d'usages pour votre métierNeo4j - Cas d'usages pour votre métier
Neo4j - Cas d'usages pour votre métierNeo4j
 
Offrir de l'analytique en temps réel en un clic
Offrir de l'analytique en temps réel en un clicOffrir de l'analytique en temps réel en un clic
Offrir de l'analytique en temps réel en un clicJean-Michel Franco
 
Tableau Drive, Une méthodologie innovante pour les déploiements en entreprise
Tableau Drive, Une méthodologie innovante pour les déploiements en entrepriseTableau Drive, Une méthodologie innovante pour les déploiements en entreprise
Tableau Drive, Une méthodologie innovante pour les déploiements en entrepriseTableau Software
 

Similaire à Introduction au Deep Learning (20)

XebiCon'17 : Le Deep Learning dans la vraie vie - Sandra Pietrowska et Yoann ...
XebiCon'17 : Le Deep Learning dans la vraie vie - Sandra Pietrowska et Yoann ...XebiCon'17 : Le Deep Learning dans la vraie vie - Sandra Pietrowska et Yoann ...
XebiCon'17 : Le Deep Learning dans la vraie vie - Sandra Pietrowska et Yoann ...
 
Du Data Mining à la Data Science
Du Data Mining à la Data ScienceDu Data Mining à la Data Science
Du Data Mining à la Data Science
 
FTC Workshop-genci
FTC  Workshop-genciFTC  Workshop-genci
FTC Workshop-genci
 
Introduction à Neo4j - La base de données de graphes - 2016
Introduction à Neo4j - La base de données de graphes - 2016Introduction à Neo4j - La base de données de graphes - 2016
Introduction à Neo4j - La base de données de graphes - 2016
 
Morning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide AcademyMorning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide Academy
 
Oxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigDataOxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigData
 
[Workshop] Calcul intensif - GENCI
[Workshop] Calcul intensif - GENCI[Workshop] Calcul intensif - GENCI
[Workshop] Calcul intensif - GENCI
 
La "Data science" au service des entreprises
La "Data science" au service des entreprisesLa "Data science" au service des entreprises
La "Data science" au service des entreprises
 
Témoignage NGM
Témoignage NGMTémoignage NGM
Témoignage NGM
 
Meeting Nuvollo - La passerelle-I.D.E (french)
Meeting Nuvollo - La passerelle-I.D.E (french)Meeting Nuvollo - La passerelle-I.D.E (french)
Meeting Nuvollo - La passerelle-I.D.E (french)
 
Nuvollo and La passerelle-I.D.E (french)
Nuvollo and La passerelle-I.D.E (french)Nuvollo and La passerelle-I.D.E (french)
Nuvollo and La passerelle-I.D.E (french)
 
Nouvelles opportunités pour les données fortement interconnectées : La base d...
Nouvelles opportunités pour les données fortement interconnectées : La base d...Nouvelles opportunités pour les données fortement interconnectées : La base d...
Nouvelles opportunités pour les données fortement interconnectées : La base d...
 
29/06/17 Matinale Python
29/06/17 Matinale Python29/06/17 Matinale Python
29/06/17 Matinale Python
 
Nuxeo Summer Seminar 2007 - Micro Research (FR)
Nuxeo Summer Seminar 2007 - Micro Research (FR)Nuxeo Summer Seminar 2007 - Micro Research (FR)
Nuxeo Summer Seminar 2007 - Micro Research (FR)
 
Séminaire BIG DATA, SYNTHÈSE - ORSYS Formation
Séminaire BIG DATA, SYNTHÈSE - ORSYS FormationSéminaire BIG DATA, SYNTHÈSE - ORSYS Formation
Séminaire BIG DATA, SYNTHÈSE - ORSYS Formation
 
Dw521 g formation-ibm-puredata-system-for-analytics-pour-developpeurs-et-admi...
Dw521 g formation-ibm-puredata-system-for-analytics-pour-developpeurs-et-admi...Dw521 g formation-ibm-puredata-system-for-analytics-pour-developpeurs-et-admi...
Dw521 g formation-ibm-puredata-system-for-analytics-pour-developpeurs-et-admi...
 
Workshop IA : accélérez vos projets grâce au calcul intensif
Workshop IA : accélérez vos projets grâce au calcul intensif Workshop IA : accélérez vos projets grâce au calcul intensif
Workshop IA : accélérez vos projets grâce au calcul intensif
 
Neo4j - Cas d'usages pour votre métier
Neo4j - Cas d'usages pour votre métierNeo4j - Cas d'usages pour votre métier
Neo4j - Cas d'usages pour votre métier
 
Offrir de l'analytique en temps réel en un clic
Offrir de l'analytique en temps réel en un clicOffrir de l'analytique en temps réel en un clic
Offrir de l'analytique en temps réel en un clic
 
Tableau Drive, Une méthodologie innovante pour les déploiements en entreprise
Tableau Drive, Une méthodologie innovante pour les déploiements en entrepriseTableau Drive, Une méthodologie innovante pour les déploiements en entreprise
Tableau Drive, Une méthodologie innovante pour les déploiements en entreprise
 

Plus de Niji

Débrief CES 2024 by Niji
Débrief CES 2024 by NijiDébrief CES 2024 by Niji
Débrief CES 2024 by NijiNiji
 
Débrief GITEX Dubaï 2023
Débrief GITEX Dubaï 2023Débrief GITEX Dubaï 2023
Débrief GITEX Dubaï 2023Niji
 
Débrief CES 2023 by Niji
Débrief CES 2023 by Niji Débrief CES 2023 by Niji
Débrief CES 2023 by Niji Niji
 
Débrief CES 2022 by Niji
Débrief CES 2022 by Niji Débrief CES 2022 by Niji
Débrief CES 2022 by Niji Niji
 
Debrief CES 2021 by Niji
Debrief CES 2021 by NijiDebrief CES 2021 by Niji
Debrief CES 2021 by NijiNiji
 
[Webinar Niji] Performance web & mobile : Automatisez les tests pour ne pas r...
[Webinar Niji] Performance web & mobile : Automatisez les tests pour ne pas r...[Webinar Niji] Performance web & mobile : Automatisez les tests pour ne pas r...
[Webinar Niji] Performance web & mobile : Automatisez les tests pour ne pas r...Niji
 
[Webinar Niji] Social commerce : comment sortir du lot dans un océan de conte...
[Webinar Niji] Social commerce : comment sortir du lot dans un océan de conte...[Webinar Niji] Social commerce : comment sortir du lot dans un océan de conte...
[Webinar Niji] Social commerce : comment sortir du lot dans un océan de conte...Niji
 
[Webinar Niji] Marque & Design : la connexion émotionnelle plus forte que l’e...
[Webinar Niji] Marque & Design : la connexion émotionnelle plus forte que l’e...[Webinar Niji] Marque & Design : la connexion émotionnelle plus forte que l’e...
[Webinar Niji] Marque & Design : la connexion émotionnelle plus forte que l’e...Niji
 
[Webinar Niji] Clés de succès et partage d’expériences pour mettre en œuvre e...
[Webinar Niji] Clés de succès et partage d’expériences pour mettre en œuvre e...[Webinar Niji] Clés de succès et partage d’expériences pour mettre en œuvre e...
[Webinar Niji] Clés de succès et partage d’expériences pour mettre en œuvre e...Niji
 
Mobile Factory - Prévention Application Mobile
Mobile Factory - Prévention Application MobileMobile Factory - Prévention Application Mobile
Mobile Factory - Prévention Application MobileNiji
 
[Webinar Niji] Sustainable is not the new black - 0311
[Webinar Niji] Sustainable is not the new black - 0311[Webinar Niji] Sustainable is not the new black - 0311
[Webinar Niji] Sustainable is not the new black - 0311Niji
 
[Webinar Niji] Frameworks XPlateform mobile - 2210
[Webinar Niji] Frameworks XPlateform mobile - 2210 [Webinar Niji] Frameworks XPlateform mobile - 2210
[Webinar Niji] Frameworks XPlateform mobile - 2210 Niji
 
[Webinar Niji] Electromobilité - 1510
[Webinar Niji] Electromobilité - 1510[Webinar Niji] Electromobilité - 1510
[Webinar Niji] Electromobilité - 1510Niji
 
Benchmark Usages et Expériences des salariés de Niji
Benchmark Usages et Expériences des salariés de NijiBenchmark Usages et Expériences des salariés de Niji
Benchmark Usages et Expériences des salariés de NijiNiji
 
Consumer Electronic Show 2020 Debrief by Niji
Consumer Electronic Show 2020 Debrief by Niji Consumer Electronic Show 2020 Debrief by Niji
Consumer Electronic Show 2020 Debrief by Niji Niji
 
Ce qu'il faut retenir de la FrenchKit iOS
Ce qu'il faut retenir de la FrenchKit iOSCe qu'il faut retenir de la FrenchKit iOS
Ce qu'il faut retenir de la FrenchKit iOSNiji
 
Debrief : Vivatech 2019
Debrief : Vivatech 2019Debrief : Vivatech 2019
Debrief : Vivatech 2019Niji
 
Google IO/Android Q - Nouveautés et changements 2019
Google IO/Android Q - Nouveautés et changements 2019Google IO/Android Q - Nouveautés et changements 2019
Google IO/Android Q - Nouveautés et changements 2019Niji
 
Niji x Drupagora 2019
Niji x Drupagora 2019Niji x Drupagora 2019
Niji x Drupagora 2019Niji
 
Quels sont les enjeux et impacts des assistants vocaux pour les marques et le...
Quels sont les enjeux et impacts des assistants vocaux pour les marques et le...Quels sont les enjeux et impacts des assistants vocaux pour les marques et le...
Quels sont les enjeux et impacts des assistants vocaux pour les marques et le...Niji
 

Plus de Niji (20)

Débrief CES 2024 by Niji
Débrief CES 2024 by NijiDébrief CES 2024 by Niji
Débrief CES 2024 by Niji
 
Débrief GITEX Dubaï 2023
Débrief GITEX Dubaï 2023Débrief GITEX Dubaï 2023
Débrief GITEX Dubaï 2023
 
Débrief CES 2023 by Niji
Débrief CES 2023 by Niji Débrief CES 2023 by Niji
Débrief CES 2023 by Niji
 
Débrief CES 2022 by Niji
Débrief CES 2022 by Niji Débrief CES 2022 by Niji
Débrief CES 2022 by Niji
 
Debrief CES 2021 by Niji
Debrief CES 2021 by NijiDebrief CES 2021 by Niji
Debrief CES 2021 by Niji
 
[Webinar Niji] Performance web & mobile : Automatisez les tests pour ne pas r...
[Webinar Niji] Performance web & mobile : Automatisez les tests pour ne pas r...[Webinar Niji] Performance web & mobile : Automatisez les tests pour ne pas r...
[Webinar Niji] Performance web & mobile : Automatisez les tests pour ne pas r...
 
[Webinar Niji] Social commerce : comment sortir du lot dans un océan de conte...
[Webinar Niji] Social commerce : comment sortir du lot dans un océan de conte...[Webinar Niji] Social commerce : comment sortir du lot dans un océan de conte...
[Webinar Niji] Social commerce : comment sortir du lot dans un océan de conte...
 
[Webinar Niji] Marque & Design : la connexion émotionnelle plus forte que l’e...
[Webinar Niji] Marque & Design : la connexion émotionnelle plus forte que l’e...[Webinar Niji] Marque & Design : la connexion émotionnelle plus forte que l’e...
[Webinar Niji] Marque & Design : la connexion émotionnelle plus forte que l’e...
 
[Webinar Niji] Clés de succès et partage d’expériences pour mettre en œuvre e...
[Webinar Niji] Clés de succès et partage d’expériences pour mettre en œuvre e...[Webinar Niji] Clés de succès et partage d’expériences pour mettre en œuvre e...
[Webinar Niji] Clés de succès et partage d’expériences pour mettre en œuvre e...
 
Mobile Factory - Prévention Application Mobile
Mobile Factory - Prévention Application MobileMobile Factory - Prévention Application Mobile
Mobile Factory - Prévention Application Mobile
 
[Webinar Niji] Sustainable is not the new black - 0311
[Webinar Niji] Sustainable is not the new black - 0311[Webinar Niji] Sustainable is not the new black - 0311
[Webinar Niji] Sustainable is not the new black - 0311
 
[Webinar Niji] Frameworks XPlateform mobile - 2210
[Webinar Niji] Frameworks XPlateform mobile - 2210 [Webinar Niji] Frameworks XPlateform mobile - 2210
[Webinar Niji] Frameworks XPlateform mobile - 2210
 
[Webinar Niji] Electromobilité - 1510
[Webinar Niji] Electromobilité - 1510[Webinar Niji] Electromobilité - 1510
[Webinar Niji] Electromobilité - 1510
 
Benchmark Usages et Expériences des salariés de Niji
Benchmark Usages et Expériences des salariés de NijiBenchmark Usages et Expériences des salariés de Niji
Benchmark Usages et Expériences des salariés de Niji
 
Consumer Electronic Show 2020 Debrief by Niji
Consumer Electronic Show 2020 Debrief by Niji Consumer Electronic Show 2020 Debrief by Niji
Consumer Electronic Show 2020 Debrief by Niji
 
Ce qu'il faut retenir de la FrenchKit iOS
Ce qu'il faut retenir de la FrenchKit iOSCe qu'il faut retenir de la FrenchKit iOS
Ce qu'il faut retenir de la FrenchKit iOS
 
Debrief : Vivatech 2019
Debrief : Vivatech 2019Debrief : Vivatech 2019
Debrief : Vivatech 2019
 
Google IO/Android Q - Nouveautés et changements 2019
Google IO/Android Q - Nouveautés et changements 2019Google IO/Android Q - Nouveautés et changements 2019
Google IO/Android Q - Nouveautés et changements 2019
 
Niji x Drupagora 2019
Niji x Drupagora 2019Niji x Drupagora 2019
Niji x Drupagora 2019
 
Quels sont les enjeux et impacts des assistants vocaux pour les marques et le...
Quels sont les enjeux et impacts des assistants vocaux pour les marques et le...Quels sont les enjeux et impacts des assistants vocaux pour les marques et le...
Quels sont les enjeux et impacts des assistants vocaux pour les marques et le...
 

Introduction au Deep Learning

  • 1.
  • 2. © Niji | 2018 We deliver your ambition. Depuis 2001, Niji associe dans une même chaîne de valeur, conseil, design et transformation technologique, au plus près des enjeux stratégiques, et des problématiques opérationnelles de ses clients…au service de leur performance. DE L’IDÉE À LA RÉALITÉ Paris Rennes Lille Nantes Lyon Bordeaux 2 850 salariés 200+ clients grands comptes internationaux et ETI + 20% croissance organique par an
  • 3. © Niji | 2018 Conseil, Design & Technologie. NOTRE PROPOSITION DE VALEUR Voice of customer Business disruption Digital Strategy Technological opportunities 3 Un accompagnement depuis la stratégie en passant par l’idéation jusqu’à la mise en œuvre opérationnelle et la maîtrise d’environnements technologiques complexes. Une proposition de valeur équilibrée, intégrée et éprouvée. 110 CONSULTANTS Customer & User eXperience Brand & content design Creative technology Business performance 110 DESIGNERS Software Factory Labelized Test center Agile & Scrum management Smart technologies 500 EXPERTS 70 EXPERTS SALESFORCE Consulting,Integration, Support…on all Clouds Saleforce
  • 4. 4
  • 5.
  • 6. © Niji | 2018 Un peu d’histoire 6 Boom du Deep Learning : les étapes clés 1957 1969 1989 1996 2011 2012 2017
  • 7. © Niji | 2018 Intelligence Artificielle 7 General VS Narrow Dans l’imaginaire : General AI (ou le futur…) La réalité : Narrow AI
  • 8. © Niji | 2018 Intelligence Artificielle 8 Ca sert à quoi ? Résolution de problème ! = Recherche d’une solution optimale Problème simple : x + 2 = 5 Problème complexe (pas de solution algorithmique) : le voyageur de commerce explosion combinatoire : force brute impossible pour un grand nombre de ville
  • 9. © Niji | 2018 Machine Learning 9 C’est quoi ? Discipline venant du data mining. Recherche de pattern dans des données et ajustement des algorithmes en conséquence. Decision Tree Learning, Inductive Logic Programming. Clustering, Reinforcement Learning (Groundhog Day), Neural Networks, Bayesian Networks.
  • 10. © Niji | 2018 Deep Learning 10 C’est quoi ?
  • 11. © Niji | 2018 Deep Learning 11 Chronologie et imbrication
  • 12. © Niji | 2018 Deep Learning 12 Pourquoi cet essort tardif ? Dans les années 90 il était extrêmement difficile d’entrainer un réseau de neurones avec plus de 2 couches cachées à cause: • Nos jeux de données labellisés trop petits • On utilisait des ordinateurs beaucoup trop lents • On n’était pas en mesure d'initialiser correctement les poids de notre réseau de neurones avant l'entraînement • On utilisait le mauvais type de fonction d’activation
  • 13.
  • 14. © Niji | 2018 Réseau de neurones 14 Qu’est-ce qu’un neurone artificiel ?
  • 15. © Niji | 2018 Réseau de neurones 15 Les fonctions d’activation
  • 16. © Niji | 2018 Réseau de neurones 16 Le modèle en couches de neurones
  • 17. © Niji | 2018 Réseau de neurones 17 Perceptron multi-couches
  • 18. © Niji | 2018 Réseau de neurones 18 Perceptron multi-couches
  • 19. © Niji | 2018 Réseau de neurones 19 Perceptron multi-couches
  • 20. © Niji | 2018 Réseau de neurones 20 Perceptron multi-couches Réseau généraliste -> perte des relations spatiales Explosion rapide du nombre de paramètres à entrainer : • Si on a en entrée une image de 200x200x3 -> 120.000 entrées • Donc si premières couche de 1000 neurones -> 120.000 * 1000 poids • Si deuxième couche de 1000 neurones -> 1000 * 1000 poids Plusieurs millions de paramètres à entrainer…
  • 21. © Niji | 2018 Réseau de neurones 21 Réseau de neurones convolutifs (CNN) Les couches de neurones ne sont plus des « classifiers » mais des filtres (cf. photoshop) permettant de détecter des « features ».
  • 22. © Niji | 2018 Réseau de neurones 22 Réseau de neurones convolutifs (CNN) : Convolution
  • 23. © Niji | 2018 Réseau de neurones 23 Réseau de neurones convolutifs (CNN) : Pooling
  • 24. © Niji | 2018 Réseau de neurones 24 AlexNet
  • 25. © Niji | 2018 Réseau de neurones 25 Réseau de neurones convolutifs (CNN)
  • 26. © Niji | 2018 Réseau de neurones 26 VGG16
  • 27. © Niji | 2018 Réseau de neurones 27 Autres CNN
  • 28. © Niji | 2018 Réseau de neurones 28 Autres types de réseau : Recurrent Neural Network / Long Short Term Memory
  • 29. © Niji | 2018 Réseau de neurones 29 Réseaux hybrides : Single Shot MultiBox Detection (SSD)
  • 30. © Niji | 2018 Réseau de neurones 30 Réseaux hybrides : Visual Question Answering
  • 31. © Niji | 2018 Réseau de neurones 31 Réseaux antagonistes génératifs (GAN)
  • 32. © Niji | 2018 Réseau de neurones 32 Choisir / designer son modèle En fonction du cas d’usage • Aide visuelle par ordinateur • Reconnaissance d’image • Détection d’image • Reconnaissance vocale • Traitement du langage naturel • Moteurs de recommandation • Régression • …
  • 33.
  • 34. © Niji | 2018 Comment apprend un réseau de neurones ? 34 Rétropropagation des erreurs Apprentissage = déterminer les poids Rétropropagation
  • 35. © Niji | 2018 Etapes de l’apprentissage 35 Mécanisme de rétropropagation 1. Présentation d'un motif d'entraînement au réseau. 2. Comparaison de la sortie du réseau avec la sortie ciblée. 3. Calcul de l'erreur en sortie de chacun des neurones du réseau. 4. Calcul, pour chacun des neurones, de la valeur de sortie qui aurait été correcte. 5. Définition de l'augmentation ou de la diminution nécessaire pour obtenir cette valeur. 6. Ajustement du poids de chaque connexion vers l'erreur locale la plus faible. 7. Attribution d'un blâme à tous les neurones précédents. 8. Recommencer à partir de l'étape 4, sur les neurones précédents, le blâme servant d’erreur.
  • 36. © Niji | 2018 Qualité de l’apprentissage 36 Mesure de la performance d’un réseau de neurones • Durée d’apprentissage • Précision des prédictions • Capacité de généralisation • Durée de prédiction Sous / Sur-apprentissage, temps ( = $)… Modèle ne respectant pas la SLA Réseau inutilisable en condition réelle RisquesMesures
  • 37. © Niji | 2018 Sur-apprentissage 37 Aka overfitting Le réseau n’est pas capable de généraliser • Modèle de réseau inadapté • Pas assez de données • Trop d’apprentissage
  • 38. © Niji | 2018 Sur-apprentissage 38 Détection L’élève apprend trop bien sa leçon ! Comment le détecter ? Grâce à un jeu de données de validation
  • 39. © Niji | 2018 Sur-apprentissage 39 Solutions : récupérer plus de données d’entrainement • Datasets existants • User Generated Content (attention à assainir les data) • Crowd sourcing
  • 40. © Niji | 2018 Sur-apprentissage 40 Solution : data augmentation • appliquer des transformations : rotation, déformation, homothétie, symétrie • changer la luminosité, la colorimétrie, le focus, … • autres : ajouter du bruit, ajouter des éléments en foreground, découper, …
  • 41. © Niji | 2018 Sur-apprentissage 41 Autres solutions : dropout, batch normalization, weight regularization, early stopping Dropout Early Stopping
  • 42. © Niji | 2018 Optimisation du modèle 42 Simplifier / optimiser son modèle, bien choisir ses hyper-paramètres Recherche & Développement Automatisé (Network Architecture Search)
  • 43. © Niji | 2018 Problématique de la vitesse d’apprentissage 43 Trop de vitesse… tue la vitesse
  • 44. © Niji | 2018 Réduire la durée d’apprentissage 44 Augmenter la puissance de traitement Hardware Cloud Computing MLaaS
  • 45. © Niji | 2018 Accélérer l’apprentissage (bis) 45 Le transfer learning • Basé sur le fonctionnement du cerveau humain. • Réutilisation de neurones déjà entrainés pour des tâches similaires. • Le cerveau est constitué de neurones entrainés depuis des millions d’années (ex: prédispositions héréditaires).
  • 46. © Niji | 2018 Transfer learning 46 Similitudes
  • 47. © Niji | 2018 Transfer Learning 47 Etapes 1. Construire le même modèle de réseau de neurones mais en changeant le nombre de libellés de la couche de classification. 2. Restaure tous les poids depuis un réseau déjà entrainé, excepté pour la couche de classification. Celle-ci est initialisé de manière aléatoire. 3. Gèle des poids des couches précédentes du réseau. 4. Entrainement avec les nouvelles données.
  • 48. © Niji | 2018 Transfer Learning 48 Pour un CNN
  • 49. © Niji | 2018 Transfer Learning 49 Règles essentielles • New dataset is small and similar to original dataset. Since the data is small, it is not a good idea to fine-tune the ConvNet due to overfitting concerns. Since the data is similar to the original data, we expect higher-level features in the ConvNet to be relevant to this dataset as well. Hence, the best idea might be to train a linear classifier on the CNN codes. • New dataset is large and similar to the original dataset. Since we have more data, we can have more confidence that we won’t overfit if we were to try to fine-tune through the full network. • New dataset is small but very different from the original dataset. Since the data is small, it is likely best to only train a linear classifier. Since the dataset is very different, it might not be best to train the classifier form the top of the network, which contains more dataset-specific features. Instead, it might work better to train the SVM classifier from activations somewhere earlier in the network. • New dataset is large and very different from the original dataset. Since the dataset is very large, we may expect that we can afford to train a ConvNet from scratch. However, in practice it is very often still beneficial to initialize with weights from a pretrained model. In this case, we would have enough data and confidence to fine-tune through the entire network.
  • 50.
  • 51. © Niji | 2018 Frameworks 51
  • 52. © Niji | 2018 Frameworks 52 Focus TensorFlow / Keras
  • 53. © Niji | 2018 Outils 53 Notebooks
  • 54. © Niji | 2018 Mobile / Web 54 CoreML / ML Kit Mobile Web
  • 55. © Niji | 2018 Matériel 55
  • 56. © Niji | 2018 MLaaS, Cloud 56
  • 57. © Niji | 2018 Vos contacts www.niji.fr @Niji_Digital Paris Lille Nantes Rennes Lyon Bordeaux Cédric PORTE CTO cedric.porte@niji.fr