A L G O R I T H M E S M L / D L
Réalisé par
Bassem Brayek
Aicha Racil
Ahmed Fathallah
PLAN: 
INTRODUCTION 
PROCESSUS MACHINE LEARNING
APPROCHES ET ALGORITHME
RÉSEAU DE NEURONE/
DEEP LEARNING 
CONCLUSION
M L / D L
- D A N S Q U E L L E P H A S E I N T E R V I E N T L E
M A C H I N E L E A R N I N G ?  
- Q U E L S   A L G O R I T H M E S U T L I S E R ?  
- M A C H I N E L E A R N I N G E T D E E P
L E A R N I N G  
INTRODUCTION
PROCESSUS MACHINE LEARNING
LES ALGORITHMES DE MACHINE LEARNING:
https://www.slideshare.net/awahid/big-data-and-machine-learning-for-businesses
Les classes sont connues. 
Prédire les classes à partir d'une
base d'apprentissage.
La sortie est une  catégorie. 
CLASSIFICATION
Principe: calcule la distance entre deux
observations, il rend une décision en
minimisant la distance entre les membres des
différentes classes. 
Avantage: - robuste au sur-apprentissage       
                - Modélisation non linéaire 
Problèmes: - Consommation de mémoire         
                 -  Non adéquat pour les                 
                   traitements parallèles et             
                   incrémentaux.               
1-SVM
Prédiction linéaire. 
La sortie peut prendre deux
valeurs.
Basée sur la fonction logistique.
Sur-apprentissage: faible
probabilité 
Non adéquat pour les relations
complexes: non linéaire. 
2-RÉGRESSION   
LOGISTIQUE
Le nombre K est pré-fixé. 
Calcule de la distance:                 
 * Distance euclidienne                 
 * Distance de Minkowski               
 * Distance de Manhattan... 
Le choix est basé sur un calcule de
probabilité. 
Dédié au nombre limité d'entrées.
3- KNN
La construction de l'arbre avec CART ou
bien ID3 .
Avantages: Simplicité de compréhension   
                  Robustesse                             
                  Fonctionnel pour les problème 
                  non linéaires. 
Inconvénients: le sur-apprentissage. 
4-ARBRE DE   
DÉCISION
La Régression:
Les algorithmes de régression permettent de prédire des valeurs
continues à partir des variables prédictives.
                      
 Un algorithme de régression permet de trouver un modèle en
fonction  des données d’entrainement.
Le modèle calculé permettra de donner une estimation sur une
nouvelle donnée non encore vue par l’algorithme.
Principe: trouver une droite qui se
rapproche le plus d'un ensemble de points.
Avantages: performant pour les données   
                  linéaires                                  
Inconvénients: - limité aux relations           
                          linéaires.                         
                      - Les données doivent être   
                        indépendantes
1-RÉGRESSION
LINÉAIRE
Une arborescence de régression peut être
considérée comme une variante des arbres
de décision, conçue pour approximer des
fonctions à valeur réelle, au lieu d'être
utilisée pour des méthodes de classification.
2- ARBRE DE
RÉGRESSION
3- RANDOM FOREST
Une forêt de regression est une collection d'arbres de regression formés au hasard.
Avantage :  Interprétabilité.
Inconvénient :  Lent pour créer des prédictions après la phase d'entrainement .
Clustering
Données non étiquetées.
Le nombre de cluster est inconnu au départ. 
Regroupement de données selon leurs ressemblances
K est le nombre de clusters à
obtenir.
Traitement itératif.
Avantages: -Simplicité                   
                   -Adéquat pour les
                   grandes masses de
                   données.                
Inconvénients: -le nombre k est
                       prédéfini                
                      - le résultat dépend 
                       du choix des
                       centres initiaux.      
                                          
1-KMEANS 
Association
Type de données: Données non étiquetées.
Principe: Permet de déterminer les relations
entre les différents attributs.  
Détermine les règles d'association
dans un jeu de données.
Traitement itératif.
Avantage: Simple à utiliser             
                                    
Inconvénient: Un nombre
considérable d'accès à la base de
données.
1-APRIORI
RÉSEAU DE NEURONE/DEEP LEARNIG
RÉSEAU DE NEURONE
Une collection de neurones
Il apprend en utilisant des algorithmes d'apprentissage
qui modifient légèrement les poids
ALGORITHME D'APPRENTISSAGE
LES DIFFÉRENTES CLASSIFICATION DES RÉSEAUX :
feedforward feedback
1- Types de connections
LES DIFFÉRENTES CLASSIFICATION DES RÉSEAUX :
2- Types d'apprentissage
LES DIFFÉRENTES CLASSIFICATION DES RÉSEAUX :
3- Topologies
APPRENTISSAGE PROFOND: DEEP LEARNING
Le deep learning est une méthode d'apprentissage qui utilise des réseaux de
neurones à plusieurs couches.
Les réseaux à couches multiples existaient depuis des années, ce qui est
nouveau, c'est les algorithmes d'apprentissage
Un réseau de neurones profond consiste en une hiérarchie de couches, chacune
transforme les données d'entrée en une représentation plus abstraite.
APPRENTISSAGE PROFOND: DEEP LEARNING
PROBLÈMES DES ALGORITHMES ML:
Sur-apprentissage: quand le modèle devient trop lié à la base
d'apprentissage et se généralise mal.
Sous-apprentissage: Le modèle est incapable de fournir des prédictions
précises.
RÉDUCTION DE L'OVERFITTING :
Réduire la taille du réseau.
Validation croisée (séparation du données en partie d'apprentissage et partie
de validation).
Régularisation (weight decay : pénaliser les grand poids).
G R A N D S N O M B R E S D ' A L G O R I T H M E S
B E S O I N D E S É T A P E S D E P R É P A R A T I O N
E T D E S T R U C T U R A T I O N .
CONCLUSION ET
PERSPECTIVES
Quels outils permettant de faciliter et d'automatiser ces tâches ? 
NOS SOURCES
Master Machine Learning Algorithms. Jason Brownlee.
https://machinelearningmastery.com/overfitting-and-underfitting-with-machine-
learning-algorithms/
http://neuralnetworksanddeeplearning.com
https://mrmint.fr/overfitting-et-underfitting-quand-vos-algorithmes-de-machine-
learning-derapent
https://docs.microsoft.com/en-us/azure/machine-learning/studio/algorithm-choice
MERCI DE VOTRE
ATTENTION
ANNEXE
A B P E N S
ID3
Initialisation par un arbre vide
Calcule de l'entropie totale .
On prend attribut par attribut.
Pour chaque valeur d'attribut on calcule sa
probabilité et son entropie.
On calcule le gain en information de chaque
attribut.
L'attribut qui a le gain le plus important sera
sélectionné.
Traitement itératif.
A B P E N S
CART
Répartition des données sur des groupes.
Poser toutes les questions possibles.
Evaluation de l'arbre obtenu
A B P E N S
GRADIANT DESCENT
Choisir une fonction coût
Fixer les paramètre initiaux (nombre aléatoire de
gauss avec un petit écart type)
Calculer le gradiant de cette fonction dans cette
position
Mise à jour de la position en fonction du gradiant
Arbre de décision :
1
Algorithme Exactitude temps
d'exécution
Linéarité remarques
Logistic
regression
SVM Recommandé pour
grandes masses de
données
kmeans
Random forest
Naive bayise

Algorithmes machine learning/ neural network / deep learning

  • 1.
    A L GO R I T H M E S M L / D L Réalisé par Bassem Brayek Aicha Racil Ahmed Fathallah
  • 2.
    PLAN:  INTRODUCTION  PROCESSUS MACHINE LEARNING APPROCHESET ALGORITHME RÉSEAU DE NEURONE/ DEEP LEARNING  CONCLUSION
  • 3.
    M L /D L - D A N S Q U E L L E P H A S E I N T E R V I E N T L E M A C H I N E L E A R N I N G ?   - Q U E L S   A L G O R I T H M E S U T L I S E R ?   - M A C H I N E L E A R N I N G E T D E E P L E A R N I N G   INTRODUCTION
  • 4.
  • 5.
    LES ALGORITHMES DEMACHINE LEARNING: https://www.slideshare.net/awahid/big-data-and-machine-learning-for-businesses
  • 6.
    Les classes sontconnues.  Prédire les classes à partir d'une base d'apprentissage. La sortie est une  catégorie.  CLASSIFICATION
  • 7.
    Principe: calcule ladistance entre deux observations, il rend une décision en minimisant la distance entre les membres des différentes classes.  Avantage: - robuste au sur-apprentissage                        - Modélisation non linéaire  Problèmes: - Consommation de mémoire                           -  Non adéquat pour les                                     traitements parallèles et                                 incrémentaux.                1-SVM
  • 8.
    Prédiction linéaire.  La sortiepeut prendre deux valeurs. Basée sur la fonction logistique. Sur-apprentissage: faible probabilité  Non adéquat pour les relations complexes: non linéaire.  2-RÉGRESSION    LOGISTIQUE
  • 9.
    Le nombre Kest pré-fixé.  Calcule de la distance:                   * Distance euclidienne                   * Distance de Minkowski                 * Distance de Manhattan...  Le choix est basé sur un calcule de probabilité.  Dédié au nombre limité d'entrées. 3- KNN
  • 10.
    La construction del'arbre avec CART ou bien ID3 . Avantages: Simplicité de compréhension                      Robustesse                                                Fonctionnel pour les problème                    non linéaires.  Inconvénients: le sur-apprentissage.  4-ARBRE DE    DÉCISION
  • 11.
    La Régression: Les algorithmesde régression permettent de prédire des valeurs continues à partir des variables prédictives.                         Un algorithme de régression permet de trouver un modèle en fonction  des données d’entrainement. Le modèle calculé permettra de donner une estimation sur une nouvelle donnée non encore vue par l’algorithme.
  • 12.
    Principe: trouver unedroite qui se rapproche le plus d'un ensemble de points. Avantages: performant pour les données                      linéaires                                   Inconvénients: - limité aux relations                                      linéaires.                                                - Les données doivent être                            indépendantes 1-RÉGRESSION LINÉAIRE
  • 13.
    Une arborescence derégression peut être considérée comme une variante des arbres de décision, conçue pour approximer des fonctions à valeur réelle, au lieu d'être utilisée pour des méthodes de classification. 2- ARBRE DE RÉGRESSION
  • 14.
    3- RANDOM FOREST Uneforêt de regression est une collection d'arbres de regression formés au hasard. Avantage :  Interprétabilité. Inconvénient :  Lent pour créer des prédictions après la phase d'entrainement .
  • 15.
    Clustering Données non étiquetées. Lenombre de cluster est inconnu au départ.  Regroupement de données selon leurs ressemblances
  • 16.
    K est lenombre de clusters à obtenir. Traitement itératif. Avantages: -Simplicité                                       -Adéquat pour les                    grandes masses de                    données.                 Inconvénients: -le nombre k est                        prédéfini                                       - le résultat dépend                         du choix des                        centres initiaux.                                                  1-KMEANS 
  • 17.
    Association Type de données:Données non étiquetées. Principe: Permet de déterminer les relations entre les différents attributs.  
  • 18.
    Détermine les règlesd'association dans un jeu de données. Traitement itératif. Avantage: Simple à utiliser                                                   Inconvénient: Un nombre considérable d'accès à la base de données. 1-APRIORI
  • 19.
  • 20.
    RÉSEAU DE NEURONE Unecollection de neurones Il apprend en utilisant des algorithmes d'apprentissage qui modifient légèrement les poids
  • 21.
  • 22.
    LES DIFFÉRENTES CLASSIFICATIONDES RÉSEAUX : feedforward feedback 1- Types de connections
  • 23.
    LES DIFFÉRENTES CLASSIFICATIONDES RÉSEAUX : 2- Types d'apprentissage
  • 24.
    LES DIFFÉRENTES CLASSIFICATIONDES RÉSEAUX : 3- Topologies
  • 25.
    APPRENTISSAGE PROFOND: DEEPLEARNING Le deep learning est une méthode d'apprentissage qui utilise des réseaux de neurones à plusieurs couches. Les réseaux à couches multiples existaient depuis des années, ce qui est nouveau, c'est les algorithmes d'apprentissage Un réseau de neurones profond consiste en une hiérarchie de couches, chacune transforme les données d'entrée en une représentation plus abstraite.
  • 26.
  • 27.
    PROBLÈMES DES ALGORITHMESML: Sur-apprentissage: quand le modèle devient trop lié à la base d'apprentissage et se généralise mal. Sous-apprentissage: Le modèle est incapable de fournir des prédictions précises.
  • 28.
    RÉDUCTION DE L'OVERFITTING: Réduire la taille du réseau. Validation croisée (séparation du données en partie d'apprentissage et partie de validation). Régularisation (weight decay : pénaliser les grand poids).
  • 29.
    G R AN D S N O M B R E S D ' A L G O R I T H M E S B E S O I N D E S É T A P E S D E P R É P A R A T I O N E T D E S T R U C T U R A T I O N . CONCLUSION ET PERSPECTIVES Quels outils permettant de faciliter et d'automatiser ces tâches ? 
  • 30.
    NOS SOURCES Master MachineLearning Algorithms. Jason Brownlee. https://machinelearningmastery.com/overfitting-and-underfitting-with-machine- learning-algorithms/ http://neuralnetworksanddeeplearning.com https://mrmint.fr/overfitting-et-underfitting-quand-vos-algorithmes-de-machine- learning-derapent https://docs.microsoft.com/en-us/azure/machine-learning/studio/algorithm-choice
  • 31.
  • 32.
  • 33.
    A B PE N S ID3 Initialisation par un arbre vide Calcule de l'entropie totale . On prend attribut par attribut. Pour chaque valeur d'attribut on calcule sa probabilité et son entropie. On calcule le gain en information de chaque attribut. L'attribut qui a le gain le plus important sera sélectionné. Traitement itératif.
  • 34.
    A B PE N S CART Répartition des données sur des groupes. Poser toutes les questions possibles. Evaluation de l'arbre obtenu
  • 35.
    A B PE N S GRADIANT DESCENT Choisir une fonction coût Fixer les paramètre initiaux (nombre aléatoire de gauss avec un petit écart type) Calculer le gradiant de cette fonction dans cette position Mise à jour de la position en fonction du gradiant
  • 37.
  • 39.
    1 Algorithme Exactitude temps d'exécution Linéaritéremarques Logistic regression SVM Recommandé pour grandes masses de données kmeans Random forest Naive bayise