SlideShare une entreprise Scribd logo
1  sur  15
Télécharger pour lire hors ligne
Classification des données
déséquilibrées
2021
Plan :
I. Classe déséquilibrée
II. Problème de déséquilibre de classes
III.Pourquoi est-ce un problème?
IV.Evaluer des modèles de classification déséquilibrés
V. Solutions à l'apprentissage déséquilibré
VI.Implémentation
VII.Conclusion
Classe déséquilibrées
Problème de
déséquilibre de
classe
où le nombre total d'une classe de données (positif)
est bien inférieur au nombre total d'une autre classe
de données (négatif).
Ce problème est extrêmement courant dans la
pratique et peut être observé dans diverses
disciplines, notamment
• détection de fraude,
• Détection d'une anomalie,
• diagnostic médical,
• détection de déversement d'huile,
• reconnaissance faciale, etc.
Pourquoi est-ce un problème?
La plupart des algorithmes
d'apprentissage automatique
fonctionnent mieux lorsque le
nombre d'instances de chaque
classe est à peu près égal. Lorsque
le nombre d'instances d'une classe
dépasse de loin l'autre, des
problèmes surviennent.
Le choix du métrique le plus pertinent
• Il est nécessaire de bien choisir la métrique d’évaluation. Il faut que
cette métrique soit d’abord cohérente avec les objectifs du métier
mais aussi pertinente pour répondre à la problématique
Evaluer des modèles de classification déséquilibrés
Solutions à l'apprentissage déséquilibré
•Méthodes d'échantillonnage​
•Méthodes sensibles aux coûts​
•Méthodes de noyau et d'apprentissage actif
Les méthodes
d’Undersampling foncti
onnent en diminuant le
nombre d’observations
de la classe majoritaire
afin d’arriver à un ratio
classe minoritaire/
classe majoritaire
satisfaisant.
Méthodes d'échantillonnage
Sur-échantillonnage
en ajoutant plus de la
classe minoritaire afin
d'avoir plus d'effet
sur l'algorithme
d'apprentissage
automatique
Remarque
• Ces approches sont très faciles à mettre en œuvre et rapides à
exécuter. Elles constituent un excellent point de départ.
• toujours essayer les deux approches sur tous vos ensembles de
données déséquilibrées, et vérifier si cela améliore vos métriques de
performances choisies.
Contexte
• Le spam ou les messages / e-mails indésirables
ne fournissent aucune information valable. Ils
SPAM juste notre boîte de réception. Non-spam
(ham) message normal
Implementation
conclusion
Dans un problème de classification, il n’est pas rare que la
modélisation soit contrainte par le déséquilibre des classes. Il est donc
indispensable de pouvoir y faire face.
Merci pour votre attention

Contenu connexe

Imbalanced classification

  • 2. Plan : I. Classe déséquilibrée II. Problème de déséquilibre de classes III.Pourquoi est-ce un problème? IV.Evaluer des modèles de classification déséquilibrés V. Solutions à l'apprentissage déséquilibré VI.Implémentation VII.Conclusion
  • 4. Problème de déséquilibre de classe où le nombre total d'une classe de données (positif) est bien inférieur au nombre total d'une autre classe de données (négatif). Ce problème est extrêmement courant dans la pratique et peut être observé dans diverses disciplines, notamment • détection de fraude, • Détection d'une anomalie, • diagnostic médical, • détection de déversement d'huile, • reconnaissance faciale, etc.
  • 5. Pourquoi est-ce un problème? La plupart des algorithmes d'apprentissage automatique fonctionnent mieux lorsque le nombre d'instances de chaque classe est à peu près égal. Lorsque le nombre d'instances d'une classe dépasse de loin l'autre, des problèmes surviennent.
  • 6. Le choix du métrique le plus pertinent • Il est nécessaire de bien choisir la métrique d’évaluation. Il faut que cette métrique soit d’abord cohérente avec les objectifs du métier mais aussi pertinente pour répondre à la problématique
  • 7. Evaluer des modèles de classification déséquilibrés
  • 8. Solutions à l'apprentissage déséquilibré •Méthodes d'échantillonnage​ •Méthodes sensibles aux coûts​ •Méthodes de noyau et d'apprentissage actif
  • 9. Les méthodes d’Undersampling foncti onnent en diminuant le nombre d’observations de la classe majoritaire afin d’arriver à un ratio classe minoritaire/ classe majoritaire satisfaisant.
  • 10. Méthodes d'échantillonnage Sur-échantillonnage en ajoutant plus de la classe minoritaire afin d'avoir plus d'effet sur l'algorithme d'apprentissage automatique
  • 11. Remarque • Ces approches sont très faciles à mettre en œuvre et rapides à exécuter. Elles constituent un excellent point de départ. • toujours essayer les deux approches sur tous vos ensembles de données déséquilibrées, et vérifier si cela améliore vos métriques de performances choisies.
  • 12. Contexte • Le spam ou les messages / e-mails indésirables ne fournissent aucune information valable. Ils SPAM juste notre boîte de réception. Non-spam (ham) message normal
  • 14. conclusion Dans un problème de classification, il n’est pas rare que la modélisation soit contrainte par le déséquilibre des classes. Il est donc indispensable de pouvoir y faire face.
  • 15. Merci pour votre attention

Notes de l'éditeur

  1. Ce déséquilibre de classe augmente la difficulté de l’apprentissage par l’algorithme de classification. En effet, l’algorithme n’a que peu d’exemples de la classe minoritaire sur lesquels apprendre. Il est donc biaisé vers la population des négatifs et produit des prédictions potentiellement moins robustes qu’en l’absence de déséquilibre.
  2. o Précision: mesure le nombre de fois où votre modèle a fait des prédictions correctes à partir de ses identifications prédites (c'est-à-dire des prédictions correctes et incorrectes) pour chaque classe. o Rappel: mesure le nombre de fois où votre modèle a fait des prédictions correctes à partir des véritables identifications pour chaque classe. - Le score F est une mesure courante pour traiter des problèmes de classification déséquilibrés. Il est dérivé de la précision de mesure et du rappel. Le score F est défini sur 0 si la précision ou le rappel correspondant n'est pas défini ou est égal à 0. True Negative (TN): le nombre de points de données qui ont été correctement prédits comme négatifs (fraude) Faux négatif (FN): le nombre de points de données qui ont été prédits à tort comme négatifs True Positive (TP): le nombre de points de données correctement prédits positifs (pas de fraude) Faux positif (FP): le nombre de points de données qui ont été prédits à tort comme positifs
  3. Le sous-échantillonnage aléatoire (Random Undersampling) consiste à tirer au hasard des échantillons de la classe majoritaire, avec ou sans remplacement. Toutefois elle peut accroître la variance du classifieur et peut éventuellement éliminer des échantillons utiles ou importants.