Explicabilité de modele statistique
•Télécharger en tant que PPTX, PDF•
1 j'aime•177 vues
Olivier Blais explique comment sortir indemne avec l'explicabilité des décisions algorithmiques, l’interprétabilité des résultats et le modèle de la boîte noire :?
Recommandé
Recommandé
Contenu connexe
Similaire à Explicabilité de modele statistique
Similaire à Explicabilité de modele statistique (8)
Explicabilité de modele statistique
- 2. Olivier Blais Co-fondateur & Lead Data
- 3. Quelle est la probabilité que Tesla livre 80,000 véhicules d’ici la fin de l’année?
- 4. Influence de l’algorithme sur la décision 50% 22% 0% 10% 20% 30% 40% 50% 60% Amateur Expert
- 6. Mieux expliquer nos modèles
- 7. Il faut expliquer les modèles statistiques Pour valider la robustesse du modèle Valider qu’il est intuitif Ajuster le modèle Développer le modèle
- 8. Pour faire adopter le modèle Il faut expliquer les modèles statistiques Intuition moins biaisée Automatiser la prise de décision Valider les prédictions
- 11. Faire aveuglément confiance (bis)?
- 12. Faire aveuglément confiance (bis)?
- 16. Modèle LIME
- 17. Modèle SHAP Variable 2Variable 1 Variable 3 ...Variable 4 1.0 0.0 Predictionentre0et1 Variables en ordre d’importance Prédiction finale
- 18. EXEMPLE Prédire l’attrition de clients (aka le churn)
- 19. Tentative #1: Régression logistique Valeur des coefficients Variablessignificative
- 20. Tentative #1: Performance Taux de faux positifs Tauxdevraispositifs
- 21. Tentative #2: Ensemble d’arbres Coefficient d’importance
- 22. Tentative #2: Performance Taux de faux positifs Tauxdevraispositifs
- 23. Prédiction avec LIME Rétention Personne qui a 99% de chance de rester. Attrition
- 24. Prédiction avec SHAP Personne (la même) qui a 99% de chance de rester.
- 25. Analyse des raisons avec SHAP Regroupement des causes principales d’attrition Point BLEU Point VERT Point ROUGE Point MAUVE
- 26. En bref… À bas les modèles moins prédictifs SHAP for the win! L’Interprétabilité aide l’adoption
- 27. Merci!
Notes de l'éditeur
- Une série de questions à propos de plusieurs sujets a été posée à des experts et des amateurs Des réponses venant, soit d’humains ou d’algorithmes ont été communiqués par la suite L’étude consiste à identifier si ces supports ont aidées faire évoluer les réponses des sujets
- Nous sommes maintenant plus prêt à adopter l’avis d’un algorithme que jamais Par contre, l’expert n’est pas encore prêt à faire confiance à l’algorithme De façon générale, l’expert a tendance à ce tromper plus que l’amateur avec algorithme
- Comment faire pour que les experts adoptent les modèles statistiques dans leur prise de decision?
- Être capable de valider la robustesse des modèles S’assurer de l’éthique des modèles statistiques Comprendre la cause d’une prediction Rencontrer certaines exigeances légales
- Être capable de valider la robustesse des modèles S’assurer de l’éthique des modèles statistiques Comprendre la cause d’une prediction Rencontrer certaines exigeances légales
- Actuellement dans le marché il y a une opposition entre la precision des modèles et leur explicabilité. Soit un modèle est hyper précis et non explicable soit un modèle n’est pas précis et super explicable.
- Modèles agnostiques d’explicabilité! Modèle que tu appliques sur ton modèle et qui va amener à l’explicabilité. Pas besoin de compromis.
- Quand on est capable de zoomer sur une petite portion du modèle, on est capable d’appliquer une regression linéaire et de l’interpreter. Crée un échantillon de données locales et produit une régression Plus Prouvé Facile à expliquer Rapide Moins Assume la linéarité Paramètres à ajuster
- Mesure l’apport additionel de variables à la prediction en déconstruisant le modèle statistique de façon intelligente. Plus Très intuitif N’assume pas la linéarité locale Moins Assez lent sur beaucoup de données.
- Voici un exemple d’une personne qui a 99% de chance de rester.
- L’interprétabilité aide l’adoption de modèles statistique par les experts L’obtention d’explications ne justifie plus l’utilisation de modèles moins prédictifs SHAP permet de calibrer et comprendre des modèles très complexes de façon fiable!