Recommandé
Recommandé
Contenu connexe
Similaire à 5_metriques_ai_prod.pdf
Similaire à 5_metriques_ai_prod.pdf (20)
5_metriques_ai_prod.pdf
- 1. Machine Learning : 5 métriques supplémentaires pour éviter les modèles performants mais inutilisables
- 2. Devoxx France 2023 5 métriques supplémentaires pour éviter les modèles performants mais inutilisables
- 3. Devoxx France 2023 HELLO Marie-Alice BLETE Software Architect & Data engineer at Labs
- 4. ? blabla code blabla code blabla code blabla code blabla code blabla code blabla code blabla code blabla code data scientist
- 5. precision/recall training loss … Comparaison de modèles :
- 6. data scientist c’est le modèle B le meilleur!
- 7. Oui, mais… on a un problème avec le temps d’exécution du modèle !
- 8. Nombre de transactions traitées < 100ms Modèle A : 99 % Modèle B : 85 % Temps moyen de traitement Modèle A : 23 ms Modèle B : 45 ms
- 9. Latence
- 10. Oui, mais… on n’arrive à convaincre de l’intérêt métier du modèle !
- 11. SANS IA AVEC IA x 1,8 nombre de transactions frauduleuses détectées + règles expertes règles expertes + modèle
- 12. SANS IA AVEC IA x 1,7 montant des transactions frauduleuses détectées + règles expertes règles expertes + modèle
- 13. € (ou autre unité métier?)
- 14. Oui, mais… le modèle est beaucoup trop compliqué à maintenir !
- 15. Création de features : Features dérivées date montant ip jour de la semaine montant en euros pays transaction transaction améliorée
- 16. Création de features : Agrégations transaction courante 24 heures moyenne des montants
- 17. Agrégation : opération potentiellement coûteuse
- 18. Nombre de features brutes Nombre de features type agrégat Modèle A : 11 Modèle B : 1 Modèle A : 7 Modèle B : 0
- 20. Oui, mais… quelqu’un à pensé à l’impact écologique ??
- 21. Emissions de C02 Consommation d’électricité Nombre de paramètres FLOPs : Nombre d’opérations à virgule flottante
- 22. Green AI
- 23. Oui, mais… on n’arrive pas à faire adhérer les décideurs …
- 24. Explicabilité globale Explicabilité locale
- 27. precision/recall training loss … Comparaison de modèles :
- 28. Latence € ou unité métier Complexité du modèle Green AI Explainabilité
- 30. Don’t be a stranger! Follow & get in touch linkedin.com/in/mblete blog.worldline.tech @WorldlineTech Follow our tech team: Follow me: @mariealice_b medium.com/@mariealice.blete