"Je ne trouve pas le répo Git du code, tu l'as mis où ?" - "Je peux te fournir une clé USB avec mon notebook si tu veux.". Ceci est une histoire d'amour et de haine entre Data Scientist et Software Craftsman ! À l'heure où de plus en plus de projets Data sont conduits, nous avons commencé à nous demander comment délivrer des travaux de Data Science en production et les intégrer dans le système d'information. Les proofs of concepts sont terminés, que vient après ? L'une des principales questions que nous nous sommes posés est comment concilier le monde de la Data Science, dans lequel nous travaillons à coups de notebooks sur des modèles et des technologies pour l'experimentation, avec le monde du Craftsmanship, dans lequel la qualité du code est le pilier de la réutilisation et de l'industrialisation. Pendant ce talk, nous présenterons des pistes et des conseils permettant de faire cohabiter ces deux mondes qui ne se connaissent que trop peu et qui auraient pourtant tout à y gagner. Nous aborderons également la place du Data Scientist dans une équipe agile, ainsi que par quels moyens il devrait communiquer avec ces collègues.

1. @xebiconfr #xebiconfr
Data Science &
Craftsmanship:
Je t’aime, moi non
plus
Sylvain
Lequeux
Yoann
Benoit

2. @xebiconfr #xebiconfr
Raconte moi une histoire
2
0

3. @xebiconfr #xebiconfr
Raconte moi une histoire
3
0

4. @xebiconfr #xebiconfr
@YoannBENOIT
Yoann BenoitSylvain Lequeux
4
@slequeux

5. @xebiconfr #xebiconfr
Deux mondes que tout
sépare
1
5

6. @xebiconfr #xebiconfr
Des formations différentes
6
1a

7. @xebiconfr #xebiconfr
Des objectifs personnels différents
7
1b

8. @xebiconfr #xebiconfr
Des équipes différentes
8
1c
Plusieurs équipes
Un objectif commun : délivrer de la valeur

9. @xebiconfr #xebiconfr
Des outils différents
9
1d

10. @xebiconfr #xebiconfr
Choix du langage
10
1e
Popularité Data Scientists
Popularité Data Engineers
Disponibilité algos
Scalabilité algos
Outillage (IDE, Notebooks,
Build)

11. @xebiconfr #xebiconfr
Et le Craftsmanship dans tout ça ?
11
1f

12. @xebiconfr #xebiconfr
Les contraintes du
craftsmanship
2
12

13. @xebiconfr #xebiconfr
Retour à l’essentiel
13
2a
https://essentials.xebia.com

14. @xebiconfr #xebiconfr 14
2b

15. @xebiconfr #xebiconfr
Make it work, make it right, make it fast ...
15
2b

16. @xebiconfr #xebiconfr 16
2c

17. @xebiconfr #xebiconfr
… and integrate early
17
2c
Packager et intégrer le code dès que
possible
● Au début, les fonctions
fréquemment utilisées
● Puis toutes les phases
○ Feature Engineering
○ Modélisation
○ ...

18. @xebiconfr #xebiconfr 18
2d

19. @xebiconfr #xebiconfr
Quels outils pour automatiser le build ?
19
2d
TOX
Maven
SBT

20. @xebiconfr #xebiconfr
Quels outils pour construire en continu ?
20
2d

21. @xebiconfr #xebiconfr 21
2e

22. @xebiconfr #xebiconfr
Contraintes pour les tests
22
2e
Pas de changement sans test préalable
Les tests doivent être rapides

23. @xebiconfr #xebiconfr
En résumé
23
2f

24. @xebiconfr #xebiconfr
Comment résoudre ces
contraintes en pratique ?
3
24

25. @xebiconfr #xebiconfr
Du notebook au code packagé
25
3a
Notebook

26. @xebiconfr #xebiconfr
Du notebook au code packagé
26
3b
Notebook
Code
Template

27. @xebiconfr #xebiconfr
Du notebook au code packagé
27
3c
Notebook
Code
Template
Big Fat
Method

28. @xebiconfr #xebiconfr
Du notebook au code packagé
28
3d
Notebook
Code
Template
Integration
Test
Big Fat
Method

29. @xebiconfr #xebiconfr
Du notebook au code packagé
29
3e
Notebook
Code
Template
Integration
Test
Unit
Tests
Refactor
Big Fat
Method

30. @xebiconfr #xebiconfr
Du notebook au code packagé
30
3f
Notebook
Code
Template
Integration
Test
Unit
Tests
Refactor
Big Fat
Method
Binary

31. @xebiconfr #xebiconfr
Du notebook au code packagé
31
3g
Notebook
Code
Template
Integration
Test
Unit
Tests
Refactor
Import
Package
Big Fat
Method
Binary

32. @xebiconfr #xebiconfr
Du notebook au code packagé
32
3h
Notebook
Code
Template
Integration
Test
Unit
Tests
Refactor
Import
Package
Big Fat
Method
Binary

33. @xebiconfr #xebiconfr
Focus sur les tests
4
33

34. @xebiconfr #xebiconfr
Quels outils ?
34
4a

35. @xebiconfr #xebiconfr
Test du Feature Engineering
35
4b
Standard
Scaling
Suppression
des
doublons
Gestion des
valeurs
manquantes
Gestion
des dates
...
● Le Feature Engineering peut très souvent être décomposé en une suite de
transformations élémentaires
● Chacune de ces transformations peut être testée indépendamment

36. @xebiconfr #xebiconfr
Test de modèles de Machine Learning
36
4c
Features
Algorithme
de Machine
Learning
● Le test de modèles est particulièrement compliqué
○ L'entraînement de modèle implique d’inclure de l’aléatoire
● Rappel : on souhaite tester la performance du modèle sur un jeu de données, pas le
comportement du modèle lui-même
○ Vérifier que certaines catégories sont correctement prédites
○ Définir un seuil minimal d'acceptation.
Modèle

37. @xebiconfr #xebiconfr
Performances dans le temps
37
4d
● Votre modèle part en production ? Ce n’est pas encore la fin
○ “You build it, you run it” + “You maintain it”
● Il est important de monitorer la performance du modèle dans le temps. Si on observe
une baisse de performance :
○ Réentrainement sur de nouvelles données
○ Ajout de nouvelles features
○ Changement complet de modèle

38. @xebiconfr #xebiconfr
Agilité et Data Science
5
38

39. @xebiconfr #xebiconfr
Scrum ?
39
5a
Scrum ? Nope !
Ce n’est pas pour moi

40. @xebiconfr #xebiconfr
Workflow typique de développement
40
5b
Ecriture de US
ImplémentationDémo
Déploiement prod Déploiement

41. @xebiconfr #xebiconfr
Workflow typique de data science
41
5c
Exploration
Feature
engineering
Modélisation
Validation /
review

42. @xebiconfr #xebiconfr
Comparons ces deux workflows
42
5d
~1 sprint
Exploration
Feature
engineering
Modélisation
Validation
Spécification
ImplémentationValidation

43. @xebiconfr #xebiconfr
Qu’en est-il de la phase d’exploration ?
43
5e
● Une phase d’exploration peut durer plusieurs
sprints
● La sortie de cette phase est incertaine
● Mais l’exploration permet de définir les
prochaines étapes et les User Stories associées

44. @xebiconfr #xebiconfr
Nos essentials sur l’agilité dans la Data Science
44
5f
Inclure les résultats de la
phase d’exploration dans
chaque sprint review

45. @xebiconfr #xebiconfr
Nos essentials sur l’agilité dans la Data Science
45
5f
Accepter l’incertitude

46. @xebiconfr #xebiconfr
Nos essentials sur l’agilité dans la Data Science
46
5f
Accepter l’imperfection

47. @xebiconfr #xebiconfr
Nos essentials sur l’agilité dans la Data Science
47
5f
Time boxer l’exploration

48. @xebiconfr #xebiconfr
Nos essentials sur l’agilité dans la Data Science
48
5f
Il n’y a pas que Scrum dans
la vie #Kanban

49. @xebiconfr #xebiconfr
Une question
d’organisation
6
49

50. @xebiconfr #xebiconfr
Organisation traditionnelle d’un projet
50
6a

51. @xebiconfr #xebiconfr
Organisation recommandée pour un projet data
51
6b

52. @xebiconfr #xebiconfr
Feature Team
52
6c

53. @xebiconfr #xebiconfr
Inclure des devops dans l’équipe
53
6d

54. @xebiconfr #xebiconfr
Pair Programming
54
6e

55. @xebiconfr #xebiconfr
Take away
7
55

56. @xebiconfr #xebiconfr
Les conseils fournis
56
7a
Tester votre code

57. @xebiconfr #xebiconfr
Les conseils fournis
57
7b
Tester votre code
Automatiser le build et
déploiement au plus tôt

58. @xebiconfr #xebiconfr
Les conseils fournis
58
7c
Tester votre code
Automatiser le build et
déploiement au plus tôt
Utiliser du code packagé
dans votre notebook

59. @xebiconfr #xebiconfr
Les conseils fournis
59
7d
Tester votre code
Automatiser le build et
déploiement au plus tôt
Utiliser du code packagé
dans votre notebook
La Data Science peut
fonctionner dans un
environnement agile

60. @xebiconfr #xebiconfr
Les conseils fournis
60
7e
Tester votre code
Automatiser le build et
déploiement au plus tôt
Utiliser du code packagé
dans votre notebook
La Data Science peut
fonctionner dans un
environnement agile
Travailler en Feature
Teams

61. @xebiconfr #xebiconfr
Merci !
61