This presentation allows to get familiarized with the main concepts of data cleaning, related tools, and best practices in the curation process. The second part will consist in a theoretical/practical exercise with examples of technical and consistency validation checks --- Cette présentation permets aux participants de se familiariser avec les concepts principaux du nettoyage de données, les outils associés, et les meilleures pratiques utilisées dans le processus de curation. La seconde partie consistera en un exercice théorique/pratique avec des exemples de validation technique et de vérification de la cohérence.

1. 24 AUGUST 2016
THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Data Cleaning
Nestor Beltran

2. DATA CURATION, FORMATTING &
TRANSFORMATION
Basic concepts of data
cleaning

3. MANIPULATION, FORMATAGE ET
TRANSFORMATION DE DONNÉES
Concepts de base sur le
nettoyage des données

4. What is data cleaning?
A process used to improve the
quality through correction of detected errors and omissions
• Define and determine error types
• Search and identify error instances
• Correct the errors
• Document error instances and error types
• Modify data entry procedures to reduce future errors

5. • Définir et déterminer les erreurs types
• Chercher et identifier les occurrences d’erreurs
• Corriger les erreurs
• Documenter les cas d’erreurs et d’erreurs types
• Modifier le procédé d’entrée de données afin de réduire les erreurs futures
Qu'est-ce que c'est le nettoyage de données ?
Un procédé utilisé pour
améliorer la qualité en corrigeant les erreurs détectées et les oublis

6. The need for Data Cleaning
Is centred around improving the quality of
data to make them
“fit for use”

7. La nécessité du Nettoyage des Données
Englobe l’amélioration de la qualité des
données afin de les rendre
“adaptées à l’emploi”

8. DATA CURATION, FORMATTING &
TRANSFORMATION
Principles of Data
Cleaning

9. MANIPULATION, FORMATAGE ET
TRANSFORMATION DE DONNÉES
Principes du Nettoyage
des Données

10. Principles
●Planning

11. Principes
●Préparation

12. Principles
●Planning
●Organizing

13. Principes
●Préparation
●Organisation

14. Principles
●Planning
●Organizing
●Prevention

15. Principes
●Préparation
●Organisation
●Prévention

16. Principles
●Planning
●Organizing
●Prevention
●Responsibility

17. Principes
●Préparation
●Organisation
●Prévention
●Responsabilité

18. Principles
●Planning
●Organizing
●Prevention
●Responsibility
●Partnership

19. Principes
●Préparation
●Organisation
●Prévention
●Responsabilité
●Partenariat

20. Principles
●Planning
●Organizing
●Prevention
●Responsibility
●Partnership
●Prioritisation

21. Principes
●Préparation
●Organisation
●Prévention
●Responsabilité
●Partenariat
●Priorétiser

22. Principles
●Planning
●Organizing
●Prevention
●Responsibility
●Partnership
●Prioritisation
●Performance measures

23. Principes
●Préparation
●Organisation
●Prévention
●Responsabilité
●Partenariat
●Priorétiser
●Mesures de
Performance

24. Principles
●Planning
●Organizing
●Prevention
●Responsibility
●Partnership
●Prioritisation
●Performance measures
●Optimization
●Feedback
●Training
●Transparency
●Documentation

25. Principes
●Préparation
●Organisation
●Prévention
●Responsabilité
●Partenariat
●Priorétiser
●Mesures de
Performance
●Optimisation
●Feedback
●Formation
●Transparence
●Documentation

26. Principles
●Planning
●Organizing
●Prevention
●Responsibility
●Partnership
●Prioritisation
●Performance measures
●Optimization
●Feedback
●Training
●Transparency
●Documentation

27. Principes
●Préparation
●Organisation
●Prévention
●Responsabilité
●Partenariat
●Priorétiser
●Mesures de
Performance
●Optimisation
●Feedback
●Formation
●Transparence
●Documentation

28. Principles
●Planning
●Organizing
●Prevention
●Responsibility
●Partnership
●Prioritisation
●Performance measures
●Optimization
●Feedback
●Training
●Transparency
●Documentation

29. Principes
●Préparation
●Organisation
●Prévention
●Responsabilité
●Partenariat
●Priorétiser
●Mesures de
Performance
●Optimisation
●Feedback
●Formation
●Transparence
●Documentation

30. Principles
●Planning
●Organizing
●Prevention
●Responsibility
●Partnership
●Prioritisation
●Performance measures
●Optimization
●Feedback
●Training
●Transparency
●Documentation

31. Principes
●Préparation
●Organisation
●Prévention
●Responsabilité
●Partenariat
●Priorétiser
●Mesures de
Performance
●Optimisation
●Feedback
●Formation
●Transparence
●Documentation

32. Principles
●Planning
●Organizing
●Prevention
●Responsibility
●Partnership
●Prioritisation
●Performance measures
●Optimization
●Feedback
●Training
●Transparency
●Documentation

33. Principes
●Préparation
●Organisation
●Prévention
●Responsabilité
●Partenariat
●Priorétiser
●Mesures de
Performance
●Optimisation
●Feedback
●Formation
●Transparence
●Documentation

34. 24 AUGUST 2016
THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Data Cleaning
Néstor Beltrán