Presentation for a practical/theoretical session focused on easy to use tools to validate and clean datasets in three main categories: nomenclatural, format, and geographical. --- Présentation pour une session pratique/théorique centrée sur des outils faciles d’utilisation pour valider et nettoyer les jeux de données dans trois catégories : nomenclature, format, et information géographique.

1. Auguest 24th, 2016
THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Other data management tools
Nicolas Noé

2. Auguest 24th, 2016
THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Autres outils de gestion de
données Nicolas Noé

3. Rationale
●You NEED someone in the team who’s
comfortable with data manipulation:
• Real-world data = messy
• Transformations are always needed
• Automate!
●Cleaning but also other transformations
Rationale

4. Justification
●Importance d’avoir au moins une personne à l’aise
avec la manipulation de données:
• Données réelles = désordonnées
• Des transformations sont toujours nécessaires
• Automatisation!
●Nettoyage des données, mais pas seulement
Justification

5. Pre-workshop activity: results
• https://docs.google.com/spreadsheets/d/1QtV4z
45pgvbAyM_ibKTW5bK1BOipqpfRpCd_o29TSi
4/edit#gid=0
Pre-workshop

6. Sondage pré-atelier: résultats
• https://docs.google.com/spreadsheets/d/1QtV4z
45pgvbAyM_ibKTW5bK1BOipqpfRpCd_o29TSi
4/edit#gid=0
Pré-atelier

7. Strengths and weaknesses
• Price, availability, license, …
• Ease of use
• Documentation and support
• Flexibility
• Performance
• Technical requirements
• Automation
• ...
Toolchoice

8. Forces et faiblesses
• Prix, disponibilité, license, ...
• Facilité d’utilisation
• Documentation et support
• Flexibilité
• Performances
• Besoins techniques
• Automatisation
• ...
Sélectiond’outil

9. Build your own palette of tools!
This is not a recipe

10. Créez votre propre palette d’outils !
Pas de “recette toute
faite”

11. Exchange format: CSV, TSV, *SV
• What is it?
• Separators
• Encoding
• Demo!
Format

12. Format d’échange: CSV, TSV, *SV
• De quoi s’agit-il
• Separateurs
• Encodage
• Demonstration
Format

13. CSV tips
●When creating the file:
• Document options used
• Encoding: use UTF-8
●When opening external file: try different options
and check the results.
CSVformat

14. Trucs et astuces CSV
●A la création du fichier:
• Documentation sur
• Encodage: UTF-8
●A l’utilisation: essayez différentes options et
valider.
FormatCSV

15. - MDB ACCDB
Viewer
- CSV files
- ...
Tools
Step 0: Out of MS-Access

16. - MDB ACCDB
Viewer
- Fichiers CSV
- ...
Outils
Etape 0: Exporter depuis MS-Access

17. Step 1: SQLite
- A complete lightweight relational
database
- Free and Open Source
Tools

18. Etape 1: SQLite
- Un moteur de base de données
relationnelle complet
- Gratuir et Open Source
Outils

19. Step 2: LibreOffice
Tools
Learn how to use advanced spreadsheet features!

20. Etape 2: LibreOffice
Outils
Utilisez les fonctions avancées du tableur !

21. Step 3: QGIS
- General use Desktop GIS solution
- For transformation, analysis,
visualisation, cleaning, ...
Tools

22. Etape 3: QGIS
- Solution SIG Desktop complète et
généraliste
- Pour transformations, analyse,
visualisation, nettoyage, ...
Outils

23. Step 4: Scripting
Tools

24. Etape 4: Scripts
Outils

25. Specialised tools
- Nomenclature:
• ECAT Name Parser: http://tools.gbif.org/nameparser/parser.do
• TNRS: http://tnrs.iplantcollaborative.org/index.html
- Geography:
• Info XY: http://splink.cria.org.br/infoxy?criaLANG=en
• Canadensys coordinates conversion:
http://data.canadensys.net/tools/coordinates
• GPS Visualizer: http://www.gpsvisualizer.com/
Tools

26. Outils spécialisés
- Nomenclature:
• ECAT Name Parser: http://tools.gbif.org/nameparser/parser.do
• TNRS: http://tnrs.iplantcollaborative.org/index.html
• http://splink.cria.org.br/infoxy?criaLANG=en
- Geographie:
• Info XY: http://splink.cria.org.br/infoxy?criaLANG=en
• Canadensys coordinates conversion:
http://data.canadensys.net/tools/coordinates
• GPS Visualizer: http://www.gpsvisualizer.com/
Outils

27. Data sources
- www.naturalearthdata.com
- http://www.diva-gis.org/Data
- Biodiversity data already at GBIF
- OpenStreetMap
- Catalog of Life annual checklist
Datasources

28. Sources de données
- www.naturalearthdata.com
- http://www.diva-gis.org/Data
- Biodiversity data already at GBIF
- OpenStreetMap
- Catalog of Life annual checklist
Sourcesdedonnées

29. Demo!

30. Exercise!

31. Auguest 24th, 2016
THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Other data management tools
Nicolas Noé

32. Auguest 24th, 2016
THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Autres outils de gestion de
données Nicolas Noé