CONNECT. TRANSFORM. AUTOMATE.
Validation et Contrôle qualité
des données avec FME
Bruno De Lat
Ingenieur Geodata et chef d...
CONNECT. TRANSFORM. AUTOMATE.
Contenu
 Pourquoi valider et contrôler les données?
 Que peut-on contrôler?
 Schéma (Modè...
CONNECT. TRANSFORM. AUTOMATE.
Pourquoi valider et contrôler
les données?
 De mauvaises données peuvent avoir des conséque...
CONNECT. TRANSFORM. AUTOMATE.
Pourquoi valider et contrôler
les données?
 FME Desktop et FME Server sont des outils
puiss...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Schéma (Modèle de données)
 Valeurs des attributs
 Géométrie
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Schéma
 Type d’entité
 Présence d’un attribut
 Nom de l’attribut...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Schéma
Contrôle du Schéma– Principales ressources
 Schema (Any For...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Schéma
Schema(Any Format) Reader
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Schéma
FeatureTypeFilter
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Schéma
StatisticsCalculator
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Schéma
AttributeClassifier
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Schéma
XMLValidator
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Schéma
JSONValidator
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Valeurs des attributs
 Valeurs des attributs
 Présence de l’attri...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Valeurs des attributs
Valeurs des attributs – Principales ressource...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
Valeurs des attributs
Tester
TestFilter
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
Valeurs des attributs
NullAttributeMapper
 Lire différents ‘types’...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
Valeurs des attributs
DuplicateRemover
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Géométrie en 2D et 3D
 Intersections
 Orientation
 Sommets (vert...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Géométrie
Géométrie – Principales ressources
 GeometryValidator
 ...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Géométrie
GeometryValidator
 12 tests (encore plus de tests dans l...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Géométrie
GeometryValidator
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Géométrie
GeometryFilter
 Nouveau style dans FME 2014
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Géométrie
Matcher
 Combinaison de la géométrie et des attributs
 ...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Géométrie
SpatialFilter
 Examine toutes les relations spatiales po...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Géométrie
SliverRemover
 Identifie et corrige les trous ou les sup...
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
 Géométrie
SpikeRemover
 Identifie et corrige ‘spikes’ (pic)
 Angl...
CONNECT. TRANSFORM. AUTOMATE.
Workflow de Validation avec
FME Desktop et FME Server
 FME Workbench:
 Règles de validatio...
CONNECT. TRANSFORM. AUTOMATE.
Workflow de validation avec
FME Server
 Input data via
 email
 téléchargement
 directory...
CONNECT. TRANSFORM. AUTOMATE.
Exemples
 Statistique des erreurs dans Excel
CONNECT. TRANSFORM. AUTOMATE.
Exemples
 Statistique des erreur en HMTL
CONNECT. TRANSFORM. AUTOMATE.
Exemples
 Location des erreurs
 Message
CONNECT. TRANSFORM. AUTOMATE.
Exemple: Workflow avec FME
Server
User/Editor
using ArcGIS
FME Server
Download MyData
Valida...
CONNECT. TRANSFORM. AUTOMATE.
Centre de formation de GIM
Qualité des géodonnées
 Théorie (Matin)
 Introduction: Aperçu d...
CONNECT. TRANSFORM. AUTOMATE.
Résumé
 La qualité des géodonnées est importante!
 FME est idéal pour détecter les erreurs...
CONNECT. TRANSFORM. AUTOMATE.
Merci!
 Des Questions?
 Pour plus d’informations:
 Bruno De Lat
 bruno.delat@gim.be
 GI...
Prochain SlideShare
Chargement dans…5
×

FME WT 2014: (FR) Validation et controle qualité des géodonnées

546 vues

Publié le

Presentation on FME World Tour 2014 in Namur hosted by GIM.
Quality Control and validation of geodata
(FRENCH)

Publié dans : Logiciels
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
546
Sur SlideShare
0
Issues des intégrations
0
Intégrations
6
Actions
Partages
0
Téléchargements
18
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

FME WT 2014: (FR) Validation et controle qualité des géodonnées

  1. 1. CONNECT. TRANSFORM. AUTOMATE. Validation et Contrôle qualité des données avec FME Bruno De Lat Ingenieur Geodata et chef de projet GIS
  2. 2. CONNECT. TRANSFORM. AUTOMATE. Contenu  Pourquoi valider et contrôler les données?  Que peut-on contrôler?  Schéma (Modèle de données)  Valeurs des attributs  Géométrie  Workflow de Validation avec FME Desktop et FME Server  Exemples
  3. 3. CONNECT. TRANSFORM. AUTOMATE. Pourquoi valider et contrôler les données?  De mauvaises données peuvent avoir des conséquences importantes (financières, humaines, planification)
  4. 4. CONNECT. TRANSFORM. AUTOMATE. Pourquoi valider et contrôler les données?  FME Desktop et FME Server sont des outils puissants pour contrôler les données et fournir un feedback.  Beaucoup d’utilisateurs de FME utilisent FME pour la validation et le contrôle qualité des données.
  5. 5. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Schéma (Modèle de données)  Valeurs des attributs  Géométrie
  6. 6. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Schéma  Type d’entité  Présence d’un attribut  Nom de l’attribut  Type de données attributaires  Système de coordonnées
  7. 7. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Schéma Contrôle du Schéma– Principales ressources  Schema (Any Format) Reader  FeatureTypeFilter  StatisticsCalculator  AttributeClassifier  XMLValidator  JSONValidator
  8. 8. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Schéma Schema(Any Format) Reader
  9. 9. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Schéma FeatureTypeFilter
  10. 10. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Schéma StatisticsCalculator
  11. 11. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Schéma AttributeClassifier
  12. 12. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Schéma XMLValidator
  13. 13. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Schéma JSONValidator
  14. 14. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Valeurs des attributs  Valeurs des attributs  Présence de l’attribut  Type de données (numérique, alpha etc)  Valeur dans une plage ([min – max])  Pas de doublons
  15. 15. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Valeurs des attributs Valeurs des attributs – Principales ressources  Tester and TestFilter  AttributeClassifier  AttributeRangeFilter & AttributeFilter  NullAttributeMapper  Matcher  DuplicateRemover  StringSearcher  StatisticsCalculator
  16. 16. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler? Valeurs des attributs Tester TestFilter
  17. 17. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler? Valeurs des attributs NullAttributeMapper  Lire différents ‘types’ de valeurs NULL  Ecrire différents ‘types’ de valeurs NULL
  18. 18. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler? Valeurs des attributs DuplicateRemover
  19. 19. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Géométrie en 2D et 3D  Intersections  Orientation  Sommets (vertex) en double  Géométrie invalide  etc
  20. 20. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Géométrie Géométrie – Principales ressources  GeometryValidator  GeometryFilter  Matcher  SpatialFilter  SliverRemover & SpikeRemover  AreaCalculator & LengthCalculator  OrientationExtractor
  21. 21. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Géométrie GeometryValidator  12 tests (encore plus de tests dans les prochaines versions)  Intégration d’anciens transformers (SelfIntersector)  Vérifier (Check) et réparer (Repair)
  22. 22. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Géométrie GeometryValidator
  23. 23. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Géométrie GeometryFilter  Nouveau style dans FME 2014
  24. 24. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Géométrie Matcher  Combinaison de la géométrie et des attributs  Y compris avec une tolérance pour les vertex intermédiaires
  25. 25. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Géométrie SpatialFilter  Examine toutes les relations spatiales possibles
  26. 26. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Géométrie SliverRemover  Identifie et corrige les trous ou les superpositions de données
  27. 27. CONNECT. TRANSFORM. AUTOMATE. Que peut-on contrôler?  Géométrie SpikeRemover  Identifie et corrige ‘spikes’ (pic)  Angle maximum des ‘spikes’ (pic)
  28. 28. CONNECT. TRANSFORM. AUTOMATE. Workflow de Validation avec FME Desktop et FME Server  FME Workbench:  Règles de validation  Tester sur ou plusieurs problèmes  Corrections  Automatique vs Manuel  Writers  Rapport avec les statistiques des erreurs  Fichier géographique avec la localisation des erreurs et un message détaillé  Desktop = Travail en local
  29. 29. CONNECT. TRANSFORM. AUTOMATE. Workflow de validation avec FME Server  Input data via  email  téléchargement  directory watcher (notifie FME Server quand un fichier est ajouté à un dossier)  Taches planifiées  Les résultats et les rapports sont envoyés par email, download, navigateur, FTP…  Totalement automatique  Les utilisateurs ne doivent pas avoir de connaissances, ni de licence FME
  30. 30. CONNECT. TRANSFORM. AUTOMATE. Exemples  Statistique des erreurs dans Excel
  31. 31. CONNECT. TRANSFORM. AUTOMATE. Exemples  Statistique des erreur en HMTL
  32. 32. CONNECT. TRANSFORM. AUTOMATE. Exemples  Location des erreurs  Message
  33. 33. CONNECT. TRANSFORM. AUTOMATE. Exemple: Workflow avec FME Server User/Editor using ArcGIS FME Server Download MyData Validate MyData Upload MyData Extract & Lock Upload & Unlock User uses web interface to interact with FME Author using FME Desktop to model Validated data Data being edited Data editor environment FME Author environment Publish Workbench to FME Server Data to be edited Data ready for upload Database Server PC Citrix Network Disk Query Server administrator monitoring FME server No Yes Log file AWIS Informix Spatial Datablade Productie AWIS Informix Spatial Datablade Staging ETL Cancel Download
  34. 34. CONNECT. TRANSFORM. AUTOMATE. Centre de formation de GIM Qualité des géodonnées  Théorie (Matin)  Introduction: Aperçu de la qualité des géodonnées  Sources d’erreurs possibles et comment les éviter  Comment construire des géodonnées de qualité  Fixer les normes de qualité  Les techniques de contrôle de la qualité  Pratique (Après-midi)  Session A: ArcGIS  Session B: FME  Où et Quand?  Mardi 27 mai 2014 en néerlandais (Heverlee)  Mercredi 19 novembre 2014 en néerlandais (Heverlee)
  35. 35. CONNECT. TRANSFORM. AUTOMATE. Résumé  La qualité des géodonnées est importante!  FME est idéal pour détecter les erreurs  FME est idéal pour corriger les erreurs
  36. 36. CONNECT. TRANSFORM. AUTOMATE. Merci!  Des Questions?  Pour plus d’informations:  Bruno De Lat  bruno.delat@gim.be  GIM  http://www.gim.be

×