FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data

CONNECT. TRANSFORM. AUTOMATE.
Validatie en kwaliteitscontrole
met FME
Bruno De Lat
Geodata Ingenieur en GIS Project Manager

Inhoud
 Waarom validatie en kwaliteitscontrole?
 Wat kan er gecontroleerd worden?
 Schema
 Attribuut-waarden
 Geometrie
 Validatie workflow met FME Desktop en FME
Server
 Voorbeelden

Waarom validatie en
kwaliteitscontrole?
 Slechte data kosten tijd, geld en soms zelfs
levens.

Waarom validatie en
kwaliteitscontrole?
 FME Desktop en FME Server zijn krachtige tools
om data te controleren en feedback te geven
 Zeer veel FME gebruikers gebruiken FME voor
validatie- en kwaliteitscontrole

Wat kan gecontroleerd
worden?
 Schema
 Feature Type naam
 Attribuut aanwezigheid
 Attribuut naam
 Attribute data type
 Coördinatensysteem

worden?  Schema
Schema controle – Voornaamste middelen
 Schema (Any Format) Reader
 FeatureTypeFilter
 StatisticsCalculator
 AttributeClassifier
 XMLValidator
 JSONValidator

worden?  Schema
Schema (Any Format) Reader

worden?  Schema
FeatureTypeFilter

worden?  Schema
StatisticsCalculator

worden?  Schema
AttributeClassifier

worden?  Schema
XMLValidator

worden?  Schema
JSONValidator

worden?  Attribuutwaarden
 Attribuutwaarden
 Aanwezigheid attribuut
 Data Type (numeric, alpha etc)
 Waarde in een range
 Geen duplicaten

worden?  Attribuutwaarden
Attribuutwaarden – Voornaamste middelen
 Tester and TestFilter
 AttributeClassifier
 AttributeRangeFilter & AttributeFilter
 NullAttributeMapper
 Matcher
 DuplicateRemover
 StringSearcher
 StatisticsCalculator

worden? Attribuutwaarden
Tester
TestFilter

NullAttributeMapper
 Lees verschillende ‘types’ van NULL values
 Schrijf verschillende ‘types’ van NULL values

DuplicateRemover

worden?
 Geometrie in 2D en 3D
 Intersecties
 Orientatie
 Duplicate vertices
 Ongeldige geometrie
 etc

worden?  Geometrie
Geometrie – Voornaamste middelen
 GeometryValidator
 GeometryFilter
 Matcher
 SpatialFilter
 SliverRemover & SpikeRemover
 AreaCalculator & LengthCalculator
 OrientationExtractor

GeometryValidator
 12 testen (meer verwacht in volgende versies)
 Integratie oude transformers (SelfIntersector)
 Check & Repair

GeometryValidator

GeometryFilter
 Nieuwe stijl in FME 2014

Matcher
 Combinatie geometrie en attributen
 Inclusief vertex toleranties

SpatialFilter
 Alle mogelijke ruimtelijke relaties nagaan

SliverRemover
 Opsporen en oplossen van slivers

SpikeRemover
 Opsporen en oplossen van Spikes
 Maximum Spike Angle

Validatie Workflow met FME
Desktop
 FME Workbench:
 Validatieregels
 Testen op 1 of meerdere problemen
 Correcties
 Automatisch vs Manueel
 Writers
 Rapport met statistieken van fouten
 Geografisch bestand met locatie van fouten en detail-
melding
 Desktop = Lokaal gebruik

Validatie Workflow met FME
Server
 Input data via
 email
 upload
 directory watcher
 scheduled task
 Resultaten en rapport aanbieden via email, data
download, browers, FTP,…
 Volledig automatisch
 Gebruiker moet geen FME-kennis & licentie
hebben

Voorbeelden
 Statistieken van fouten in Excel

Voorbeelden
 Statistieken van fouten in HMTL

Voorbeelden
 Locatie van fouten
 Detailmelding van fout

Voorbeelden: Workflow met
FME Server
User/Editor
using ArcGIS
FME Server
Download MyData
Validate MyData
Upload MyData
Extract & Lock
Upload & Unlock
User uses web interface to
interact with FME
Author using FME Desktop to model
Validated
data
Data
being edited
Data editor environment
FME Author environment
Publish Workbench
to FME Server
Data
to be edited
Data ready
for upload
Database Server
PC
Citrix
Network Disk
Query
Server administrator
monitoring FME server
No
Yes
Log file
AWIS
Informix
Spatial Datablade
Productie
AWIS
Informix
Spatial Datablade
Staging
ETL
Cancel Download

GIM Training Centre:
Kwaliteitsaspecten van Geodata
 Theorie (Voormiddag)
 Inleiding: Overzicht kwaliteitsaspecten van geodata
 Mogelijke foutenbronnen en hoe ze te vermijden
 Hoe kwaliteitsvolle geodata opbouwen
 Vastleggen van een kwaliteitsnorm
 Kwaliteitscontrole-technieken
 Praktijk (Namiddag)
 Sessie A: ArcGIS
 Sessie B: FME
 Waar en Wanneer?
 Dinsdag 27 mei 2014 (Heverlee)
 Woensdag 19 november 2014 (Heverlee)

Samenvatting
 Kwaliteit van geodata is belangrijk!
 FME is uitstekend geschikt om fouten op te
sporen
 FME is uitstekend geschikt om fouten te
corrigeren.

Dank u!
 Vragen?
 Voor meer informatie:
 Bruno De Lat
 bruno.delat@gim.be
 GIM
 http://www.gim.be

FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

Similaire à FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data

Similaire à FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data (17)

Plus de GIM_nv

Plus de GIM_nv (20)

FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data