Ken Bragg: introduction and getting started with FME 2017GIM_nv
This document provides an overview of new features in FME 2017 including more connectors to additional data formats, powerful new transformers for data transformation, improvements to the data inspector for exploring data, enhanced automation capabilities through FME Server, and the new FME Cloud platform for running workflows in the cloud. The presentation aims to demonstrate how FME 2017 can help users more easily connect systems, transform data, automate workflows, and inspect data.
FME World Tour: The difficulties of a simple trail networkGIM_nv
This document discusses the challenges of aggregating recreational trail data from five provincial sources in Flanders into a single network. Each province had its own data model, IDs, and inconsistencies, making manual merging error-prone. VisitFlanders implemented an automated solution using FME Server to normalize, match IDs, validate topology, and generate delta files hourly from the source data. This improved data quality and ensured an up-to-date trail network for the whole region.
Ken Bragg: introduction and getting started with FME 2017GIM_nv
This document provides an overview of new features in FME 2017 including more connectors to additional data formats, powerful new transformers for data transformation, improvements to the data inspector for exploring data, enhanced automation capabilities through FME Server, and the new FME Cloud platform for running workflows in the cloud. The presentation aims to demonstrate how FME 2017 can help users more easily connect systems, transform data, automate workflows, and inspect data.
FME World Tour: The difficulties of a simple trail networkGIM_nv
This document discusses the challenges of aggregating recreational trail data from five provincial sources in Flanders into a single network. Each province had its own data model, IDs, and inconsistencies, making manual merging error-prone. VisitFlanders implemented an automated solution using FME Server to normalize, match IDs, validate topology, and generate delta files hourly from the source data. This improved data quality and ensured an up-to-date trail network for the whole region.
This document discusses four potions or methods for batch data processing large datasets: 1) Wildcards, 2) Batch Deploy, 3) Parent/Child Workspaces, and 4) Parent/Child Server Workspaces. Wildcards provide simple setup but have limitations. Batch Deploy scripts are also simple but have log and error handling issues. Parent/Child Workspaces separate transformations from workflows but can be slow. Parent/Child Server Workspaces leverage parallelism for speed but require data accessibility to server engines. In summary, each potion has tradeoffs; FME Server is recommended for robust automation.
Proximus managing its location master database with FMEGIM_nv
Proximus is managing its Location Master Database (LoM) with FME software to support the rollout of its fiber network in Belgium. FME is used to transform location data from the Belmap model containing over 150 tables to the Proximus model containing over 200 tables. It is also used for daily delta loads and to generate input maps for the high level network design tool FiberPlanIT. FME includes 109 workspaces to perform the data transformations between the two database models.
Toveren met FME bij het Departement Leefmilieu, Natuur en Energie van de Vlaa...GIM_nv
The document discusses several challenges faced by the Flemish Environment, Nature and Energy Department regarding Seveso establishments in the Port of Antwerp, developing wind turbines, and analyzing risks of transporting dangerous substances by motorways, railways, waterways and pipelines. It promotes the use of FME software to help solve complex spatial data challenges and automatically process and combine data using various transformers.
FME World Tour 2016: Your Data in Motion (Safe Software)GIM_nv
This document provides an agenda and overview of new features for FME 2016. Some key points:
- FME 2016 adds support for new data formats including SAP HANA, Denodo, Adobe PRC, IndoorGML, and Cesium point clouds.
- New transformers in FME 2016 include AttributeManager, CenterPointExtractor, DuplicateFilter, Kinesis connectors, and HTML generators.
- Attribute Magic demos will showcase powerful data transformations.
- The upgraded FME Workbench provides a more streamlined interface for workflow creation.
- FeatureReader and FeatureWriter transformers allow reading and writing data within a workspace for more flexible workflows.
FME World Tour 2016: INSPIRE data harmonisation with FME (GIM)GIM_nv
This document discusses the INSPIRE Directive, which aims to create a European Union spatial data infrastructure. It seeks to harmonize geographic data across borders by establishing common data specifications. The summary discusses how FME software can help organizations collect, harmonize, and share geospatial data to comply with INSPIRE standards by automating workflows for data transformation, quality checks, and publishing services. FME offers a no-code solution to help manage complex INSPIRE data mapping and prepare data to be discoverable and usable across Europe.
FME World Tour 2015: (FR) Validation 2D et 3DGIM_nv
Le Centre d’Informatique pour la Région Bruxelloise a attribué un marché pluriannuel (2014-2016) au consortium Aerodata-Avineon pour la correction et la mise à jour de la couche des bâtiments 2D et 3D. Des contrôles ont été développés par GIM avec l’aide de FME pour vérifier le niveau de qualité des données fourni.
Contact:
Defrance Sébastien – sdefrance@cirb.brussels
Centre d’Informatique pour la Région Bruxelloise
Implementing a Simple Web Application with FME ServerSafe Software
The document describes how the City of Austin used FME Server to automate their zoning verification process. Previously, zoning verifications took staff 1-2 hours each to complete manually. With FME Server, they built workspaces to lookup zoning data, generate PDF reports, and create a web application. This reduced processing time to around 15 minutes while improving accuracy and allowing customers to request verifications online. Future improvements could include public access and integrating with other city applications.
Este documento presenta un manual para el uso del programa ERDAS Imagine 2011 para realizar prácticas de percepción remota. Explica las diferentes pestañas y herramientas del programa y guía al usuario a través de ejercicios como descargar imágenes satelitales gratuitas del USGS y familiarizarse con la interfaz del software. El objetivo final es que los estudiantes aprendan a procesar y analizar imágenes digitales utilizando ERDAS Imagine.
Presentation by David McChesney of ESRI CANADA on its Community Maps Program. Delivered at the Water and Environmental Hub track of the 2011 Cybera Summit.
An Academic SDI: Introducing the Enhanced Kaia Geoportal & Learning ZoneGail Millin-Chalabi
The presentation outlined enhancements to the Kaia Geoportal and Learning Zone, which provide access to geospatial data and educational resources for UK academics. Key points included: (1) Improving the user experience of the Kaia Geoportal. (2) Expanding the Learning Zone to include additional courses and open educational content. (3) Promoting Spatial Science for Schools and other new educational resources. The goal is to continue enhancing access to high quality spatial data and learning materials for the UK academic community.
The document describes the development of poll map templates to allow users to vote on topics and display the results geographically. It outlines the conceptual planning, design, and implementation of poll maps for specific events like the Super Bowl and basketball games. This includes designing the user interface, developing the architecture using multiple servers, and deploying the application on Amazon Web Services. The goal is to create a reusable poll map template that can be configured for different polling questions, maps, and data.
"3D Printing - 3D Mapping". Lecture at Aristotelian University of Thessalonik...Charalampos Paraschou
The document is a 48 slide presentation on 3D mapping technologies and 3D printing given to NATO Deployable Corps - Greece Headquarters (NDC-GR HQ). The presentation discusses using ERDAS software to create 3D anaglyph maps and stereo models from oblique air photos. It also covers 3D map printers and includes a proposal for new geospatial tools. The presentation provides step-by-step instructions on using ERDAS commercial software to generate stereo models from oblique aerial photographs.
Présentation du FME World Tour du 12 avril 2017 à MontrealGuillaume Genest
Présentation de l'événement FME World Tour 2017 qui a eu lieu le 12 avril 2017 à Montréal. Découvrez les nouveautés de FME 2017 et FME Server 2017. Voyez les trucs et astuces pour optimiser la performance de vos workbench, une solution pour comparer des workspaces ensemble, un portail de chargement et téléchargement de données avec FME Server ainsi que des outils de validation et correction topologique.
This document discusses four potions or methods for batch data processing large datasets: 1) Wildcards, 2) Batch Deploy, 3) Parent/Child Workspaces, and 4) Parent/Child Server Workspaces. Wildcards provide simple setup but have limitations. Batch Deploy scripts are also simple but have log and error handling issues. Parent/Child Workspaces separate transformations from workflows but can be slow. Parent/Child Server Workspaces leverage parallelism for speed but require data accessibility to server engines. In summary, each potion has tradeoffs; FME Server is recommended for robust automation.
Proximus managing its location master database with FMEGIM_nv
Proximus is managing its Location Master Database (LoM) with FME software to support the rollout of its fiber network in Belgium. FME is used to transform location data from the Belmap model containing over 150 tables to the Proximus model containing over 200 tables. It is also used for daily delta loads and to generate input maps for the high level network design tool FiberPlanIT. FME includes 109 workspaces to perform the data transformations between the two database models.
Toveren met FME bij het Departement Leefmilieu, Natuur en Energie van de Vlaa...GIM_nv
The document discusses several challenges faced by the Flemish Environment, Nature and Energy Department regarding Seveso establishments in the Port of Antwerp, developing wind turbines, and analyzing risks of transporting dangerous substances by motorways, railways, waterways and pipelines. It promotes the use of FME software to help solve complex spatial data challenges and automatically process and combine data using various transformers.
FME World Tour 2016: Your Data in Motion (Safe Software)GIM_nv
This document provides an agenda and overview of new features for FME 2016. Some key points:
- FME 2016 adds support for new data formats including SAP HANA, Denodo, Adobe PRC, IndoorGML, and Cesium point clouds.
- New transformers in FME 2016 include AttributeManager, CenterPointExtractor, DuplicateFilter, Kinesis connectors, and HTML generators.
- Attribute Magic demos will showcase powerful data transformations.
- The upgraded FME Workbench provides a more streamlined interface for workflow creation.
- FeatureReader and FeatureWriter transformers allow reading and writing data within a workspace for more flexible workflows.
FME World Tour 2016: INSPIRE data harmonisation with FME (GIM)GIM_nv
This document discusses the INSPIRE Directive, which aims to create a European Union spatial data infrastructure. It seeks to harmonize geographic data across borders by establishing common data specifications. The summary discusses how FME software can help organizations collect, harmonize, and share geospatial data to comply with INSPIRE standards by automating workflows for data transformation, quality checks, and publishing services. FME offers a no-code solution to help manage complex INSPIRE data mapping and prepare data to be discoverable and usable across Europe.
FME World Tour 2015: (FR) Validation 2D et 3DGIM_nv
Le Centre d’Informatique pour la Région Bruxelloise a attribué un marché pluriannuel (2014-2016) au consortium Aerodata-Avineon pour la correction et la mise à jour de la couche des bâtiments 2D et 3D. Des contrôles ont été développés par GIM avec l’aide de FME pour vérifier le niveau de qualité des données fourni.
Contact:
Defrance Sébastien – sdefrance@cirb.brussels
Centre d’Informatique pour la Région Bruxelloise
Implementing a Simple Web Application with FME ServerSafe Software
The document describes how the City of Austin used FME Server to automate their zoning verification process. Previously, zoning verifications took staff 1-2 hours each to complete manually. With FME Server, they built workspaces to lookup zoning data, generate PDF reports, and create a web application. This reduced processing time to around 15 minutes while improving accuracy and allowing customers to request verifications online. Future improvements could include public access and integrating with other city applications.
Este documento presenta un manual para el uso del programa ERDAS Imagine 2011 para realizar prácticas de percepción remota. Explica las diferentes pestañas y herramientas del programa y guía al usuario a través de ejercicios como descargar imágenes satelitales gratuitas del USGS y familiarizarse con la interfaz del software. El objetivo final es que los estudiantes aprendan a procesar y analizar imágenes digitales utilizando ERDAS Imagine.
Presentation by David McChesney of ESRI CANADA on its Community Maps Program. Delivered at the Water and Environmental Hub track of the 2011 Cybera Summit.
An Academic SDI: Introducing the Enhanced Kaia Geoportal & Learning ZoneGail Millin-Chalabi
The presentation outlined enhancements to the Kaia Geoportal and Learning Zone, which provide access to geospatial data and educational resources for UK academics. Key points included: (1) Improving the user experience of the Kaia Geoportal. (2) Expanding the Learning Zone to include additional courses and open educational content. (3) Promoting Spatial Science for Schools and other new educational resources. The goal is to continue enhancing access to high quality spatial data and learning materials for the UK academic community.
The document describes the development of poll map templates to allow users to vote on topics and display the results geographically. It outlines the conceptual planning, design, and implementation of poll maps for specific events like the Super Bowl and basketball games. This includes designing the user interface, developing the architecture using multiple servers, and deploying the application on Amazon Web Services. The goal is to create a reusable poll map template that can be configured for different polling questions, maps, and data.
"3D Printing - 3D Mapping". Lecture at Aristotelian University of Thessalonik...Charalampos Paraschou
The document is a 48 slide presentation on 3D mapping technologies and 3D printing given to NATO Deployable Corps - Greece Headquarters (NDC-GR HQ). The presentation discusses using ERDAS software to create 3D anaglyph maps and stereo models from oblique air photos. It also covers 3D map printers and includes a proposal for new geospatial tools. The presentation provides step-by-step instructions on using ERDAS commercial software to generate stereo models from oblique aerial photographs.
Présentation du FME World Tour du 12 avril 2017 à MontrealGuillaume Genest
Présentation de l'événement FME World Tour 2017 qui a eu lieu le 12 avril 2017 à Montréal. Découvrez les nouveautés de FME 2017 et FME Server 2017. Voyez les trucs et astuces pour optimiser la performance de vos workbench, une solution pour comparer des workspaces ensemble, un portail de chargement et téléchargement de données avec FME Server ainsi que des outils de validation et correction topologique.
Système d’Information à l’Apec : un nouveau coeur de métier mis en place avec...Ippon
L'Apec a fait confiance à Ippon et Jahia pour mener à bien son projet de refonte de l’architecture applicative ainsi que de la partie Hardware, projet d’envergure qui dura 14 mois.
Bruno Lamard, Directeur des Systèmes d’informations de l’APEC, nous a fait l’honneur de partager son retour d’expérience, lors d’une rencontre le 12 Janvier 2016
Au cours de cette session, nous plongerons avec vous dans le quotidien d’une startup qui vient de se lancer sur le Net.
Alors que les premiers utilisateurs affluent vers ses serveurs, l’équipe se retrouve confrontée à ses premiers problèmes de performance. Le prix du succès… ! Nous verrons avec eux comment simuler une arrivée massive d’utilisateurs pour “stresser” leur plateforme. Nous utiliserons les outils d’APM pour monitorer les serveurs et applications Java mais aussi évaluer l’expérience utilisateur. Enfin, nous proposerons une démarche et des outils pour tester la performance en continue.
Avec de nombreuses démos en live, cette session en français s’adresse aux développeurs, architectes et décideurs sur les projets IT.
Animé avec Landry DEFO KUATE (OCTO)
Alan Poe appliqué au data streaming - toutes choses sont bonnes ou mauvaises ...Julien Cognet
J'ai eu l'occasion de mettre en œuvre :
- 4 solutions techniques différentes de data streaming (Apache Nifi, Apache Flink, Apache Spark Streaming et Apache Kafka Streams)
- 3 solutions de stockage de forte volumétrie (Apache Cassandra, TimescaleDB et Oracle DB)
- sur 3 projets différents de télécollecte IoT et de traitements de données Big Data.
Cela représente 8 ans de recul sur le traitement de données de forte volumétrie. Cette expérience s'est construite "grâce" à des dizaines de problèmes de performances, de cohérence des données, d'engorgement de nos systèmes distribués... J'ai donc de belles histoires techniques à vous raconter sur le pire et le meilleur de ces différentes solutions. Vous voulez savoir quelle est la meilleure et celle que je vous recommande ? Je suis sûr que vous connaissez la réponse courte "ça dépend". Pour la réponse longue, consultez nous...
Denodo, pilier central de votre stratégie APIDenodo
https://bit.ly/2TGvsG9
L'une des idées fondamentales derrière la virtualisation des données est le découplage des sources de données avec les méthodes de consommation. Pourquoi le besoin en requêtes de données dans JSON sur HTTP devrait-il nécessiter du développement supplémentaire? Denodo fournit un accès immédiat à ses ensembles de données via REST, OData 4, GeoJSON et d'autres protocoles, sans codage requis. Facile à faire évoluer, cloud-compatible et directement intégrable aux plateformes de gestion d'API, Denodo est l'outil idéal pour réussir votre stratégie API !
Dans cette session, nous aborderons les points suivants :
- Le rôle de Denodo dans une stratégie API
- L’intégration entre Denodo et les autres éléments du stack API, comme les plateformes de gestion d'API
- La facilité d'accès à Denodo en tant que fournisseur d’API REST
- Les options avancées des services Web Denodo: authentification via OAuth ou SAML, documentation OpenAPI, capacités géographiques, etc.
C'est un fait, le SIG libre QGIS s'est imposé. Parce qu'il est libre ? oui, certainement, mais pas uniquement ....
Il répond aux besoins et aux contraintes de beaucoup, et nous allons en parler avec quatre intervenants dont les applications métiers tournent avec ou sur QGIS.
- Présentation de QGIS et des interactions possibles avec les guichets (Emmanuel Belo - Camptocamp SA)
- Utilisation de QGIS pour la gestion d'un SIT communal : l'application Géocommunes (Régis Longchamps - BBHN SA)
- Développement d'une application pour la gestion de l'eau (Denis Rouzaud - SIGE)
- Ouvertures sur la communauté QGIS et autres applications métiers (Roger Maurer - Commune de Morges )
Comment passer d'un POC en prod @ plusieurs milliards de rêquetesCarles Sistare
Ogury est la plateforme de data mobile qui permet d’accéder aux données comportementales des profils de plus de 400 millions de mobinautes répartis dans plus de 120 pays. Monter une stack haute fréquence n’est pas facile, David et Carles vous parleront de leur retour d'expérience.
Durant cette présentation, Carles et David vous propose de revivre avec eux l’évolution de l’architecture d’Ogury. D’un POC monolite à une architecture micro-service orienté perf, constituée des 700 instances chez AWS.
Optimisations et Performances d'un POC en prod @ plusieurs milliards de requê...David Caramelo
Ogury est la plateforme de data mobile qui permet d’accéder aux données comportementales des profils de plus de 400 millions de mobinautes répartis dans plus de 120 pays. Monter une stack haute fréquence n’est pas facile, David et Carles vous parleront de leur retour d'expérience.
Durant cette présentation, Carles et David vous propose de revivre avec eux l’évolution de l’architecture d’Ogury. D’un POC monolite à une architecture micro-service orienté perf, constituée des 700 instances chez AWS.
David Caramelo, Développeur Craftsman passionné depuis 12 ans, actuellement Tech Lead full stack chez Ogury. David s'est forgé son expérience essentiellement dans des startups parisiennes comme Viadeo ou Ogury et dans des cabinets conseil IT comme Xebia.
Carles Sistaré, Architecte-Développeur dans les clouds, actuellement Tech Lead de la team Delivery et co-fondateur d’Ogury. Carles a évolué dans le monde de la AdTech en passant par Ad4Screen et en tant qu’amateur de l’open-source en tant que commiteur Node-Kafka et créateur du module grpc-promise.
Les grilles transactionnelles, enfin des solutions pour l’informatique de ges...Marc Bojoly
Les grilles transactionnelles, enfin des solutions pour l'informatique de gestion?
En 5 ans les grilles se sont imposée dans quelques niches métiers. Belle revanche pour ce matériel issu de la bureautique qui se pose en alternative aux grands systèmes en faisant le choix de la répartition des calculs. Si le domaine du calcul intensif à révélé les grilles, force est de constater que cet usage très spécialisé en restreint les cas d'usages. Les grilles de données permettent aujourd'hui d'étendre très largement leur champ d'application. Comment fait-on pour répartir du code, de la données, des transactions ? Telles sont les questions que nous souhaitons aborder au travers d'un exemple de traitement bancaire.
Similaire à FME World Tour 2017: les possibilités de FME Desktop et FME Server (20)
Resa is a Belgian gas and electricity distribution system operator that serves over 665,000 consumers across 73 municipalities. It was looking for a solution to help manage its asset data and perform spatial analysis to support network planning and operations. It implemented an FME-based system to import, export, manage, analyze and validate its asset data. The solution allows Resa to perform geometry and topological validation of network data and generate reports on any issues found to improve data quality.
Real-time location tracking with FME Server AutomationsGIM_nv
FME Server can be used to automate data integration workflows by processing continuous data streams and triggering actions in response to events. A demo showed capturing real-time location data from mobile devices using MQTT, map matching the data to calculate bike-to-work incentives, and sending push notifications. FME Server Automations allow defining triggers that start workspaces when new data arrives through protocols like JMS or S3, and actions like running other workspaces. This enables event-driven processing of thousands of messages per second.
Validation and visualization of Revit BIM Models with FMEGIM_nv
This document discusses using FME to convert Revit and CityGML models to Cesium 3D tile formats for visualization. It begins with an overview of Revit and Cesium 3D tiles. It then describes a case study where a Revit model of a nursing home is converted to Cesium and overlaid on top of a CityGML model of Namur, Belgium converted to Cesium tiles. The document outlines the FME workflow used to convert the models and validate the results. Screenshots show the final visualization of the combined models in Cesium.
This document outlines 5 challenges that can be addressed using new features in FME Server 2019. It summarizes each challenge and demonstrates how automations and system events in FME Server can be used to automatically run workspaces when data arrives, run nightly updates on a schedule, orchestrate complex workflows, and notify administrators via email when new users are created. It concludes by listing some of the new features in FME Server 2019 such as FME Server apps, automations, system events, job log filtering, and improved password security rules and user preferences.
This document discusses automating the process of collecting data on planned industrial areas in Flanders using FME. Previously, collecting this data was time-consuming and prone to errors due to manual processes. The new automated process uses FME to scrape data from various government websites and publications using transformers. This allows for daily updates of nearly complete data with no errors or need for interpretation, providing major improvements over the previous manual method.
The document discusses using FME 2019 to help the FME Lizard find a new office location based on specific criteria. It then summarizes the key highlights of FME 2019 Desktop including improved performance, a dark mode, new transformers, readers/writers for additional formats, and the ability to more quickly obtain fixes and new features through FME packages. The document concludes by noting upcoming FME connectors and mobile app capabilities in FME 2019.
BIM-naar-GIS dataverwerking: linken en visualiseren GIM_nv
De juiste informatie uit BIM-modellen kan een grote toegevoegde waarde hebben in het beheer van infrastructuur. Helaas gaat veel informatie verloren gedurende de levenscyclus van een infrastructuurobject. In deze presentatie bekijken we hoe we deze informatie-eilanden kunnen overbruggen door BIM data te linken en te visualiseren. Concreet gaan we in op technieken voor het verwerken van BIM data voor indoor mapping, facility management, issue management, Web visualisatie, en augmented reality apps.
This document discusses automating spatial data sharing between data producers and end users in Wallonia, Belgium. It describes using FME to create an integrated workflow that simplifies data sharing. The workflow validates and transforms data from multiple producers into various formats, then distributes updated data on demand to end users based on their specifications. This automated process saves time by eliminating repetitive manual data distribution tasks.
This document discusses bridging the gap between geographic information systems (GIS) and building information modeling (BIM) to build a sustainable railway network using consistent digital information. It proposes collecting data once at the source and sharing it throughout the asset lifecycle. Current GIS and BIM standards like InfraGML, IFC, and LandXML are examined for integrating railway design data with 3D reality models from lidar scans. The document demonstrates a proof of concept for extracting rail information from point clouds, reading 3D LandXML designs, and comparing plans to reality. It concludes that BIM-GIS integration is relevant for infrastructure and that software like FME can help fill interoperability gaps.
2. 22
FME = ETL spatial
Introduction FME - 2016 - GIM
ETL pour:
▶ Extract:
- Lecture de données sources
- Requête de données
▶ Transform:
- Transformations alphanumériques
et géométriques
- Modification de données
- Validation de données
- Combinaison de données
▶ Load
- Ecriture au format désiré
Spatial pour:
▶ Gestion des géométries et localisation
3. 33
ETL spatial complet
Introduction FME - 2016 - GIM
1. Process
2. Automate
3. Notify
Les défis ETL :
▶ Intégration des systèmes CAD et SIG
▶ Migration de données
▶ Validation et correction de données
▶ Intégration et traitement de données
▶ Automatisation
13. 1313
Composants multi-plateforme
Introduction FME - 2016 - GIM
▶ FME Desktop
▶ Modélisation de processus
▶ Visualisation de données
▶ Traitement de données
▶ FME Server*
▶ WebUI
▶ API REST et SOAP
▶ Intégré dans Active directory
▶ FME Cloud*
▶ FME server sur AWS
▶ Evolutif
▶ Paiement à la consommation
▶ FME Mobile (free app)
▶ Android / iOS API
▶ Report to FME server (location…)
▶ Get notified by FME server
*Uniquement possible en combinaison avec au moins un licence FME desktop
21. 2121
Automate – FME Desktop
Introduction FME - 2016 - GIM
▶ Chaînage de transformer = automatisation de traitements
▶ Requêtes et opérations spatiales
▶ Mapping attributs
▶ Application des règles métiers
▶ Modèles paramétrables et réutilisables
▶ Fonction « prompt and run »
▶ FME Quick translator
▶ Déclenchement par batch
▶ Ecriture en fanout
22. 2222
Automate – FME Desktop
Introduction FME - 2016 - GIM
▶ Exemple
▶ Fonction « Fanout »
Belgian
Railroads
Belgian
Communes Simple model
Simple et rapide!
23. 2323
Automate – FME Desktop
Introduction FME - 2015 - GIM
▶ Chaînage des processus
▶ Utilisation de batch complexes
▶ Utilisation du WorkspaceRunner dans un controler
▶ Utilisation de la class workspace runner en python
24. 2424
Automate – FME Server
Introduction FME - 2016 - GIM
▶ Gestions des tâches
▶ Echéancier, triggers
▶ Gestion des priorités
▶ SOA exposition de webservices
▶ Datastreaming
▶ Temps réel (websocket)
25. 2525
Monitor – Notification (FME Server)
Introduction FME - 2016 - GIM
Notification
▶ Déclenchement suite à un évènement
▶ Message IMAP, SMTP
▶ Message UDP (streaming, xml, JSON)
▶ Message dans un dossier ou FTP (directory
watch)
▶ Suite à l'exécution d'un processus
▶ e-mail, SMS à l'utilisateur
▶ HTTP push
▶ FTP upload
28. 2828
Exemples de projets FME réalisés par GIM
Introduction FME - 2016 - GIM
▶ Validations de données
▶ Projet VMM: Amélioration de la base données
égouttage
▶ Intégration de données
▶ Projet AGIV: Wegenregister
▶ Chargement de données
▶ Projet SPW
29. 2929
Example
Inleiding FME - 2015 - GIM
Valida:ons de données
Projet VMM
AmélioraDon de la base données égouEage
30. 3030
Contrôle Qualité de
données et automatisation
Introduction FME - 2016 - GIM
CONTEXTE
▶ Amélioration de la base données égouttage: VMM -
Vlaamse Milieu Maatschappij (Agence flamande de
l’environnement)
▶ Base de données du réseau d’égouttage
▶ Planification et suivi du traitement de l'eau et des
infrastructures d'assainissement
▶ Dimensionnement en fonction du nbre habitant
→ Traitement de données CAD
→ Stockage dans la base de données spatiales
AWIS (Informix)
31. 3131
Contrôle Qualité de
données et automatisation
Introduction FME - 2016 - GIM
PROBLÉMATIQUE
▶ Traitement manuel, pas de corrections automatiques
▶ Accès aux données que le lendemain (après traitement
Informix)
▶ Erreur de chargement fichiers SHAPE dans Informix
▶ Contrôle via ETL alphanumérique et code Java → pas de
contrôle de la topologie
▶ Flux de données complexe
Demande de VMM
▶ Automatisation de la validation des données
▶ Contrôle de la géométrie des objets, de la topologie et
de l’analyse géographique par un logiciel ETL,
▶ Résolution du problème de chargement des fichiers
SHAPE
32. 3232
Contrôle Qualité de
données et automatisation
Introduction FME - 2016 - GIM
SOLUTIONS
Phase 1: Analyse
▶ Analyse des données et traitement avec FME
▶ Amélioration du flux de données et du travail opérationnel
avec FME
▶ Résultats
▶ Correction partiellement automatisée avec FME
▶ FME peut charger correctement et lire les objets de la base de
données Informix
▶ FME peut effectuer toutes les règles existantes en matière de
validation alphanumérique et affiner les règles
topologiques
▶ Amélioration de la diffusion de données avec FME Server
33. 3333
Contrôle Qualité de
données et automatisation
Introduction FME - 2015 - GIM
SOLUTIONS
Phase 2: Corrections topologiques automatisées
▶ « Accrochage »
▶ Fusion des segments en fct de conditions
▶ Les segments appartiennent au même réseau
▶ Les segments sont alignés
▶ …
▶ Identification des boucles
▶ Résultats
▶ Réseau topologiquement correct!
• 60426 segments « snapped »
• 21 % des segments étaient combinés
▶ Toutes les boucles détectées!
34. 3434
Contrôle Qualité de
données et automatisation
Introduction FME - 2016 - GIM
SOLUTIONS
Phase 3: Processus de flux de données
User/Editor
using ArcGIS
FME Server
Download MyData
Validate MyData
Upload MyData
Extract & Lock
Upload & Unlock
User uses web interface to
interact with FME
Author using FME Desktop to model
Validated
data
Data
being edited
Data editor environment
FME Author environment
Publish Workbench
to FME Server
Data
to be edited
Data ready
for upload
Database Server
PC
Citrix
Network Disk
Query
Server administrator
monitoring FME server
No
Yes
Log file
AWIS
Informix
Spatial Datablade
Productie
AWIS
Informix
Spatial Datablade
Staging
ETL
Cancel Download
35. 3535
Contrôle Qualité de
données et automatisation
Introduction FME - 2016 - GIM
SOLUTIONS
Phase 3: Validation
Rapport (HTML) Shapefile (Avec erreurs)
36. 3636 Introduction FME - 2016 - GIM
Exemple de règle topologique:
Un segment ne peut pas se croiser.
Contrôle Qualité de
données et automatisation
37. 3737
Contrôle Qualité de
données et automatisation
Introduction FME - 2016 - GIM
INTÉRÊTS DE LA SOLUTION
▶ Maintien des éléments de base du système
▶ Outil d’édition dans ArcMap
▶ Base de données AWIS
à Outils ETL existants comme contrôle supplémentaire
▶ Maintenance
▶ Ajout ou modification des règles de validation
▶ Gain de temps
▶ Grâce à la validation (Traitement immédiat)
▶ Grâce aux fichiers log (shapefiles)
▶ Processus de chargement sans erreurs
39. 3939
Intégration de données:
Wegenregister
Inleiding FME - 2016 - GIM
But:
▶ Intégration de 2 sources différents
▶ GRB (AGIV)
▶ Géométrie: Uniquement routes primaires (voitures)
▶ Attributs: Axe de la route (code de la route, type de
recouvrement, type de morphologie)
▶ ITGI (NGI)
▶ Géométrie: Routes primaires et secondaires (piste cyclable et
chemins)
▶ Attributs: Largeur, nombre de voies, type de route
42. 4242
Chargement de données
Introduction FME - 2016 - GIM
CONTEXTE
▶ Mise à jour du Géoportail de la Wallonie
▶ Les différentes directions générales sont producteurs
et responsables des données
▶ Le Service Public de Wallonie est responsable de la
diffusion
43. 4343
Chargement de données
Introduction FME - 2016 - GIM
PROBLÉMATIQUE:
▶ Les directions générales prennent la décision de mettre à
jour les données disponibles sur WalOnMap
▶ Une procédure en partie manuelle est déclenchée par un
opérateur
▶ Les données sont chargées dans InfraSIG, la base oracle de
diffusion.
44. 4444
Chargement de données
Introduction FME - 2016 - GIM
DEMANDE:
▶ Déclenchement automatique du chargement données dans
l’infrastructure de diffusion InfraSIG
▶ Pas de chargement partiel de jeux de données
▶ Développement générique et configurable
▶ Mise à jour automatique des métadonnées dans MetaWal
▶ La plateforme doit pouvoir être appelée par une application
web
45. 4545
Chargement de données
Introduction FME - 2016 - GIM
RÉALISATION:
Architecture modulaire
▶ Générique:
▶ Chargement de la configuration (CT)
▶ Vérification de qualité géométrique (CT)
▶ Chargement dans staging (WS)
▶ Mise à jour de InfraSIG (WS)
▶ Mise à jour de Metawal (WS)
▶ Reporting des activités (WS)
▶ Notification
▶ Spécifique:
▶ Transformation et traitement particuliers
Workflow géré par des WS controllers dans FME server
48. 4848
Chargement de données
Introduction FME - 2016 - GIM
Mise à jour InfraSIG:
▶ FULL, UPDATE, APPEND, MIXED
▶ Une seule transaction pour tout le jeux de données
▶ Un script python crée dynamiquement un « statement » SQL à
faire exécuter par ORACLE.
▶ Le « roll back » est complet en cas d’erreur
▶ 100% dans FME
49. 4949
Chargement de données
Introduction FME - 2016 - GIM
WORKSPACE CONTROLLER:
▶ Il reçoit les instructions pour une demande de chargement
▶ Jeux de données
▶ Producteur, email
▶ Il construit les paramètres pour chaque module et les
appelle dans la séquence nécessaire pour le jeux de
données
50. 5050
GIM et Safe software
Introduction FME - 2016 - GIM
GIM
▶ VAR-partner depuis 1999 (Value added reseller)
▶ Distributeur et contact en Belgique
▶ Maintenance et support annuel
▶ Informe les clients de nouvelles fonctionnalités et
modifications
▶ +- 10 développeurs FME
51. 5151
Formations FME de GIM
Introduction FME - 2016 - GIM
▶ Matériel de formation de qualité de Safe Software
(anglais)
▶ Formateur = FME Certified Trainer
▶ Formations disponibles
▶ FME Desktop (2 jours)
▶ FME Server (2 jours)
▶ Formation sur mesure/à la demande
▶ FME Advanced Module
En savoir plus www.gim.be
53. 5353
Conclusions: Pourquoi FME?
Introduction FME - 2016 - GIM
▶ Economiser de l’argent et du temps
▶ L’échange et le traitement de données est un jeu d’enfant!
▶ Augmenter la productivité
▶ Automatiser les processus
▶ Aller droit au but
▶ Aucune expérience de programmation requise
▶ Obtenir plus de vos données
▶ Combiner de multiples sources de données à de nouvelles informations
▶ Améliorer les processus ETL
▶ Optimiser les flux de données
▶ Automatiser les tâches
▶ Débarrassez-vous de fastidieuses tâches répétitives en les remplaçant
par des processus automatisés