Plateforme DATA HUB / API

#BigData #Sécurité #Cloud #Mobile Aadel.Benyoussef@ExcelerateSystems.net / @aadel_ben
Aadel BENYOUSSEF | D.G. France
CAP sur le Big Data
Open data, smart data, big data, de quoi parle-t-on ?
Quel est l'impact du big data sur les organisations, les architectures et les systèmes d’information ?
Conférence EFE
Données publiques, données privées, quels modèles pour la DataCité ?
Mardi 20 mars 2018

L’Open Data aujourd’hui

Exemple 1 – Open Data à l’usage des professionnels
PLU à la carte
Exemple de Bordeaux Métropole, qui met à votre
disposition l'outil PLU à la Carte afin de faciliter vos
recherches sur le Plan Local d'Urbanisme.
Vous pourrez notamment :
• Localiser votre terrain, à partir de son adresse ou des
coordonnées de la parcelle
• Faire apparaître le zonage qui s'y applique, en noir et
blanc ou en couleur
• Consulter le règlement lié à ce zonage
• Afficher les principaux éléments réglementaires
pouvant concerner ce terrain : emplacements
réservés, servitudes de mixité sociale...
Tout cela en utilisant les différents outils mis à votre
disposition.
http://sig.bordeaux-metropole.fr/plualacarte

Exemple 2 – Data Collaborative et Open Data
Calculateur d'itinéraires multimodaux du Grand Lyon
Le calculateur d'itinéraires est une API REST Json dont l'appel
permet d'obtenir en retour les itinéraires multimodaux,
intermodaux et temps réel les plus pertinents en voiture, vélo,
transports en commun et à pied. Il intègre également les vélos
en libre-service et les voitures en auto-partage. L'appel se fait
en précisant les adresses de départ et d'arrivée, une date et
un mode de transport privilégié.
https://data.grandlyon.com/transport/calculateur-ditinfraires-
multimodaux-du-grand-lyon/
API REST Json développée par Cityway : https://www.cityway.fr/
Ces services web s'appuient sur : - les données du référentiel Data
du Grand Lyon et de ses partenaires : Disponibilités des Vélo'v
JCDecaux, Disponibilités des stations autopartage Bluely,
Disponibilités des parkings, Lieux publics, Évènements TC Sytral,
Horaires temps réel Sytral, Horaires temps réel des vols à
l'aéroport de Lyon-Saint Exupery, Horaires temps réel SNCF,
Offres théoriques horaires Sytral, Rhônexpress, SNCF, CG01,
CG38, CG42 et CG69, Évènements trafic routier, Chantiers
perturbants, Tronçon Web Criter, Vitesses temps réel des
tronçons CRITER, Vitesses prédictives à 1h des tronçons CRITER,
Vitesses prédictives journalières des tronçons CRITER. - la base
HERE 2016 - les données OSM incluant les pistes et
aménagements cyclables.

Où en sommes-nous dans les Services aux Citoyens ?
- Participation Citoyenne
- Enquêtes 360°
- Amélioration de la qualité de vie
- Tranquillité Publique
Comment les données aident-elles à
…Bien vivre dans une Ville « Intelligente »

6Quelle est notre stratégie de données ?

Notre environnement numérique aujourd’hui
› Application d’Entreprise
› Bureautique
› Internet
› Email
› Réseaux Sociaux
› Objets connectés
› e-commerce
› Cloud / SaaS / PaaS
› Services Publics en ligne
› Open Data / eGouvernement
› Citoyenneté en ligne
› Banques en ligne
› Jeux en réseau
› Apps Mobiles
› Sauvegarde et Transport de
données
› Échange / Partage en P2P
› Vidéo à la Demande
› etc

la croissance du trafic moyen par appareil

Les Entreprises s’intéressent à … nous !

Quel es le point commun entre ces entreprises ?

1. Acquisition de toutes les données : Ingestion facile des données par
lot ou en temps réel à l’aide de Kafka, Flume, NiFi ou miniFi
2. Gère efficacement une grande variété de données : plusieurs types
de données, structures et schémas – de la lecture de simple
données de fichier à des données de localisation en temps réel ou
de streaming vidéo ou sonore (HDFS, HDP, YARN, GFS…)
3. Stockage et exploitation en temps réel : prend en charge les
applications et le traitement en temps réel sur un flux de données à
l’aide de STORM, Spark, Spark Streaming, avec les options de
stockage tels que Hbase, Kudu, NoSQL (Cassandra, QuasarDB…) et
d’indexation pour les moteurs de recherches Solr, Lucene, Elastic.
Plateforme BigData pour les OpenData en 6 points

4. Plate-forme flexible & évolutive : évolutivité linéaire basée sur la
croissance des données, permettant de stocker une quantité
illimitée de données, et de combiner sans effort les sources de
données des Open Data avec d’autres données internes et externes
à des fins d’analyses approfondies.
5. Souplesse de déploiement : Déployer la plate-forme sur le site,
dans le nuage, ou dans un environnement hybride en fonction des
besoins, tout en bénéficiant d’une gestion globale et centralisée de
la plateforme
6. Fondamentalement sécurisé : la Sécurité est Native et au cœur des
plateformes BigData vous permettant de gérer les authentifications
(Sentry) , le Chiffrement, la Traçabilité, les Audits directement sur
la plateforme, et ainsi d’être conforme à la réglementation (RGPD)
Plateforme BigData pour les OpenData en 6 points

la plupart des projets sont de la fondation Apache
Hadoop, Falcon, Atlas, Tez, Sqoop, Flume, Kafka, Pig, Hive, HBase,
Accumulo, Storm, Solr, Spark, Ranger, Knox, Ambari, ZooKeeper, Oozie,
Phoenix, NiFi, HAWQ, Zeppelin, Slider, Mahout, MapReduce, HDFS,
YARN, Metron …etc
Au total : 355 Projets Open Source
https://projects.apache.org/projects.html

Projet "Niagara Files", développé et utilisé par la NSA depuis huit ans.
Mis à la disposition de la Fondation Apache Software en 2014 par le
biais du Programme de Transfert de Technologie de la NSA.
Projet conçu pour être prêt à l'emploi, flexible, extensible et adapté à à
tous les types d’infrastructures informatiques jusqu’aux larges clusters
de données d'entreprise et au cloud. (BigData)
Les organisations gouvernementales sont aussi impliquées

Dans les architectures informatiques modernes, il est primordial de pouvoir prendre en
compte :
- la Conformité, la Confidentialité et la Sécurité / RGPD
- la montée en puissance des plateformes API,
- Les architectures orientées services (S.O.A) et Micro Service,
- Internet Of Thing & Internet Of Everything pour une intégration facilitée des
programmes SmartCity
Le niveau d’exigence est en constante augmentation.

Comment faire avec toute cette diversité de données ?

Solutions d’accompagnement en maximum 6 mois
Des services qui combinent la Formation, le Logiciel, le Support et les Services dont vous avez
besoin pour le design des architectures avec des Logiciels en Licence Libre ou Hybrides pour
les OpenData

Changements de paradigme
• Tout ce qui peut être mesuré le
sera et sera visualisable par des
tableaux de bords de nouvelle
génération et en temps réels
• Les utilisateurs du numérique
s’attendent à des interactions plus
personnelles, mais dans le respect
de la vie privée.
• Instrumentation • Consommation

Les Données peuvent-être un puissant atout
Si la plateforme permet de
développer des
Applications Ouvertes de
pilotage des données.
DDA / Data Driven Application

Construction de la Plateforme

Publication et Partage des résultats
en format Brut ou Services Web
Partager les publications sur
les réseaux d’assistance,
pour optimiser l’information
et les recommandations
Mobile Apps
Plateforme de traitement de toutes les données utiles
Collecter et Organiser
toutes les sources
OpenData
EnterpriseData
PersonalData
CollaborativeData
Nettoyer
Corriger et Enrichir Développer
de nouveaux Services
Pilotage, Centre de Contrôles
et de Gestion

(Re)Publication des résultats
en format Brut ou Compilé
Partager les publications sur
les réseaux sociaux,
pour optimiser les recherches
sur internet
Datavisualisation,
Présentation,
Tableaux de bord.
Plateforme de traitement de toutes les Données
Collecter et Organiser
toutes les sources
de Données Nettoyer
Corriger et Enrichir

Stockage de tous les types de données
(Structurées, Semi Structurées ou Non Structurées)
Moteur
d’Interaction
Intelligence
Artificielle
Moteur de
Recherche
Machine
Learning
Traitement
Temps Réel
Systèmes Distribués NoSQL
Analyse
Prédictive
Data
Analytics

Nouvelles Possibilités grâce aux technologies du BigData
Moteurs de
Recommandations
Analyse de
Sentiments
Modélisation des
Risques
Détection de la
Fraude
Analyse de
Campagne de
Participation
citoyenne
Analyse 360°
usagers
Analyse Social
Graph
Réseau de
surveillance
Data Analytics

Les résultats obtenus

Les sites OpenData peuvent évoluer rapidement
Exploitation et faible frequentation :

Powered by Junar
Ouvert Recherche Réutilisation APIVisualisation
More on Junar Product
Les sites OpenData peuvent évoluer rapidement

Plateforme BigData pour l’OpenData
Intègre un Système de gestion du cycle données
pour faciliter la réalisation des projets Open Data
Support de
Multiples Formats Gestion versions
sources de données
Multi
utilisateurs
Personna
lisationsGestions des droits
d’accès
Collecter Enrichir Publier Partager/Social
Rapport d’usage
Pilotage
Suivis d’activités
et Rapports
Valorisation des
Données
Normalisation
Recherche
Lisibilité
Réutilisation
Exportables
API Standard
Conformes aux
spécifications et
standards de l’Open
Data
Sources de
Données
XLS
PDF
CSV
ODF
HTML
JSON
…
Open Data Platform
 Gestionnaire de Données en temps réel
 Gestion du cycle complet de publication de la donnée

Prochaine
étape ?

@ExcelSysFrance
ExcelerateSystemsFrance
Web : www.ExcelerateSystems.net
Email : Contact-Fr@ExcelerateSystems.net
Tél : +33 (0) 5 56 07 23 33
Solutions & Services
• BigData, Cloud.
• Sécurité et Protection des Données
• Optimisation des opérations des S.I
Excelerate Systems est une Entreprise Privée, Fondée en 2007 à
Seattle (Redmond), Washington USA et des représentations à :
- à Bordeaux (France, depuis 2011) pour l’Europe et l’Afrique
francophone
- à Mexico (Mexique), pour l’Amérique Latine et les Caraïbes
- et présence avec des partenaires locaux dans plus de 25 pays.

Plateforme DATA HUB / API

Contenu connexe

Tendances

Similaire à Plateforme DATA HUB / API

Plus de Excelerate Systems

Plateforme DATA HUB / API

Notes de l'éditeur