2017 : l'année de la "data territoriale" ?Jacques PRIOL
2017 : l’année de la « data des territoires » ?
J'ai publié un article dans le numéro de décembre de la Lettre du cadre territorial : bigdata, opendata, données usagers, data électorales... Bref, un tour d'horizon de la "data territoriale".
Cet article est le premier d’une série. A suivre dans le numéro de janvier de la Lettre du cadre : une deuxième analyse consacrée à 100% au "Bigdata des territoires".
1-Problématique
2-Définition du Big Data
3-Big Data et 3V
4-Data wahrehouse VS Big Data
5-Domaines d’utilisations
6-Les techniques de traitement
7-Big Data et Aspect Mobile
8-Conclusion
Résumé des présentations et ressources de l'événement "Parcours Big Data" organisé par @Cetic dans la cadre de la Big Data Week 2014, en collaboration avec @awtbe
2017 : l'année de la "data territoriale" ?Jacques PRIOL
2017 : l’année de la « data des territoires » ?
J'ai publié un article dans le numéro de décembre de la Lettre du cadre territorial : bigdata, opendata, données usagers, data électorales... Bref, un tour d'horizon de la "data territoriale".
Cet article est le premier d’une série. A suivre dans le numéro de janvier de la Lettre du cadre : une deuxième analyse consacrée à 100% au "Bigdata des territoires".
1-Problématique
2-Définition du Big Data
3-Big Data et 3V
4-Data wahrehouse VS Big Data
5-Domaines d’utilisations
6-Les techniques de traitement
7-Big Data et Aspect Mobile
8-Conclusion
Résumé des présentations et ressources de l'événement "Parcours Big Data" organisé par @Cetic dans la cadre de la Big Data Week 2014, en collaboration avec @awtbe
Christophe Aran, spécialiste de la BI nous présente le Big Data :
Du premier jour de l'humanité jusqu'à l'an 2003, les hommes ont produit quelque 5 millions de téraoctets de données. En 2012, deux jours suffisent pour produire la même quantité. Ces données proviennent de partout : de messages sur les médias sociaux, d'images et de vidéos publiées en ligne, d'enregistrements transactionnels d'achats en ligne, de signaux GPS de téléphones mobiles… pour ne citer que quelques sources. Ces données sont appelées Big Data ou volumes massifs de données.
Les sociétés du Web tels que Google, Facebook et Amazon ont investi massivement afin de gérer ces Big Data. En effet, leur survie en dépend. C’est ainsi qu’un ensemble de technologies open source et de concepts est né : MapReduce, Apache Hadoop, bases de données NoSQL,…
Qu’est-ce que le big Data et quels en sont les différents concepts ?
Comment utiliser ces technologies dans des applications opérationnelles ou décisionnelles ?
Pourquoi le Big Data ouvre-t-il de nouvelles perspectives ?
Est-ce une révolution technologique ou un effet de mode ?
Du Big Data vers le SMART Data : Scénario d'un processusCHAKER ALLAOUI
Du Big Data vers le SMAR Data : Scénario d'un processus
Scénario d'une implémentation d'un processus de transformations des données Big Data vers des données exploitables et représentatives via des traitements des streaming, systèmes distibués, messages, stockage dans un environnement NoSQL, gestion avec un éco-système Big Data et présentation graphique et quantitative des données avec les technologies:
Apache Storm, Apache Zookeeper, Apache Kafka, Apache Cassandra, Apache Spark et Data-Driven Document.
Une introduction au Big Data, NoSQL et Open Data.
Il présente les avantages de NoSQL.
Une présentation des différents types des bases de données NoSQL.
Big Data... Big Analytics à travers les âges, les industries et les technologiesHassan Lâasri
Si la matière et l’énergie ont dominé les industries du XIXème et du XXème siècles, la Data en prend la direction pour ce siècle. Nous entrons dans une nouvelle ère où dans toutes les industries, non seulement les techniciens, les opérateurs et les gestionnaires consomment et produisent de la Data, mais aussi tous les dispositifs, petits et grands, qu’ils utilisent pour prendre leurs décisions et exécuter leurs opérations. Une ère où la Data prendra un sein de toute activité industrielle autant d’importance que les matières premières et les énergies qui transportent et transforment ces dernières en des biens d’équipements et des produits de consommation. L’objectif de cette présentation est de démystifier le phénomène Big Data en décrivant son utilisation à travers les âges et les industries : recensement de population au XIXème siècle, gestion de réseaux et transactions bancaires à la fin du XXème siècle et sa récente percée dans les médias et dans les industries lourdes en ce début de XXIème siècle.
Le Big Data, semble aujourd’hui la solution miraculeuse pour une gestion efficace des masses de donnée. Mais de quoi s’agit-il ? Un vrai levier pour améliorer son activité? ou simple poudre aux yeux ? Dans ce contexte, Nexialog s’intéresse de plus en plus à cette thématique porteuse, et a réalisé une première étude abordant le Big Data en lien avec les secteurs financiers et assurantiels.
Trois sujets de recherche ont également été lancés en interne :
-L’impact du Big data sur l’organisation de l’entreprise
-Les technologies Big Data
-Gestion de Risques dans l’environnement Big Data
L'atelier d'une heure s'organise en 3 étapes : une première présentation donnant les clefs nécessaires à la compréhension de la "philosophie" Open Data aujourd'hui, par le jeu d'échanges avec le public. La deuxième étape invite le public à se diviser en petits groupes de réflexions autour d'une problématique particulière liée au sujet (ici l'open data en bibliothèque). Une dernière étape permet la restitution du travail de chaque groupe et conclut l'atelier.
Ces trois dernières décennies de l’histoire de l’humanité ont été témoin d’une explosion sans précédent du volume de données. Il est admis que 90 % des données récoltées depuis le début de l’humanité ont été générées durant ces 2 dernières années. Pour qualifier cette explosion de données, le terme « Big Data » a été adopté.
La Big Data, qui a accompagné la révolution de l'usage d'Internet ces dix dernières années a provoqué des changements très profonds dans la société : modèles économiques à coût marginal décroissant, commoditisation de la connaissance, décentralisation du pouvoir de création de l’information, suppression des barrières à l’entrée, ubérisation de la société, Internet des Objets. Bref, aucun aspect de la société et de nos vies n‘y échappe. En fait, l’humanité est tout simplement entrée dans une nouvelle ère de sa marche ! Cet ère est qualifié de « Numérique ».
La donnée est pour l’ère Numérique ce qu’était l’électricité à l’ère industrielle. Cependant, à la différence de l’électricité, la donnée doit passer par plusieurs phases de transformation pour être utile et c’est en ça qu’une nouvelle catégorie de technologies a été développée. Hadoop est le chef de fil de ces technologies. A la différence des technologies traditionnelles, Hadoop et son écosystème technologique s’appuient sur des approches conceptuelles très différentes des approches que l’on a connu jusqu’ici. Ainsi, pour saisir les opportunités offertes par l’ère Numérique, il faut maîtriser non pas Hadoop, mais les approches conceptuelles qui sont derrières Hadoop et son écosystème. Cette présentation va vous offrir une solution à ce problème.
En bonus de cette présentation, nous vous offrons un guide sur ElasticSearch : https://www.data-transitionnumerique.com/extrait-ecosystme-hadoop/
Le Big Data transforme en profondeur le monde de la Banque et de l’AssuranceAbdessatar Hammedi
Salon de la Finance le 24 Avril 2017
Conférence Big data au salon de la finance à Marseille
Animée par : Abdessatar Hammedi
Practice Manager Big data chez Maltem Consulting Group
Formation professionnelle "Big data : concepts et enjeux"Philippe METAYER
Sensibiliser au contexte des données massives et du big data.
Le web est un incroyable réservoir de données.
Concept des données structurées et non structurées.
Les 5V : Volumétrie Vitesse Valeur Variété Véracité
Comprendre les technologies de récolte des données : scraping et crawling.
Comment traiter les données récoltées ?
Formation réalisée par Philippe Métayer - IUT MMI Bordeaux.
Big Data effet de mode ou vrai utilité? On entend de plus en plus parler de Big Data, qui devrai bouleverser notre vie de tous les jours. On génere, avec internet, de plus en plus de quantités extraordinaires de données, qu'en fait-on? Forbes le classe parmi les 10 "technologies" qui devront marquer 2014! Mais qu'est-ce que c'est? Comment le mettre en oeuvre?
La plateforme OpenData 3.0 pour libérer et valoriser les données Excelerate Systems
Une plateforme pour l’OpenData en mode SaaS,
pour Collecter, Enrichir, Publier et Partager rapidement les données.
La plateforme de mutualisation de services OpenData 3.0 permet aux entreprises publiques et privées de publier leurs données afin de créer de nouvelles possibilités d’usages et de permettre le développement de nouveaux services basés sur l’ouverture des données.
Festival Online de la Data 2020 - La data devient l'affaire de tousAlexandra Loria
La data est devenue le carburant de l’économie numérique : elle devient l’affaire de toutes et tous !
Tout le monde a ce mot à la bouche, Data, Data par ci, Data par là ! La donnée a pris une ampleur telle que beaucoup la qualifie tel le nouveau carburant de notre économie moderne, qui même en ces temps, très critiques, se retrouve sur le devant de la scène.
Chez Synaltic, dès nos débuts, avec l’Open Source, comme modèle, nous avons compris l’importance des processus métier, de l’organisation, et donc des Humains qui les animent et les composent. Il n’est point d’entité (entreprise, association, collectivité, Etat) qui savent rendre leur servir ou produire sans qu’à un moment ou l’autre leur activité n’est besoin de données.Dans un pareil cadre, chacun doit y trouver sa place grâce à la construction d’une culture ouverte, une culture des données associée à celle de son organisation.
Pour sûr, tout le monde ne pourra pas être informaticien ! Certes ! Mais tout le monde manipule de près ou de loin des données dans son activité quotidienne ; autant que toutes et tous y participent avec un esprit éclairé grâce à une culture des données partagée.
Christophe Aran, spécialiste de la BI nous présente le Big Data :
Du premier jour de l'humanité jusqu'à l'an 2003, les hommes ont produit quelque 5 millions de téraoctets de données. En 2012, deux jours suffisent pour produire la même quantité. Ces données proviennent de partout : de messages sur les médias sociaux, d'images et de vidéos publiées en ligne, d'enregistrements transactionnels d'achats en ligne, de signaux GPS de téléphones mobiles… pour ne citer que quelques sources. Ces données sont appelées Big Data ou volumes massifs de données.
Les sociétés du Web tels que Google, Facebook et Amazon ont investi massivement afin de gérer ces Big Data. En effet, leur survie en dépend. C’est ainsi qu’un ensemble de technologies open source et de concepts est né : MapReduce, Apache Hadoop, bases de données NoSQL,…
Qu’est-ce que le big Data et quels en sont les différents concepts ?
Comment utiliser ces technologies dans des applications opérationnelles ou décisionnelles ?
Pourquoi le Big Data ouvre-t-il de nouvelles perspectives ?
Est-ce une révolution technologique ou un effet de mode ?
Du Big Data vers le SMART Data : Scénario d'un processusCHAKER ALLAOUI
Du Big Data vers le SMAR Data : Scénario d'un processus
Scénario d'une implémentation d'un processus de transformations des données Big Data vers des données exploitables et représentatives via des traitements des streaming, systèmes distibués, messages, stockage dans un environnement NoSQL, gestion avec un éco-système Big Data et présentation graphique et quantitative des données avec les technologies:
Apache Storm, Apache Zookeeper, Apache Kafka, Apache Cassandra, Apache Spark et Data-Driven Document.
Une introduction au Big Data, NoSQL et Open Data.
Il présente les avantages de NoSQL.
Une présentation des différents types des bases de données NoSQL.
Big Data... Big Analytics à travers les âges, les industries et les technologiesHassan Lâasri
Si la matière et l’énergie ont dominé les industries du XIXème et du XXème siècles, la Data en prend la direction pour ce siècle. Nous entrons dans une nouvelle ère où dans toutes les industries, non seulement les techniciens, les opérateurs et les gestionnaires consomment et produisent de la Data, mais aussi tous les dispositifs, petits et grands, qu’ils utilisent pour prendre leurs décisions et exécuter leurs opérations. Une ère où la Data prendra un sein de toute activité industrielle autant d’importance que les matières premières et les énergies qui transportent et transforment ces dernières en des biens d’équipements et des produits de consommation. L’objectif de cette présentation est de démystifier le phénomène Big Data en décrivant son utilisation à travers les âges et les industries : recensement de population au XIXème siècle, gestion de réseaux et transactions bancaires à la fin du XXème siècle et sa récente percée dans les médias et dans les industries lourdes en ce début de XXIème siècle.
Le Big Data, semble aujourd’hui la solution miraculeuse pour une gestion efficace des masses de donnée. Mais de quoi s’agit-il ? Un vrai levier pour améliorer son activité? ou simple poudre aux yeux ? Dans ce contexte, Nexialog s’intéresse de plus en plus à cette thématique porteuse, et a réalisé une première étude abordant le Big Data en lien avec les secteurs financiers et assurantiels.
Trois sujets de recherche ont également été lancés en interne :
-L’impact du Big data sur l’organisation de l’entreprise
-Les technologies Big Data
-Gestion de Risques dans l’environnement Big Data
L'atelier d'une heure s'organise en 3 étapes : une première présentation donnant les clefs nécessaires à la compréhension de la "philosophie" Open Data aujourd'hui, par le jeu d'échanges avec le public. La deuxième étape invite le public à se diviser en petits groupes de réflexions autour d'une problématique particulière liée au sujet (ici l'open data en bibliothèque). Une dernière étape permet la restitution du travail de chaque groupe et conclut l'atelier.
Ces trois dernières décennies de l’histoire de l’humanité ont été témoin d’une explosion sans précédent du volume de données. Il est admis que 90 % des données récoltées depuis le début de l’humanité ont été générées durant ces 2 dernières années. Pour qualifier cette explosion de données, le terme « Big Data » a été adopté.
La Big Data, qui a accompagné la révolution de l'usage d'Internet ces dix dernières années a provoqué des changements très profonds dans la société : modèles économiques à coût marginal décroissant, commoditisation de la connaissance, décentralisation du pouvoir de création de l’information, suppression des barrières à l’entrée, ubérisation de la société, Internet des Objets. Bref, aucun aspect de la société et de nos vies n‘y échappe. En fait, l’humanité est tout simplement entrée dans une nouvelle ère de sa marche ! Cet ère est qualifié de « Numérique ».
La donnée est pour l’ère Numérique ce qu’était l’électricité à l’ère industrielle. Cependant, à la différence de l’électricité, la donnée doit passer par plusieurs phases de transformation pour être utile et c’est en ça qu’une nouvelle catégorie de technologies a été développée. Hadoop est le chef de fil de ces technologies. A la différence des technologies traditionnelles, Hadoop et son écosystème technologique s’appuient sur des approches conceptuelles très différentes des approches que l’on a connu jusqu’ici. Ainsi, pour saisir les opportunités offertes par l’ère Numérique, il faut maîtriser non pas Hadoop, mais les approches conceptuelles qui sont derrières Hadoop et son écosystème. Cette présentation va vous offrir une solution à ce problème.
En bonus de cette présentation, nous vous offrons un guide sur ElasticSearch : https://www.data-transitionnumerique.com/extrait-ecosystme-hadoop/
Le Big Data transforme en profondeur le monde de la Banque et de l’AssuranceAbdessatar Hammedi
Salon de la Finance le 24 Avril 2017
Conférence Big data au salon de la finance à Marseille
Animée par : Abdessatar Hammedi
Practice Manager Big data chez Maltem Consulting Group
Formation professionnelle "Big data : concepts et enjeux"Philippe METAYER
Sensibiliser au contexte des données massives et du big data.
Le web est un incroyable réservoir de données.
Concept des données structurées et non structurées.
Les 5V : Volumétrie Vitesse Valeur Variété Véracité
Comprendre les technologies de récolte des données : scraping et crawling.
Comment traiter les données récoltées ?
Formation réalisée par Philippe Métayer - IUT MMI Bordeaux.
Big Data effet de mode ou vrai utilité? On entend de plus en plus parler de Big Data, qui devrai bouleverser notre vie de tous les jours. On génere, avec internet, de plus en plus de quantités extraordinaires de données, qu'en fait-on? Forbes le classe parmi les 10 "technologies" qui devront marquer 2014! Mais qu'est-ce que c'est? Comment le mettre en oeuvre?
La plateforme OpenData 3.0 pour libérer et valoriser les données Excelerate Systems
Une plateforme pour l’OpenData en mode SaaS,
pour Collecter, Enrichir, Publier et Partager rapidement les données.
La plateforme de mutualisation de services OpenData 3.0 permet aux entreprises publiques et privées de publier leurs données afin de créer de nouvelles possibilités d’usages et de permettre le développement de nouveaux services basés sur l’ouverture des données.
Festival Online de la Data 2020 - La data devient l'affaire de tousAlexandra Loria
La data est devenue le carburant de l’économie numérique : elle devient l’affaire de toutes et tous !
Tout le monde a ce mot à la bouche, Data, Data par ci, Data par là ! La donnée a pris une ampleur telle que beaucoup la qualifie tel le nouveau carburant de notre économie moderne, qui même en ces temps, très critiques, se retrouve sur le devant de la scène.
Chez Synaltic, dès nos débuts, avec l’Open Source, comme modèle, nous avons compris l’importance des processus métier, de l’organisation, et donc des Humains qui les animent et les composent. Il n’est point d’entité (entreprise, association, collectivité, Etat) qui savent rendre leur servir ou produire sans qu’à un moment ou l’autre leur activité n’est besoin de données.Dans un pareil cadre, chacun doit y trouver sa place grâce à la construction d’une culture ouverte, une culture des données associée à celle de son organisation.
Pour sûr, tout le monde ne pourra pas être informaticien ! Certes ! Mais tout le monde manipule de près ou de loin des données dans son activité quotidienne ; autant que toutes et tous y participent avec un esprit éclairé grâce à une culture des données partagée.
une Journée dédié au BigData par Excelerate Systems & Cloudera
1 Congférence "Big Data = Smart Business, un outil de transformation des entreprises"
3 Ateliers : Enterprise Datawarehouse, Securité et Marketing
Open data France accompagne les collectivités territoriales dans l’ouverture de leurs données, désormais obligatoire pour toutes les entités de plus de 3500 habitants. Données prioritaires, formats, licences, interopérabilité, portails et accès aux data, passage en revue des chantiers de l’association.
Présentation proposée aux adhérents (élus et agents des collectivités) du SICTIAM lors de la semaine de l'innovation publique par Lycke Laetitia et Orihuela Benoît
Open data et gouvernance des organisations par www.opendatasoft.comOpenDataSoft
Présentée au DataTuesday le 6 décembre 2011
Par Jean-marc Lazard, fondateur d'OpenDataSoft
Les différentes facettes de l'open data, open démocratie, open services, open innovation
L'open data, levier de la transformation de la gouvernance des entreprises
Davantage sur www.opendatasoft.com
AGMQ 2011 : Les données libres et le territoirenoucher
Colloque annuel de l'Association de Géomatique Municipale du Québec (AGMQ) sur le thème "Les données libres et le territoire" organisé à l'Université Laval, Québec, le 3 mai 2011. Conférence introductive de Matthieu Noucher (France).
Rencontre IRL club digital santé - 12-12-2013hcsmeufr
Retrouvez l'étude Club Digital Santé - Synthésio sur les tendances de l'e-santé et la présentation « Santé et Numérique : Connection in progress » de Microsoft Health
CapCom13: CN4: Comment aborder l'ère du Big Data ?Cap'Com
L'analyse des données massives, autrement appelée Big Data, commence à toucher les collectivités et les acteurs publics. Quelles sont les formes et les opportunités offertes par ce nouveau phénomène ? Deux témoignages permettront de comprendre ce que peut apporter concrètement le Big Data. On en soulignera également les limites : des voix s'élèvent pour faire valoir la protection des données personnelles, une vraie responsabilité pour les acteurs publics.
Marc Cervennansky, Chef de projet numérique à la CU Bordeaux
Benjamin Teitgen, Responsable de la communication digitale de la ville de Besançon
Joël Rubino, Président ApiCube
Big Data Des méandres des outils au potentiel businessMouhsine LAKHDISSI
Une présentation du Big Data faite dans le cadre des Open Source Days à l'ENSA de Khouribga. Elle traite du potentiel business et des opportunités qui peuvent être crées par le Big Data dans différents domaines métier avec un apperçu également sur les outils et les techniques associées
L’open data le cas de Montpellier - De la mise en ligne à la réutilisation en...Jérémie34
Présentation faite lors des 7ème rencontres du forum des informaticiens, géomaticiens et webmasters des espaces naturels (28 et 29 mai 2013), Montpellier
3 minutes pour comprendre ... le Big DataAlain KHEMILI
Dans la collection "3 minutes pour comprendre"
Chaque jour, nous générons 2,5 trillions d’octets de données. A tel point que 90% des données dans le monde ont été créées au cours des deux dernières années seulement. Ces données proviennent de partout : de capteurs utilisés pour collecter les informations climatiques, de messages sur les sites de médias sociaux, d'images numériques et de vidéos publiées en ligne, d'enregistrements transactionnels d'achats en ligne et de signaux GPS de téléphones mobiles, pour ne citer que quelques sources. Ces données sont appelées Big Data ou mégadonnées ou volumes massifs de données.
La "Sécurité Zéro Confiance" apparaît comme la plus efficace des approches pour les entreprises cherchant à faire face aux cybermenaces !
Avec Mohamed Amin LEMFADLI CEO de T&S Consulting et Sami RIFKY Vice Président ISACA Chapter Morocco, nous proposons de présenter les tenants et aboutissants de ce thème de façon intelligible pour un public même non initié, puisque la promotion des bonnes pratiques fait partie de la contribution à la lutte contre la cybercriminalité et à la protection des entreprises.
Présentée lors de la conférence en ligne le 20.06.2020
Sécurité Zéro Confiance - La Fin du Périmètre de SécuritéExcelerate Systems
Zero Trust Security : protection des entreprises contre les cyberattaques et la sécurisation des données sensibles
« Zero Trust Security » est une approche de la sécurité qui consiste à n’avoir confiance, "par défaut", en aucune des demandes d’accès aux réseaux et données de l’entreprise, et même lorsque les requêtes proviennent du périmètre interne.
Aujourd’hui, la « Sécurité Zéro Confiance » apparaît comme la plus efficace des approches pour les entreprises cherchant à faire face aux cybermenaces ! Contrôler la sécurité de tous les accès aux données d’entreprise en conservant un temps d’exécution raisonnable et en préservant l’agilité des utilisateurs est impossible sans les bons outils.
Lors du Big Data World Paris, Excelerate Systems et Search Guard se proposent de présenter les tenants et aboutissants de ce thème de façon intelligible pour un public même non initié, puisque la promotion des bonnes pratiques fait partie de leur contribution à la lutte contre la cybercriminalité et à la protection des entreprises.
Contrôler la sécurité de tous les accès aux données d’entreprise en conservant un temps d’exécution raisonnable et en préservant l’agilité des utilisateurs est impossible sans les bons outils.
Reconnue comme la plus efficace des approches pour les entreprises cherchant à faire face aux cybermenaces, la Sécurité Zéro Confiance est essentielle pour le rétablissement des bonnes pratiques numériques, respectueuses des données personnelles et de la vie privée.
Vision-AI | the Next AI | the Next Disruption in Data AccuracyExcelerate Systems
La convergence des Technologies de Vision Numérique, du Edge Cloud et des Algorithmes, pour apporter des solutions pérennes, sécurisées et respectueuses des données personnelles.
Données publiques, données privées, quels modèles pour la DataCité ?
plateforme Data & API OpenSource pour la Smart City et les administrations publiques, au service des citoyens.
Projet de Télémédecine par l'association "Territoires du Cœur"
1. La télémédecine permet de réduire les déserts médicaux, en rendant les avis et les soins de santé accessibles à tous.
2. La télémédecine permet une aide au diagnostic ou un conseil thérapeutique à tout médecin isolé.
3. La télémédecine permet de prévenir les risques de complications grâce à un suivi assidu et continu des données de santé d’un patient porteur d’une maladie chronique (exemple : l’insuffisance cardiaque)
4. La télémédecine permet une réduction des coûts de santé en évitant les déplacements, les examens ou les traitements inutiles
Présentation lors du RSSIA-2015 organisé par le CLUSIR Aquitaine
le BigData comme plateforme d'intégration de toutes les données médicales pour développer de nouveaux services, baisser les coûts opérationnels et sécuriser les données personnelles
7. Cesontdes jeuxde donnéespubliés
oCesontdes donnéescollectées:
Parle secteurpublic (l’État, les collectivités, les institutions publiques)
Parle secteurprivé(Entreprises, associations, particuliers)
Surles finances, les services, les transports, la démographie, l’environnement, la culture, l’énergie, etc.
oEllessontouvertesquandellessontnumériséeset publiéesde manièrestructurée, selonuneméthodologieet unelicenceouverte
Accessiblesfacilementet au grand public
Utilisables, modifiables, re-distribuablespar tous, sans rectrictrictiontechnique, juridiqueoufinancière
Accessiblespar des interfaces de programmationd’application(API))
Environnement
Transport
Culture
Science
Finance
Statistiques
Climat?
Géolocalisation
€
Open Data & Accompagnementdes Publics -Janvier2014
28/11/2014
8. Pourquoi Ouvrir ses données ?
•Parce que c’est un droit pour le citoyen :
•« La Société à le droit de demander compte à tout agent public de son administration»
[Article XV de la «Déclaration des Droits de l’Homme et du Citoyen»]
•Parce que cela représente un intérêt sociétal
•Information du citoyen /Participation à la vie démocratique
•Mise au point d’applications en fonction des besoins
•Outil d’analyse pour les élus et les agents publics
•Parce que cela représente un intérêt économique
•Création de nouveaux services innovants
•Outils d’analyse pour tous les acteurs économiques
28/11/2014
9. Où a commencé et où va le mouvement de libération des données ?
28/11/2014
10. Origines: les USA
•1966 : “Freedom Information Act”, Loidécrivantles obligations légalespour l’Étatet sesagences
•2009: Initiative “Open Government” –niveausans précédentde transparence et d’ouverturedu gouvernementObama (1er projetmisen peuvrelorsde son premeirjour de travail àla maisonblanche)
•Permettreàtout citoyeninterresséde contribueràcréerles contenusde la politique
•Permettreau gouvernementde bénéficierdes savoirs-faire locaux
•2010: Définitionde l’opendata, groupede travail américain
10
28/11/2014
11. En France : la Loi
•1978 : La loi introduit la notion de données publiques
la loi « d'accès à l'information » de 1978 (dite loi CADA) est le meilleur exemple de cette démarche. Elle introduit les notions de données publiques et de leur publication. Elle permet de mettre à disposition des documents administratifs sur simple demande des administrés.
•Loi de décentralisation à venir : (article 29)
Les collectivités locales de plus de 3 500 habitants auront l’obligation d’ouvrir leurs données publiques.
11
28/11/2014
12. Les Licences
Une donnée ouverte est couverte par une licence
•Open DatabaseLicense (OdbL)
L'Open DatabaseLicense (ODbL) est un contrat licence de base de données favorisant la libre circulation des données.
La licence Open Databasepermet à chacun d’exploiter publiquement, commercialement ou non, des bases de données; à condition néanmoins de maintenir la licence sur la base de données, et éventuellement, sur les modifications qui y sont apportées, et de mentionner expressément l’usage, s’il génère des créations à partir de celles‐ci.
Le 14 décembre 2010, le Conseil de la Ville de Paris a annoncé qu'il publiera les données de l'administration parisienne sous Licence Open Database
12
28/11/2014
14. McKinsey Global Research (Oct.2014)
Plus de donnéesouvertespour les utilisateurs
40
pays possèdentdes
plateformesOpen Data
90.000
jeuxde donnéespubliéesaux U.S.A.
1.4 million
de visiteurssurle site
gouvernementalde l’OpenData
en Grande Bretagne
102
villesontparticipésàdes Hackaton
surles donnéesouvertes
1 million
jeuxde donnéesouvertespour
l’ensembledes gouvernements
au niveaumondial
28/11/2014
15. McKinsey Global Research (Oct.2014)
créateurde valeur
$3 trillons
(3 milliards de milliards) estla valeurannuelle
approximativedes donnéesouvertesdans7
domaines
3 billions
(3.000 milliards) de tonnesd’équivalent
CO2 peuventêtreidentifiéesavec les
donnéesouvertes
35
heurespar an sontgagnéessurles
transports grâce àl’ouverturedes données
50%
des citoyensestimentfavorablelment
l’impactdes donnéesouvertes
100.000
applications pour smartphones
en médecine, santé et bien-être
28/11/2014
16. 16
Situation ActuelleVS Open Data
Donnéesdifficilesà trouveret à (ré)utiliser
Powered by Excelerate Systems -France
Format PDF habituel
28/11/2014
18. Au début de notre ère numérique…
Informatique d’Entreprise
•Affaire de Spécialistes
•Centralisée
•Inaccessible hors de l’entreprise
28/11/2014
19. Au début de notre ère numérique…
Informatique d’Entreprise
•Affaire de Spécialistes
•Centralisée
•Inaccessible hors de l’entreprise
Informatique Personnelle
•Mac .vs. PC
•Individuelle
•Isolée
28/11/2014
20. Notre environnement Numérique… aujourd’hui !
›Application d’Entreprise
›Bureautique
›Internet
›Email
›Réseaux Sociaux
›Objets connectés
›e-commerce
›Banque en ligne
›Jeux en réseau
›Apps Mobiles
›Sauvegarde et Transport de données
݃change / Partage
›… etc.
28/11/2014
23. Les Entreprises s’intéressent à … Nous !
Moi
Opinions
•Ce que j’Aime
Passions
•Mes Hobbies
Coordonnées
•Comment et où me joindre
Avatars
•Mes apparences
Profession
•Quel est mon métier et où je travail
Réputation
•Ce que l’on dit sur moi
Expression
•Ce que je dis
Audience
•Qui je connais
Certificats
•Qui peut certifier de mon identité
Publications
•Ce que je partage
Achats
•Ce que j’achète, quand et où
28/11/2014
24. Évolution de la Données
10% - Données Structurées
1980 2014
90 % - Données Non-Structurées
+3 trillion Go de données créées en 2013…
Plus de 90% sont des données non structurées
500 quadrillion de fichiers
1 Trillion = 1018, soit un milliard de milliards.
1 Quadrillion = 1024
Des changements
considérables lors
des 30 dernières
années
Applications Internet
Smartphones &
Tablettes
Machines intelligentes
Capteurs
Quantités
doublent
tous les 2 Ans
28/11/2014
25. Les 3V qui imposent le changement-Volume-Variété-Vitesse
28/11/2014
26. les Entreprises veulent gérer toutesles données
Toutes les données Produites en Interne et en ExterneMais aussi à toutes les données qui la Concernent
Source : IBM
28/11/2014
27. | Mobile | Cloud | BigData | Sécurité |
4 grands changements qui touchent le marché du matériel, des logiciels et des services informatiques.
Regard à travers 1 seul prisme :
le Mobileest l’élément essentiel de Productionet de Consommationdes données.
le Cloudest l’environnement où les données sont Stockées.
le BigDataest l’ensemble des technologies qui permettent d’Exploiter, Analyseret Restituerles données.
La Protection des Donnéesest le critère Essentielpour l’établissement de la Relation de Confiancede l’ensemble.
Analyse #1
28/11/2014
28. Comment les données sont- elles produites?
Notre façon d’accéder aux données est en pleine mutation.
•La hausse des usages avec les appareils mobiles apporte des changements radicaux dans l'informatique pour les entreprises car ces nouveaux outils ont envahi le lieu de travail et également l’environnement privé.
•La mobilité marque le début d'un changement fondamental de stockageque ce soit au sein de l’appareil, ou dans le nuage (Cloud) pour que les données soient disponibles à tout moment, n'importe où ! En 201575% de tous les dispositifs ‘informatiques’ seront des smartphones, des tablettes et des Objets Connectés
28/11/2014
29. Comment les données sont- elles stockées, gérées et utilisées?
•La production de l'information numérique est en constante hausse.
•Comment les données sont-elles stockées et gérées ?
•Où les données sont-elles stockées ?
Savoir comment toutes les données sont utiliséespar une organisation de n'importe quelle taille est vital.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
SI Cloud60%
SI interne40%
Prévisionde la RépartitionCentre de Donnéesà H2020
28/11/2014
34. PourquoiutiliserHadoop ?
•Le moins Couteux (100% OpenSource)
•Pour traiter des Peta-Octets de données
•Le plus Rapide actuellement
•Pour les Traitements Parallèles
•Le Meilleur à ce jour
•Pour apporter des Solutions à tous les problèmes de traitement de Données Massives
28/11/2014
37. Système Informatique
Data Warehouse
Query
Extract
Transform
Load
Transform
Architecture généralement déployé sur un SGBD Relationnel
S.I centralisée = "Enterprise Data Warehouse"
Applications
OLTP
Applications
28/11/2014
38. Système Informatique
Data Warehouse
Query
Extract
Transform
Load
Transform
Architecture généralement déployé sur un SGBD Relationnel
S.I centralisée = "Enterprise Data Warehouse"
Applications
OLTP
Applications
28/11/2014
40. Applications
Défis communs dans le S.I
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
28/11/2014
41. Applications
Défis communs dans le S.I
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
1
1
1
Transformations de données est lentes, SLA manqué
28/11/2014
42. Applications
Défis communs dans le S.I
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
1
1
1
Transformations de données est lentes, SLA manqué
2
2
Requêtes lentes, QoSdégradé et des opportunités manquées.
28/11/2014
43. Applications
Défis communs dans le S.I
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
1
1
1
Transformations de données est lentes, SLA manqué
2
2
Requêtes lentes, QoSdégradé et des opportunités manquées.
3
Nécessité d’Archivage pour économiser l’espace de stockageLes données archivées ne peuvent pas fournir une Valeur.
28/11/2014
44. Applications
Défis communs dans le S.I
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Business
Intelligence
Transform
1
1
1
Transformations de données est lentes, SLA manqué
2
2
Requêtes lentes, QoSdégradé et des opportunités manquées.
3
Nécessité d’archiver.
Les données archivées ne peuvent pas fournir une Valeur.
4
Pression constante pour acheter de nouvelles capacités de stockage et unités de calculs juste pour maintenir la qualité de service actuel.
Pas de place pour étendre les possibilités.
Pas de place pour l’innovation.
28/11/2014
46. Les avantages de l'Open Source au-delà de l’éthique, il est question de :
Facilité d’Adoption
Acquisition et démonstration de la Valeuravec des investissements maîtrisables1
28/11/2014
47. Les avantages de l'Open Sourceau-delà de l’éthique, il est question de :
Facilité d’Adoption
Acquisition et démonstration de la Valeuravec des investissements maîtrisables1
Innovation et Développement Rapide
Développement communautaire: les meilleurs ingénieurs de beaucoup de sociétés Collaborentpour résoudre les problèmes et Imaginerde nouveaux concepts2
28/11/2014
48. Les avantages de l'Open Sourceau-delà de l’éthique, il est question de :
Facilité d’Adoption
Acquisition et démonstration de la Valeuravec des investissements maîtrisables1
Innovation et Développement Rapide
Développement communautaire: les meilleurs ingénieurs de beaucoup de sociétés Collaborentpour résoudre les problèmes et Imaginerde nouveaux concepts2
Souplesse
Un Standard Ouvertet indépendant des fournisseurs, ce qui encourage une large intégration de la technologie3
28/11/2014
49. Les avantages de l'Open Source au-delà de l’éthique, il est question de :
Facilité d’Adoption
Acquisition et démonstration de la Valeuravec des investissements maîtrisables1
Innovation et Développement Rapide
Développement communautaire: les meilleurs ingénieurs de beaucoup de sociétés Collaborentpour résoudre les problèmes et Imaginerde nouveaux concepts2
Souplesse
Un Standard Ouvertet indépendant des fournisseurs, ce qui encourage une large intégration de la technologie3
Pas de dépendance «Editeur»
Pas de données ou processus «propriétaires" –la sélection des fournisseurs est uniquement sur la Qualité des Services4
28/11/2014
50. Quelle importance accordez vous, dans la sélection d’un vendeur de BigData aux critères suivants:
7
8
9
Source: King Research, 3922 Respondents
Evolutivité
Performance
Flexibilité
Fiabilité du vendeur
Technologie Sécurisée
Intégration avec d'autres systèmes
Coût
Techniquement Supérieur aux autres
Logiciel Open Source
28/11/2014
52. # Choix de
l’Environnement Opérationnel
28/11/2014
53. Quels sont les éléments qui déterminent votre choix de fournisseur de solution BigData?
Source: King Research, 3922 Respondents
6
6,5
7
7,5
8
8,5
9
Formations
Services de Consulting
Recommandations
Support Technique
Richesse des Fonctionnalités
28/11/2014
54. 0%
20%
40%
60%
Quelles infrastructures pensez-vous améliorer avec des solutions BigData ?
Source: King Research, 3922 Respondents
Traitements ETL
Bases de Données Analytiques
Stockage
Entrepôts de Données
Système Central (Mainframe)
28/11/2014
55. Quels sont les principaux avantages recherchés dans une solutions BigData d’entreprise
Source: King Research, 3922 Respondents
10%
30%
50%
70%
Amélioration des Analyses de Données
Amélioration du Traitement de Données
Prendre de Meilleures Décisions, Plus Rapidement
Augmenter la Valeur marchande des Données
Améliorer l‘Efficacité Opérationnelle
Acquérir un Avantage Concurrentiel
28/11/2014
56. 15%
25%
35%
45%
Quelles sont vos principaux développements BigData?
Source: King Research, 3922 Respondents
Recherche / Innovation
Analyse Comportementale
Connaissance des Clients
Ciblage de Marché
Analyse de l‘Expérience Client
Amélioration Opérationnelle
28/11/2014
58. Les Changements dans le Système d’Information des Entreprises
Logs
Files
Web Data
Relational Databases
IDEs
BI / Analytics
Enterprise Reporting
Enterprise Data Warehouse
Online Serving Systems
Manager
SYSTEM OPERATORS
ENGINEERS
ANALYSTS
BUSINESS USERS
Web/Mobile Applications
CUSTOMERS
Sqoop
Sqoop
Sqoop
Flume
Flume
Flume
Modeling Tools
DATA SCIENTISTS
DATA ARCHITECTS
Meta Data/ ETL Tools
ODBC, JDBC,
NFS, HTTP
28/11/2014
60. Une Plate- forme pour Stocker toutes les données
•Stockage et Traitement par Lots
•HDFS + NoSQL
•Gestionnaire de processus batch
BATCH
PROCESSING
(MapReduce, Hive, Pig)
WORKLOAD MANAGEMENT
STORAGE FOR ANY TYPE OF DATA
UNIFIED, ELASTIC, RESILIENT, SECURE
Filesystem
(HDFS)
Online NoSQL
(Hbase)
28/11/2014
61. Ouverte avec des méthodes d’Accès à toutes les données
•Fournir de multiples options pour intégrer les données
•S'appuyant sur les niveaux de compétences et les investissements existants
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
BATCH
PROCESSING
(MapReduce, Hive, Pig)
ANALYTIC
SQL
(Impala)
SEARCH
ENGINE
(RealTimeSearch)
MACHINE
LEARNING
(Mahut, Datafu)
STREAM
PROCESSING
(Spark)
WORKLOAD MANAGEMENT
STORAGE FOR ANY TYPE OF DATA
UNIFIED, ELASTIC, RESILIENT, SECURE
Filesystem
(HDFS)
Online NoSQL
(Hbase)
28/11/2014
62. Prêt pour l'entreprise avec uneSécurité Garantie et la Supervision Globale
•Sécurité et Protection des données et outils pour les Audits
•Haute disponibilité avec sauvegarde automatique et reprise après sinistre
•Système de Gestion Globale
BATCH
PROCESSING
(MapReduce, Hive, Pig)
ANALYTIC
SQL
(Impala)
SEARCH
ENGINE
(RealTimeSearch)
MACHINE
LEARNING
(Mahut, Datafu)
STREAM
PROCESSING
(Spark)
3RDPARTY
APPS
WORKLOAD MANAGEMENT
STORAGE FOR ANY TYPE OF DATA
UNIFIED, ELASTIC, RESILIENT, SECURE
DATA
MANAGEMENT
SYSTEM
MANAGEMENT
Filesystem
(HDFS)
Online NoSQL
(Hbase)
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
28/11/2014
63. Nouvelle Approche «Software»
Traditionnelle
•Monolithique
•Stockage Centralisé
•RDBMS
•Schéma de Donnée d’abord
•PropriétaireSoftware Big Data
•Distribué
•Stockage et Exécutionau niveau du Node
•Toutes les Données Brutes
•Open Source
28/11/2014
64. Nouvelle Approche «Hardware»
64
Matériel Traditionnel
Matériel exotique
•Gros Serveur Central
•SAN
•RAID
Coût élevé
Évolutivité limitéeMatériel Big Data
Matériel de base
•Racks de boîtes de pizza
•Ethernet
•JBOD
Vite Rentable
Évolutivité illimitée
28/11/2014
65. Nouvelles Possibilités grâce aux technologies du BigData
Moteurs de Recommandations
Analyse de Sentiments
Modélisation des Risques
Détection de la Fraude
Analyse de Campagne Marketing
Analyse du taux de désabonnement des clients
Analyse Social Graph
Réseau de surveillance
Data Analytics
Source: Cloudera “Ten Common Hadoopable Problems”
28/11/2014
66. …
Streaming Sources
-Logs
-Apps
-File systems
-Servers
-Devices
Relational Sources
-Databases
-Data Warehouse
Analyseavancée
AnalysePrédictive
Recherchetemps réelet exploration “RootCause”
Exploration, Reporting, Visualisation, Correlation
BATCH
PROCESSING
ANALYTIC
SQL
SEARCH
ENGINE
MACHINE
LEARNING
STREAM
PROCESSING
3RDPARTY
APPS
WORKLOAD MANAGEMENT
STORAGE FOR ANY TYPE OF DATA
UNIFIED, ELASTIC, RESILIENT, SECURE
DATA
MANAGEMENT
SYSTEM
MANAGEMENT
ENTERPRISE DATA HUB
Filesystem
Online NoSQL#BigData#OpenData#OpenSource !
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
28/11/2014
67. Voilà comment les donnéessontouvertesaujourd’hui!
Exploitation faible:
-pas de recherchedansle document
-Formats figés(PDF, CSV…)
Powered by Junar
Les évolutionsdes portailsOpenData
Ouvert
Recherche
Réutilisation
API
Visualisation
28/11/2014
68. PlateformeBigData pour l’OpenData
Un Systèmede gestionde données
pour faciliterla réalisationdes projetsOpen Data
Support de
Multiples Formats
Gestionversions sources de données
Multi- utilisateurs
Personna
lisations
Gestionsdes droitsd’accès
Collect
Enhance
Publish
Social
Report
Suiviset Rapports
Valorisationdes Données
Normalisation
Recherche
Lisibilité
Réutilisation
Exportables
API Standard
Conformesaux specifications et standards de l’OpenData
Sources de Données
XLS
PDF
CSV
ODF
HTML
JSON
…
Open Data Platform
Gestionnairede Donnéesen temps réel
Gestiondu cycle completde publication de la donnée
28/11/2014
69. Etude de Cas: City of Palo Alto
En 3 Etapes
Jonathan Reichental
CIO
Citoyens& Entreprisesprivées
①Démo& Décision
②Implementationinterne
•Finance, Audit
•GIS
•Infrastructure
•Services Publics
•Bibliothèques, Ecoles
•Planification
Searchable Data Catalog
Dashboards
API Site
③Live Open Data Site
Collection des Données
3 Semaines
28/11/2014
70. Merci de votre attention
@ExcelSysFrance
ExcelerateSystemsFranceExcelerate Systems -BigData, Cloud & Security Community
#Security
#BigData
#Cloud
#Mobile
28/11/2014