Vincent Thavonekham et Philippe Guédez de VISEO,
Reactive Extension Rx.Net architecture to overcome the SigFox limits and absorb the heavy IoT load with BigData (using ASP.Net Core Microservices). ALL TECHNICAL DETAILS unveailed.
Sido 2017 : Vincent Thavonekham, MVP azure et Regional Director, VISEO, Retou...FactoVia
HagerServices: Comment créer une plateforme générique mondiale avec le Cloud Azure pour traiter des flux temps réels de capteur hétérogènes (SigFox...) ?
Retour d'expérience : IoT, Sigfox, projets très forte volumétrie, DeltaMetric, microservices, framework AKKA et Rx.Net, pattern observable
Lors du PaaS Tour de France, j'ai co-organisé et réalisé un talk sous forme de REX sur Hager
Vincent Thavonekham Regional Director
AZUG FR-MUG Lyon
VISEO
Démystifier ce sujet : présentation de plusieurs déploiements Cloud Azure et non Azure ; détails d’architectures, qui combiné à de l’OpenSource (Linux, Docker, Python, NodeJS, C#, Git, …) et à des bonnes pratiques CI/CD, nous arrivons à des solutions élégantes et peu coûteuses ; REX sur les pièges dans lesquels nous sommes tombés et comment bien débuter. Enfin, vous comprendrez pourquoi il est difficile d’expliquer les apports de l’Industrie 4.0 et comment j’y répond.
Benchmark des solutions IoT et intégration d'une plateforme à un progiciel de...Karim Gmir
Ce projet s’inscrit dans le cadre de la préparation du diplôme d’ingénieur en Instrumentation et Maintenance industrielle. Il a été réalisé au sein de l’entreprise Talan Solutions acteur majeur dans l’accompagnement des entreprises dans la transformation digitale. Le projet s’inscrit en outre dans le registre des actions menant l’entreprise à développer des projets avant-gardistes lui permettant de bien se positionner dans le marché de l’Internet des Objets. L’objectif était de réaliser un benchmark des solutions IoT présentes sur marché et ainsi de développer une interface de communication entre une plateforme cloud IBM Bluemix et une plateforme de gestion d’actifs industriels IBM Maximo Asset Management. L’interface propose des fonctionnalités de gestion de la maintenance dont l’une celle de la maintenance prédictive, une approche cognitive facilitant la prise de décision et permettant d’optimiser les ressources.
L'Internet des objets implique les appareils connectés à Internet que nous utilisons pour exécuter les processus et les services qui soutiennent notre mode de vie.
Un autre ensemble de composants pour aider l'IoT à réussir est le cloud computing, qui agit comme une sorte de frontal. Le cloud computing est un service de plus en plus populaire qui offre plusieurs avantages à l'IoT et repose sur le concept de permettre aux utilisateurs d'effectuer des tâches informatiques normales en utilisant des services entièrement fournis sur Internet.
Dans cette exposé , On va savoir les différentes approches qui peuvent être utilisées pour traiter et stocker des données (générées par des appareils IoT) sur le cloud.
Sido 2017 : Vincent Thavonekham, MVP azure et Regional Director, VISEO, Retou...FactoVia
HagerServices: Comment créer une plateforme générique mondiale avec le Cloud Azure pour traiter des flux temps réels de capteur hétérogènes (SigFox...) ?
Retour d'expérience : IoT, Sigfox, projets très forte volumétrie, DeltaMetric, microservices, framework AKKA et Rx.Net, pattern observable
Lors du PaaS Tour de France, j'ai co-organisé et réalisé un talk sous forme de REX sur Hager
Vincent Thavonekham Regional Director
AZUG FR-MUG Lyon
VISEO
Démystifier ce sujet : présentation de plusieurs déploiements Cloud Azure et non Azure ; détails d’architectures, qui combiné à de l’OpenSource (Linux, Docker, Python, NodeJS, C#, Git, …) et à des bonnes pratiques CI/CD, nous arrivons à des solutions élégantes et peu coûteuses ; REX sur les pièges dans lesquels nous sommes tombés et comment bien débuter. Enfin, vous comprendrez pourquoi il est difficile d’expliquer les apports de l’Industrie 4.0 et comment j’y répond.
Benchmark des solutions IoT et intégration d'une plateforme à un progiciel de...Karim Gmir
Ce projet s’inscrit dans le cadre de la préparation du diplôme d’ingénieur en Instrumentation et Maintenance industrielle. Il a été réalisé au sein de l’entreprise Talan Solutions acteur majeur dans l’accompagnement des entreprises dans la transformation digitale. Le projet s’inscrit en outre dans le registre des actions menant l’entreprise à développer des projets avant-gardistes lui permettant de bien se positionner dans le marché de l’Internet des Objets. L’objectif était de réaliser un benchmark des solutions IoT présentes sur marché et ainsi de développer une interface de communication entre une plateforme cloud IBM Bluemix et une plateforme de gestion d’actifs industriels IBM Maximo Asset Management. L’interface propose des fonctionnalités de gestion de la maintenance dont l’une celle de la maintenance prédictive, une approche cognitive facilitant la prise de décision et permettant d’optimiser les ressources.
L'Internet des objets implique les appareils connectés à Internet que nous utilisons pour exécuter les processus et les services qui soutiennent notre mode de vie.
Un autre ensemble de composants pour aider l'IoT à réussir est le cloud computing, qui agit comme une sorte de frontal. Le cloud computing est un service de plus en plus populaire qui offre plusieurs avantages à l'IoT et repose sur le concept de permettre aux utilisateurs d'effectuer des tâches informatiques normales en utilisant des services entièrement fournis sur Internet.
Dans cette exposé , On va savoir les différentes approches qui peuvent être utilisées pour traiter et stocker des données (générées par des appareils IoT) sur le cloud.
IoT et architecture cloud haute performanceMicrosoft
L'internet des objets génère des données de petite taille unitaire mais en extrêmement grande quantité. Venez découvrir comment l'utilisation de design-pattern permet la mise en œuvre d'architecture cloud à haute performance. Nous utiliserons l'implémentation .Net du pattern Actor Model : Le projet "Orléans". Bien entendu, il aura aussi de l'IoT et pourquoi pas une petite excursion sur des rives antiques mésopotamiennes.
L’explosion des objets connectés dans notre quotidien oblige le modèle de l’intégration à s’adapter. Les problématiques ne sont plus les mêmes, on passe d’une intégration déclarative à prescriptive, capable d’observer des comportements selon différentes facettes. Quelles sont les réponses de Microsoft ?
Plateforme digitale services et technologiesWilliam Poos
Nouvelles technologies au service de la transformation de votre modèle d'affaire. Positionnement et composition de votre plateforme digitale. Squad as a service - de la compétence à votre service !
Session Avanade: Le déploiement d’une stratégie de cloud hybride sera une priorité en 2015 pour 72% des entreprises françaises*. Si les sociétés investissent de plus en plus vite dans le cloud hybride, rares sont celles qui mesurent pleinement son potentiel. Comment les aider à tirer avantage du cloud, et à en concrétiser les promesses, sans renoncer à la facilité d’administration qu’elles attendent de leurs environnements informatiques classiques ? Lors de cette session, nous vous présenterons la solution Accenture de cloud hybride pour Microsoft Azure. Nous détaillerons comment assurer une migration et une gestion des applications entre clouds privés et publics de façon fluide et automatisée, à la demande et en temps réel à partir d’une console unique. *Source : étude Avanade réalisée en octobre 2014 par Wakefield Research.
La Duck Conf - Initier un Datalab : rien à voir avec ce que j'imaginais !OCTO Technology
Présentation du talk de Frederic Petit.
Mettre en place un Datalab, c'est simple, il suffit d'installer un cluster Hadoop ! Et bien non : 3 mois après le lancement de projet, toujours pas d'Hadoop mais des data-scientists heureux et productifs !
La recette d'un bon datalab : étudier les données, assurer leur qualité et qualifier des use cases métier précis.
Autrefois perçu par les entreprises comme un centre de coûts, l’informatique est dorénavant un atout stratégique. Cette évolution est accompagnée par l’apparition de nouvelles façons de faire censées accélérer ce retour en grâce. Pierre angulaire de ces nouvelles approches, DevOps s’annonce comme clé pour réussir ce changement de paradigme.
Si DevOps peut être présenté comme un ensemble de pratiques qui visent à fluidifier les relations entre les études et les opérations (casser le mur de l’incompréhension), il peut aussi être perçu comme le dernier maillon pour pousser l’agilité jusqu’à la production et ainsi accélérer le time to market, ou encore comme une suite d’outils visant à l’automatisation du provisionning d’environnement et de la chaîne de déploiement.
Il n’est finalement pas si aisé d’appréhender les tenants et les aboutissants de ce mouvement. C’est pourquoi nous vous proposons de clarifier ce sujet avec cet Afterwork qui porte un double objectif :
Proposer une définition de DevOps dans un but d’alignement et de disposer d’une vision partagée.
Se baser sur cette définition pour être capable de faire le tri entre ce qui est DevOps et ce qui ne l’est pas afin de réellement intégrer cette méthodologie dans votre organisation et d’éviter de passer à côté de cette transformation par une approche trop souvent réductrice.
Cet Afterwork sera aussi l’occasion de profiter du retour d’expérience de Kudelski Security avec la participation de Frédéric Thabaret (Head of Software Engineering) pour le point de vue Dev et de Fred Blaise (Head Of Engineering - Infrastructure & Operations) pour celui des Ops.
Valtech - Internet of Things & Big Data : un mariage de raisonValtech
Nous assistons aujourd'hui à une explosion du marché des objets connectés (Internet of Things). Gartner annonce potentiellement 25 milliards d’objets connectés en 2020.
Devant le tsunami de données que les IoT vont générer, il devient donc impératif que l’entreprise puisse mettre en place un écosystème Big Data complet pour faire face à cette avalanche.
Hervé Desaunois - Directeur technique, Valtech Toulouse
herve.desaunois@valtech.fr
Petit-déjeuner OCTO Technology : Calculez vos indicateurs en temps réel ave...OCTO Technology
Le Big Data touche le paroxysme de sa médiatisation. Tout est devenu Big Data, mélangeant nouvelles approches métiers, technologies et business models.
De vraies opportunités se présentent toutefois. Ainsi, la capacité à suivre en temps réel les indicateurs clés du business à partir d’un nombre croissant de sources de données est un challenge que le « Big Data » peut relever.
Découvrez, au travers d'un retour d'expérience commun EDF R&D/OCTO Technology, comment Storm peut vous permettre de relever ce défi.
Compte-rendu du petit-déjeuner : http://bit.ly/1dpbNgF
Simalaya - IoT - enjeux, impacts et facteurs clés de succès Simalaya SA
L'Internet of Things (IoT) impacte la stratégie, l'écosystème et l'organisation des entreprises. L'Internet des Objets a déjà transformé plusieurs acteurs majeurs (GE, TESLA...). Quels sont les enjeux ? Quels sont les facteurs clés de succès pour une stratégie IoT réussie? Quels sont les principaux écueils? Introduction par Jonathan KOSKAS, consultant Simalaya
IoT (M2M) - Big Data - Analyses : Simulation et DémonstrationCHAKER ALLAOUI
Etude et simulation des systèmes IoT modernes avec des exemples des objets connectés tels que: GPS, Philips Hue, Thermomètre, et voitures connectées implémenté avec la technologie nodeJS et Node-Red avec le protocole de communication de M2M (MQTT).
Ainsi qu'une étude analytique basée sur Elasticsearch, MongoDB, Apache Hadoop, Apache Hive et Jaspersoft.
Verso i bigdata giudiziari? (Nexa Torino, luglio 2016)Simone Aliprandi
Le slides utilizzate da Simone Aliprandi per il seminario "Verso i bigdata giudiziari? Problemi di privacy e copyright nella diffusione di sentenze sul web" tenutosi al Centro Nexa del Politecnico di Torino (info: http://juriswiki.it/news/al-politecnico-di-torino-si-parla-di-bigdata-giudiziari-e-di-juriswiki)
IoT et architecture cloud haute performanceMicrosoft
L'internet des objets génère des données de petite taille unitaire mais en extrêmement grande quantité. Venez découvrir comment l'utilisation de design-pattern permet la mise en œuvre d'architecture cloud à haute performance. Nous utiliserons l'implémentation .Net du pattern Actor Model : Le projet "Orléans". Bien entendu, il aura aussi de l'IoT et pourquoi pas une petite excursion sur des rives antiques mésopotamiennes.
L’explosion des objets connectés dans notre quotidien oblige le modèle de l’intégration à s’adapter. Les problématiques ne sont plus les mêmes, on passe d’une intégration déclarative à prescriptive, capable d’observer des comportements selon différentes facettes. Quelles sont les réponses de Microsoft ?
Plateforme digitale services et technologiesWilliam Poos
Nouvelles technologies au service de la transformation de votre modèle d'affaire. Positionnement et composition de votre plateforme digitale. Squad as a service - de la compétence à votre service !
Session Avanade: Le déploiement d’une stratégie de cloud hybride sera une priorité en 2015 pour 72% des entreprises françaises*. Si les sociétés investissent de plus en plus vite dans le cloud hybride, rares sont celles qui mesurent pleinement son potentiel. Comment les aider à tirer avantage du cloud, et à en concrétiser les promesses, sans renoncer à la facilité d’administration qu’elles attendent de leurs environnements informatiques classiques ? Lors de cette session, nous vous présenterons la solution Accenture de cloud hybride pour Microsoft Azure. Nous détaillerons comment assurer une migration et une gestion des applications entre clouds privés et publics de façon fluide et automatisée, à la demande et en temps réel à partir d’une console unique. *Source : étude Avanade réalisée en octobre 2014 par Wakefield Research.
La Duck Conf - Initier un Datalab : rien à voir avec ce que j'imaginais !OCTO Technology
Présentation du talk de Frederic Petit.
Mettre en place un Datalab, c'est simple, il suffit d'installer un cluster Hadoop ! Et bien non : 3 mois après le lancement de projet, toujours pas d'Hadoop mais des data-scientists heureux et productifs !
La recette d'un bon datalab : étudier les données, assurer leur qualité et qualifier des use cases métier précis.
Autrefois perçu par les entreprises comme un centre de coûts, l’informatique est dorénavant un atout stratégique. Cette évolution est accompagnée par l’apparition de nouvelles façons de faire censées accélérer ce retour en grâce. Pierre angulaire de ces nouvelles approches, DevOps s’annonce comme clé pour réussir ce changement de paradigme.
Si DevOps peut être présenté comme un ensemble de pratiques qui visent à fluidifier les relations entre les études et les opérations (casser le mur de l’incompréhension), il peut aussi être perçu comme le dernier maillon pour pousser l’agilité jusqu’à la production et ainsi accélérer le time to market, ou encore comme une suite d’outils visant à l’automatisation du provisionning d’environnement et de la chaîne de déploiement.
Il n’est finalement pas si aisé d’appréhender les tenants et les aboutissants de ce mouvement. C’est pourquoi nous vous proposons de clarifier ce sujet avec cet Afterwork qui porte un double objectif :
Proposer une définition de DevOps dans un but d’alignement et de disposer d’une vision partagée.
Se baser sur cette définition pour être capable de faire le tri entre ce qui est DevOps et ce qui ne l’est pas afin de réellement intégrer cette méthodologie dans votre organisation et d’éviter de passer à côté de cette transformation par une approche trop souvent réductrice.
Cet Afterwork sera aussi l’occasion de profiter du retour d’expérience de Kudelski Security avec la participation de Frédéric Thabaret (Head of Software Engineering) pour le point de vue Dev et de Fred Blaise (Head Of Engineering - Infrastructure & Operations) pour celui des Ops.
Valtech - Internet of Things & Big Data : un mariage de raisonValtech
Nous assistons aujourd'hui à une explosion du marché des objets connectés (Internet of Things). Gartner annonce potentiellement 25 milliards d’objets connectés en 2020.
Devant le tsunami de données que les IoT vont générer, il devient donc impératif que l’entreprise puisse mettre en place un écosystème Big Data complet pour faire face à cette avalanche.
Hervé Desaunois - Directeur technique, Valtech Toulouse
herve.desaunois@valtech.fr
Petit-déjeuner OCTO Technology : Calculez vos indicateurs en temps réel ave...OCTO Technology
Le Big Data touche le paroxysme de sa médiatisation. Tout est devenu Big Data, mélangeant nouvelles approches métiers, technologies et business models.
De vraies opportunités se présentent toutefois. Ainsi, la capacité à suivre en temps réel les indicateurs clés du business à partir d’un nombre croissant de sources de données est un challenge que le « Big Data » peut relever.
Découvrez, au travers d'un retour d'expérience commun EDF R&D/OCTO Technology, comment Storm peut vous permettre de relever ce défi.
Compte-rendu du petit-déjeuner : http://bit.ly/1dpbNgF
Simalaya - IoT - enjeux, impacts et facteurs clés de succès Simalaya SA
L'Internet of Things (IoT) impacte la stratégie, l'écosystème et l'organisation des entreprises. L'Internet des Objets a déjà transformé plusieurs acteurs majeurs (GE, TESLA...). Quels sont les enjeux ? Quels sont les facteurs clés de succès pour une stratégie IoT réussie? Quels sont les principaux écueils? Introduction par Jonathan KOSKAS, consultant Simalaya
IoT (M2M) - Big Data - Analyses : Simulation et DémonstrationCHAKER ALLAOUI
Etude et simulation des systèmes IoT modernes avec des exemples des objets connectés tels que: GPS, Philips Hue, Thermomètre, et voitures connectées implémenté avec la technologie nodeJS et Node-Red avec le protocole de communication de M2M (MQTT).
Ainsi qu'une étude analytique basée sur Elasticsearch, MongoDB, Apache Hadoop, Apache Hive et Jaspersoft.
Verso i bigdata giudiziari? (Nexa Torino, luglio 2016)Simone Aliprandi
Le slides utilizzate da Simone Aliprandi per il seminario "Verso i bigdata giudiziari? Problemi di privacy e copyright nella diffusione di sentenze sul web" tenutosi al Centro Nexa del Politecnico di Torino (info: http://juriswiki.it/news/al-politecnico-di-torino-si-parla-di-bigdata-giudiziari-e-di-juriswiki)
위 자료는 BOAZ 2016 하반기 프로젝트 주제의 하나로, Advanced 정규세션 동안 Base 정규세션에서 배웠던 다양한 이론들과 기본 지식들, 그리고 툴 활용능력들을 직접 실행하며 진행한 결과물입니다.
*** 서울시 2030 나홀로족을 위한 라이프 가이드북 ***
서울에 거주하는 2030 나홀로족을 위해 제작된 라이프 가이드북. 이 가이드북의 주목적은 먹는 것(식) 그리고 사는 것(주)에 대해서 그에 관한 정보를 주는 것임.
6기 김승효 중앙대학교 응용통계학과
6기 김재은 이화여자대학교 시각디자인과
7기 박다혜 한국외국어대학교 통계학과
** 국내 최초 대학생 빅데이터 연합동아리 BOAZ **
Blog : http://BOAZbigdata.com
Facebook : http://fb.com/BOAZbigdata
Oxalide MorningTech #1 - BigData
1er MorningTech @Oxalide, animé par Ludovic Piot (@lpiot), le 15 décembre 2016.
Pour cette 1ère édition du Morning Tech nous vous proposons une overview sur un des thèmes du moment : le Big Data.
Au delà de ce buzz word nous aborderons :
Les grands concepts
Les étapes clés des projets Big Data et les technologies à utiliser (stockage, ingestion, …)
Les enjeux des architectures Big Data (architecture lambda, …)
L'intelligence artificielle (machine learning, deep learning, …)
Et nous finirons par un cas d'usage du big data sur AWS autour de l'utilisation des données gyroscopiques de vos internautes mobiles
Subject: Oxalide's 1st MorningTech talk about BigData.
Date: 15-dec-2016
Speakers: Ludovic Piot (@lpiot, @oxalide)
Language: french
Lien SpeakerDeck : https://speakerdeck.com/lpiot/oxalide-morningtech-number-1-bigdata
Lien SlideShare : https://www.slideshare.net/LudovicPiot/oxalide-morningtech-1-bigdata
YouTube Video capture: https://youtu.be/7O85lRzvMY0
Main topics:
* Les grands enjeux du BigData
** les 3 V du Gartner : volume, variété, vélocité
* Le stockage des données
** datalake
** les technos
* L'ingestion des données
** ETL
** datastream
** les technos
* Les enjeux du compute
** map-reduce
** spark
** lambda architecture
* Démo d'une plateforme BigData sur AWS
* L'intelligence artificielle
** datascience exploratoire et notebooks,
** machine learning,
** deep learning,
** data pipeline
** les technos
* Pour aller plus loin
** La gouvernance des données
** La dataviz
Retour d'expérience de projets Azure IoT "large scale" (MicroServices, portag...Microsoft
Suite à la réalisation de plusieurs projets Azure IoT, place aux retours d'expériences. Entre des migrations de M2M/IoT Amazon vers Azure, jusqu'à la création de projet nécessitant de « scaler » jusqu'à 1 million d'objets SigFox, en passant par des projets plus modestes, mais avec des problématiques de santé, nous verrons comme les patterns Cloud, l'ASP.Net Core, et les MicroServices, etc... mais aussi les Juristes, les méthodologies de gestion de projets Agile et IoT … sont devenus incontournables.
Architecture Moderne dans le Cloud en 2018Marius Zaharia
Aujourd'hui, les grands Clouds publics - Azure et AWS - déploient à grande vitesse une diversité de services et de fonctionnalités. Entre Azure Functions, Event Grid, ou Logic Apps, que choisir? Dois-je continuer sur Microservices? Event-Driven? Lambda Architecture? Déployer sur Serverless? Conteneurs ? Modern compute ? Mettons un peu d'ordre dans tout ça. Entrez dans l'architecture moderne, la base de toute la nouvelle vague de services Cloud et pas seulement. Session axée sur l'architecture des applications et de l'infrastructure, des exemples en direct basés sur le Cloud, les perspectives et la feuille de route des services correspondants chez Microsoft Azure.
Petit déjeuner Octo - L'infra au service de ses projetsAdrien Blind
Cette présentation revient sur le projet d'automatisation de l'infrastructure informatique de Société Générale, dans un contexte plus large de déploiement des pratiques et outils du continuous delivery et devops.
Ce document est le support du Webcast organisé le 9 juin par les sociétés EUROTECH, MATOOMA et THINGWORX. L'animation a été réalisée par François Gauthier du journal l'Embarqué.
Thème : Ces nouveaux outils qui assurent le succès de vos solutions IoT / M2M de demain.
Support de cours pour la formation de Miage M2 Option Energie (https://sites.google.com/site/m2miageenergie/)
Cours de 3h qui a pour objet une réflexion sur les mutations actuelles du monde de l'énergie
Introduction au Cloud computing: principes, modèles et enjeux.
Le lecteur pourra découvrir l'architecture de référence du Cloud computing ainsi que des informations succinctes sur l'état de l'art et du marché.
Que sont le cloud computing et Amazon Web Services (AWS)? Comment mon entreprise peut-elle tirer profit du cloud computing? Si vous cherchez des réponses à ces questions, suivez ce webinaire et apprenez comment baisser vos coûts, être plus agile et maintenir, voire améliorer, le niveau de sécurité de vos applications.
Gab17 lyon-rex build dev ops sur une infra iaas-paas multisite-by-matthieupetiteAZUG FR
Dans cette session, nous aborderons les différentes actions qui nous ont permis de mener à bien ce projet ainsi que les contraintes et comment nous les avons contourner afin d'arriver à une infrastructure et garantir un PCA sur cette application.
Decentralised Control of Intelligent Devices: A Healthcare Facility Study FactoVia
Exploration du sujet par le prisme du développeur Clean Code :
INTELLIGENCE ARTIFICIELLE + IoT POUR ASSISTER LE PERSONNEL MEDICAL
Ref: Viseo sta-2018-ai-dcop
Les bonnes pratiques CleanCode sont-elles compatibles avec l’Intelligence Artificielle et l’IoT ?
Sacha LHOPITAL
Vincent THAVONEKHAM - VISEO | MVP Azure | Microsoft Regional Director
Professeur Samir AKNINE - Université Claude Bernard Lyon 1
Creative Common : Free usage (non commercial)
1. No need to have prior Quantum understanding : We'll illustrates using fun stories and comparisons with realities to make Quantum world easy for you !
2. Coding on a TRUE Quantum computer is possible ? Yes, we’re gonna prove & demo it!
with True 5-Qbit computer !
Why care about GDPR and avoid over $20 million fines, even outside EU ?FactoVia
Yes, YOU are concerned with 20 000 000€ fines, even outside EU ! You've been watched by Global Data Regulation Privacy !
At first, I thought that was only a EU matter, but when traveling to the US, it is a serious topic that impacts many IT companies worldwide !
This presentation is an introduction on how to get structured rapidly and be ready for D-Day, and avoid HUGE fines... and make citizen's privacy at last secured !
Official Website : http://www.eugdpr.org
The Future of Microsoft Data Platform. Focus on Azure IoT, Analytics and Power BI
Power BI (“v2”) est un outil permettant le ‘self-service BI’ pour aboutir à une BI Agile… Power BI est l’avenir de la BI …
Mais pas forcément comme on pourrait l’imaginer…
Microsoft a une vision très large de la stratégie « Data Platform »
Le Cloud permet de faciliter cette adoption
Penchons-nous sur le futur proche de Microsoft Data platformet regardons en quoi Power BI va jouer un rôle clef.
Objet direct 2013-05-11 Microsoft ALM 2013 Software FactoryFactoVia
Microsoft ALM 2013 Software Factory
(Visual Studio 2013, Team Foundation Server 2013, Team Foundation Service 2013, DevOps, DevCloud)
Objet direct, Grenoble, 2013-05-11
Objet direct 2013-05-11 Microsoft ALM 2013 Software Factory
Retour d'expérience Large IoT project / BigData : détail du cas réel de HagerServices
1. RETOUR D'EXPÉRIENCE "LARGE IOT PROJECTS".
FOCUS SUR HAGERSERVICES
Cloud Practice Manager chez VISEO
Vincent Thavonekham, MVP Azure
@vThavo, vincent.thavonekham@viseo.com
Senior architect BigData / Data Science chez VISEO
Philippe Guédez
v4
3. MIEUX VOUS CONNAITRE
• Qui connait l’ IoT d’Azure ?
• Qui connait l’architecture Lambda ?
• Qui fait du microservices ?
• Qui utilise AWS ? (le IaaS, le PaaS)
5. Début de l’aventure IoT: « Naissance des idées »
« Une idée, cela peut changer le monde.
Mais comment la trouver? » Cédric Villani
• La documentation
• La motivation
• L’environnement
• Les échanges
• Les contraintes
• La chance
• La persévérance
• Selon Cédric Villani, Pr Maths, Médaille Fields
Retour d'expérience "large IoT projects", Focus sur HagerServices
6. Retour d'expérience "large IoT projects", Focus sur HagerServices
Par où commencer en IoT / BigData ?
Genèse pour réussir ces projets
Votre perception
de l’IoT/BigData
« C’est facile, on réfléchit
et ça coûte tant !
Et le ROI du projet
est x-k€ sur 2 ans »
Credits: starwars.wikia.com
Droit d’auteur "Fair Use"
2010
8. • Croisement des informations sur trois axes
Des méthodologies
et architectures éprouvées
IoT and BigData : IoT Azure at scale - Featuring HagerServices and AgileIoT
Provenance de ces retours d’expériences IoT
9. RETOURS SUR UN PROJET
AZURE IOT EN PARTICULIER
Hagerservices
10. HAGER SERVICES
WHAT WAS THE NEED
Hager wanted to launch new services based on
sensors connected to the SigFox network.
They needed experts to help choosing the right
architecture and technology to handle this new
flow of data.
They turned to us to create the platform that will
be able to gather numerous data in the coming
years.
11. BESOIN HAGERSERVICES: Capteurs incendie
« connectés »
– Directeur du projet : Simon ANDRE
– Equipe de 6 personnes
– Architecture fortement inspirée des architecture
dites « Lambda » pour de l’IoT / BigData
Témoignage client : hagerservices
Retour d'expérience "large IoT projects", Focus sur HagerServices
12. • Exigence Sigfox
– Taille des trames Sigfox : 12 octets
– 140 messages / 24h / device
– 20 minutes entre deux trames
• Exigence Hager
– Permettre aux devices d’envoyer
des messages supérieurs à cette limite
Témoignage client : hagerservices
Retour d'expérience "large IoT projects", Focus sur HagerServices
13. • Exigence Hager
– Plate-forme IoT « générique »
• Démarrage avec les détecteurs d’incendie
• Mais plateforme ouverte permettant d’intégrer de
nouveaux produits, nouveaux services
Témoignage client : hagerservices
Retour d'expérience "large IoT projects", Focus sur HagerServices
14. Simplifié :
• Azure WebJob + WebApp basés sur ASP.Net Core 1.0
• Architecture micro-services asynchrone et event-based
• DAL basée sur micro-ORM Dapper
Architecture : forte volumétrie + traitements « near-temps réel »
Témoignage client : hagerservices
Event Hub
Utilisateurs
Assemblage Routage Traitement
et stockage
Retour d'expérience "large IoT projects", Focus sur HagerServices
15. Le problème du réassemblage des trames
15
Enterprise integration patterns
• Slitter côté Device
Retour d'expérience "large IoT projects", Focus sur HagerServices
16. Le problème du réassemblage des trames
16
Retour d'expérience "large IoT projects", Focus sur HagerServices
17. Premier prototype avec StreamAnalytics
– Opérateur d’agrégation CollectTOP
• Grouper par deviceId, hagerMessageId
– SlidingWindow
• Gestion des timeout
– Trames SigFox pré-parsées par IoT Hub
– Syntaxe SQL-like
Le problème du réassemblage des trames
Retour d'expérience "large IoT projects", Focus sur HagerServices
18. StreamAnalytics / Sliding Windows (glissant)
Le problème du réassemblage des trames
Retour d'expérience "large IoT projects", Focus sur HagerServices
1 5 8
8
51
9
51 9
1
Exemple
Par topic, donne-moi le nombre
de tweets qui ont été twittés plus
de 10 fois dans les 10 dernières
secondes
SELECT Topic, COUNT(*) FROM TwitterStream
TIMESTAMP BY CreatedAt
GROUP BY Topic, SlidingWindow(second, 10)
HAVING COUNT(*) > 10
19. Retour d'expérience "large IoT projects", Focus sur HagerServices
Le problème du réassemblage des trames
20. POC StreamAnalytics non concluant
– API limitée
• Absence d’opérateurs binaires pour analyser la
« payload » Hager
• Absence d’opérateurs pour réassembler les trames
• Bien moins riche que SQL
– Besoin de traitements spécifiques
Le problème du réassemblage des trames
Retour d'expérience "large IoT projects", Focus sur HagerServices
21. Notre choix final s’est porté sur
Reactive Extensions (Rx.NET) …
Le problème du réassemblage des trames
Retour d'expérience "large IoT projects", Focus sur HagerServices
22. “Rx done right”
“ReactiveX is a combination of the best ideas
from the Observer pattern (Gang of Four),
the Iterator pattern, and functional programming”
http://reactivex.io/22
Similaire à Linq mais streams asynchrones + opérateurs pour gérer le temps
Linq
Retour d'expérience "large IoT projects", Focus sur HagerServices
24. Le problème du réassemblage des trames
Opérateur de transformation “GroupBy”: Observable set of Observables
http://reactivex.io/documentation/operators/groupby.html24
Retour d'expérience "large IoT projects", Focus sur HagerServices
25. Microsoft-referenced architecture: Stream Analytics remplacé par Rx
Sources : https://azure.microsoft.com/en-us/documentation/articles/iot-suite-what-are-preconfigured-solutions/
Retour d'expérience "large IoT projects", Focus sur HagerServices
Architecture candidate
Event Hub
Storage
Web/Mobile App
IoT Hub Web Jobs
Devices DocumentDB
SQL
Database
Redis
Cache
Web Jobs
Back-end
systems
and
processes
26. • Reactive Extensions (Rx.Net)
Témoignage Simon ANDRE, IoT Cloud Manager :
- « Traitement lourds ‘temps réels’ devenus possibles ; trier/réassembler Trames »
- « Usage intensif des custom middleware côté API »
- « Pour les Tests Unitaires, on est à 100% de couverture »
Retour d'expérience "large IoT projects", Focus sur HagerServices
Architecture candidate
Event Hub
27. • Architecture micro-services
– Traitement différencié des trames en fonction
• Du produit
• De leur priorité (alarmes avant les trames de fil de l’eau)
– Faciliter l’intégration de nouveaux
produits, de nouveaux services
Sources : https://github.com/Azure-Samples/service-fabric-dotnet-iot
https://azure.microsoft.com/en-us/documentation/articles/service-fabric-overview-microservices
https://azure.microsoft.com/fr-fr/documentation/samples/service-fabric-dotnet-iot/
Retour d'expérience "large IoT projects", Focus sur HagerServices
Architecture candidate
Event Hub
28. Retour d'expérience "large IoT projects", Focus sur HagerServices
Architecture candidate
Event Hub
– Approche microservices : une partition par usage
• Alarmes
• Appairage
• Télémétrie
– Partitions consommées par des WebJobs
– Les WebJobs prennent en charge le traitement des
messages et leur stockage en base de données
Event Hub
29. Retour d'expérience "large IoT projects", Focus sur HagerServices
Architecture candidate
Azure SQL Server
– Sharding géré avec Elastic Database client library
– Un shard par produit
DocumentDB
– Non retenu car choix fait il y a 1 an et demi
– Solution aujourd’hui en prod chez nos clients
30. Simon ANDRE, IoT Cloud Manager
Témoignage client : hagerservices
« Timing très court … nous
devions faire des choix pra
gmatiques … »
« Nous sommes très satisfaits
des performances »
« Jeunesse SigFoxAzure
IoT : Quelques ajuste-
ments »
« ASP.Net Core 1.0 Web Apps
= Globalement un bon choix »
Retour d'expérience "large IoT projects", Focus sur HagerServices
33. AgileIoT Philosophy
The AgileIoT philosophy is the same as the renaissance workshop one, the cell wher
e everything needed was made to realize a new handiwork: starting from the design
to the marketing, going through the learning and the production.
Team’s members are pushed to behave like renaissance craftsmen, with ability they
use various materials, techniques and tools to satisfy the handiwork’s customer.
AgileIoT brings the customer’s need to the center, harmonizing competencies, appro
aches and various technologies by defining a main-set of economically-sustainable t
ools to create an IoT solutions.
Retour d'expérience "large IoT projects", Focus sur HagerServices
34. AgileIoT Principles
It’s not software, hardware or service: it’s about jobs to be done!
It’s not the completion of a software or hardware project but a smart solution, base
d on both, to solve a need in an effective and efficient way.
Think less and do it!
Reduce to the bare minimum the time dedicated to the analysis phase, in favor of a
quick startup of development’s activities related to the solution.
Simple is better!
Simpler is the solution, more chance we have to evolve it according to stakeholders
needs.
If you can’t remember it, you can’t improve it!
Using visual management system to monitoring the state of the solution
development.
Retour d'expérience "large IoT projects", Focus sur HagerServices
35. AgileIoT Practices
Fast Prototyping
Validate the overall sustainability of the solution.
Make-Measure-Learn
This loop aims to fast experiment different hypotheses and assumptions:
Flashback
Match the state of the project with a fast alignment, where the observer team will
check the work of another team directly.
Continuous Improvement
Reduce to the minimum the changes to the hardware side, which is a long-term and
expensive task.
Continuous Integration
Integrate continuously (and as soon as possible) every change, in order
to identify problems and resolve them in a timely fashion.
Retour d'expérience "large IoT projects", Focus sur HagerServices
36. AgileIoT Duttile Poster
Prototype Phase (timing: typically, 2
-4 weeks), it’s the first phase of the p
rocess. There’s the Vision definition,
Fast Prototypization and Product Bac
klog definition using a specific planni
ng phase;
Engineering Phase (timing: time needed for reaching
the Value). In this step, the solution is engineerized a
nd developed. It’s, as one could deduct, the most imp
ortant and complex phase of the whole process;
Workout Phase (timing: Typically,
1-2 weeks). It’s the last phase, focal
ized onto the Deployment, Support
and the Continuous Improvement
of the product.
Retour d'expérience "large IoT projects", Focus sur HagerServices
38. AgileIoT Fast Prototyping
Energy: focused on the energetic-based aspects as a function o
f the needs of the operational continuity of smart devices;
Hardware : focused on the validation of the hardware through o
ne or more Evaluation Kits (EVK).
Code: focused on the prototyping of the firmware of the devices and
the services made for acquiring the main data/events.
Data Flow: focused on the aspects related to the gathering, clea
ning-up and managing of the Raw Data that comes from the devi
ces.
Cloud: focused on the Cloud aspects of the solution, as a data/e
vent management platform.
Security: focused on the verification of the security aspects, which a
ffect the solution as well as the development.
Delivery Prototyping: focused on the deploy of the elements of
the solution, speaking about both hardware items and services o
nes.
Legal: focused on the analysis of the law and regulations, national a
nd international, which the solution must consider in order to becom
e a marketable product.
Retour d'expérience "large IoT projects", Focus sur HagerServices
40. CE QUE NOUS AVONS APPRIS
1. Bien respecter les « Best Practices » IoT pour éviter les échecs
– Pensez idéation, valeur métier, … (cf « Agile IoT »)
2. Le projet ne s’arrête pas à la fin des développements !
– Ne pas se concentrer uniquement sur le projet « informatique »
– Budget Qualité / Prod : PRA, ITIL v3, « vrai » DevOps à terme
– Principe de précaution de la Loi de Murphy :
« Tout ce qui est susceptible de mal tourner tournera nécessairement mal. ». Prévoir les « Single
point of Failure » (SPOF)
3. Pilotage d’un projet IoT : pas uniquement les Dev et la R&D
– C’est un projet de transformation de l’entreprise : Implication Direction
4. Succès grâce à une avance technologique
– Lire, s’ouvrir, travailler avec Microsoft Corp, …
Retour d'expérience "large IoT projects", Focus sur HagerServices
@vThavo et PhilippeG vous présentent #REX #AzureIoT #LargeProjects #Hager au #MSCloudSummit
V1.1: ajout de Philippe
Ari
Considérations, erreurs ou cul de sac par rapport au besoin: Cassandra, Azure Container Services, Entity Framework, AKKA.Net, Azure IoT Suite, ASP.Net 4, Stream Analytics, Azure functions, …
L’autre ORMlite que j’avais proposé était Simple.Data
Dapper a été retenu par Simon pour ses performances et son modèle beaucoup plus ouvert que Simple.Data.
Cependant, il a passé du temps à écrire la DAL car Dapper ne gère pas par exemple les requêtes par critères ou la gestion de cache (fonctionnalités qu’on retrouve avec EF / NHibernate).
The Observable type adds two missing semantics to the Gang of Four’s Observer pattern, to match those that are available in the Iterable type:
the ability for the producer to signal to the consumer that there is no more data available (a foreach loop on an Iterable completes and returns normally in such a case; an Observable calls its observer’sonCompleted method)
the ability for the producer to signal to the consumer that an error has occurred (an Iterable throws an exception if an error takes place during iteration; an Observable calls its observer’s onError method)
Sharding géré avec Elastic Database client library côté .NET (https://docs.microsoft.com/en-us/azure/sql-database/sql-database-elastic-scale-introduction)
ASP .NET Core
Au départ, on s’appuyait sur le framework .NET 4.5.1 car trop peu de frameworks étaient compatible avec .NET Core. Aujourd’hui, je pense que Hager s’appuie sur .NET Core 1.0.
Les outils de build ont changé : DNX .NET CLI
Et le format des projets : project.json retour au format csproj.
Hager
Architectures candidates
IoT Hub
Objectif : collecter les trames Sigfox
Ré-assemblage des trames (voir point suivant aussi)
Objectif : parser / ré-assembler les trames en messages / router vers la "bonne" partition de l'Event Hub
Attention : à cette étape, aucune logique métier, le but est de minimiser le temps entre la consommation de l'événement sur l'IoT Hub et l'envoi du message parsé sur Event Hub
- Solution 1 : derrière l'IoT Hub, on branche un WebJob + Rx.NET pour consommer / parser / ré-assembler les messages / router
- Solution 2 : derrière l'IoT Hub, on branche Stream Analytics - dans ce cas là, il faut qu'on POC rapidement la faisabilité de la solution expliquée ci-dessus. Le parsing des trames est fait par Sigfox.
Event Hub + Web Jobs
Objectif : traiter les messages (business logic)
- 1 partition par usage (ex : une partition pour les alarmes, une autres pour les gérer les trames d'appairage, une autre pour les indicateurs)
- Ces partitions sont consommées par des WebJobs
- Les WebJobs prennent en charge le stockage en base de données.
Base de données : Azure SQL Server
Sharding géré avec Elastic Database client library côté .NET (https://docs.microsoft.com/en-us/azure/sql-database/sql-database-elastic-scale-introduction)
ORM : Dapper
L’autre ORMlite que j’avais proposé était Simple.Data
Dapper a été retenu par Simon pour ses performances et son modèle beaucoup plus ouvert que Simple.Data.
Cependant, il a passé du temps à écrire la DAL car Dapper ne gère pas par exemple les requêtes par critères ou la gestion de cache (fonctionnalités qu’on retrouve avec EF / NHibernate).
ASP .NET Core
Au départ, on s’appuyait sur le framework .NET 4.5.1 car trop peu de frameworks étaient compatible avec .NET Core. Aujourd’hui, Hager s’appuie sur .NET Core 1.0.
Les outils de build ont changé : DNX .NET CLI
Et le format des projets : project.json retour au format csproj.
Problème du ré-assemblage des trames
Opérateur StreamAnalytics qu’on aurait pu utiliser pour réordonner les trames :
CollectTOP : https://msdn.microsoft.com/en-us/library/azure/dn966243.aspx
Couplé au SlidingWindow et au fait que Sifgox "parse" les trames pour vous, on pourrait s'en sortir.
Pb : besoin de parser les trames reçues (car au format Hager) pour en extraire les infos nécessaires au ré-assemblage. Les opérateurs binaires de StreamAnalytics étaient à l’époque très limités (et semblent le rester)
L’autre solution aurait consisté à utiliser des WebJobs pour parser les trames et à envoyer les trames « parsées » dans un EventHub pour qu’elles soient ensuite ré-assemblées par StreamAnalytics. Pas retenu car usine à gaz.
La solution Rx avec les opérateurs :
Rx GroupBy: http://reactivex.io/documentation/operators/groupby.html