Rendez vos objets connectés intelligents avec la "Lambda architecture"

586 vues

Publié le

Lors de cette session nous suivrons un flux de données tout au long d’un cycle de l’architecture Lambda. Dans le scénario que nous vous proposons, nous verrons comment récupérer, traiter et transformer des signaux envoyés par des capteurs de température pour les exploiter au sein de rapports en temps réel ou au sein de dashboards d’analyses.

Publié dans : Technologie
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
586
Sur SlideShare
0
Issues des intégrations
0
Intégrations
5
Actions
Partages
0
Téléchargements
20
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Rendez vos objets connectés intelligents avec la "Lambda architecture"

  1. 1. AMBIENT INTELLIGENCEAMBIENT INTELLIGENCE tech days• 2015 #mstechdays techdays.microsoft.fr
  2. 2. tech.days 2015#mstechdaysObjets connectés & architecture Lambda #mstechdays techdays.microsoft.fr
  3. 3. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
  4. 4. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
  5. 5. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
  6. 6. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • Event Hubs
  7. 7. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Event Hub
  8. 8. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • Variété: • Vélocité: • Volume: • Sécurité: • Buffer: • Durable: • Latency: • Low Cost: Event Hub by the Numbers
  9. 9. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Conceptual Overview of Event Hubs Event Publisher Event Hub Consumer Group Partition Partition Partition Reader Reader Reader Event Consumer HTTPS ou AMQP 1.0 + SDKs AMQP 1.0 + SDKs
  10. 10. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Event Hubs
  11. 11. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Event Hub Publication d’événements Partition 1 Partition 2 Partition N L’objet envoie son ID comme clef de partition f(x) Event Hub a une fonction statique de hashing partitionId = f(clef partition) A
  12. 12. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Event Hub Event Hub Partitions Partition 1 Partition 2 Partition N messages d’un même objet vont vers la même partition f(x) L’objet envoie son ID comme clef de partition Event Hub a une fonction statique de hashing partitionId = f(clef partition) A
  13. 13. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Consumer Group Event Hub Event Hub Consumers Partition 1 Partition 2 Partition N f(x) Reader 1 Reader 2 Reader N Consumer Group Reader 1 Reader 2 Reader N HDInsight Storm / NRT A B messages d’un même objet vont vers la même partition L’objet envoie son ID comme clef de partition Event Hub a une fonction statique de hashing partitionId = f(clef partition)
  14. 14. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • Event Hubs • HDInsight Storm • …
  15. 15. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • HDInsight Storm • Stream Analytics • Machine Learning
  16. 16. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Ingère des millions d’évènements par secondes • Ingère et traite des données envoyées par des applications/objets connectés • Solution avec montée en charge intégrée Traitement des données en continue • Transformer, enrichir, opérations temporelles • Détection des patterns et des anomalies Corrélation du flux de données avec des données de référence
  17. 17. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Pas d’acquisition de matériel Pas de maintenance Pas d’expertise de déploiement Installation et paramétrages via le portail Azure Pas de logiciel à installer et à maintenir Mise à l’échelle en fonction des besoins
  18. 18. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Création d’une solution de traitement en temps réel grâce à un langage proche du T-SQL Filtrer, agréger, joindre des flux de données avec quelques lignes de T-SQL Fonctions temporelles nativement intégrées Développer et maintenir une solution Stream Analytics via le portail Azure Rapid DevelopmentDéveloppement rapide
  19. 19. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Monitoring intégré Surveiller la performance de votre solution via le portail Azure. Accès aux journaux d’évènements
  20. 20. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Data Source Collect Process ConsumeDeliver Event Inputs - Event Hub - Azure Blob Transform - Temporal joins - Filter - Aggregates - Projections - Windows - Etc. Enrich Correlate Outputs - SQL Azure - Azure Blobs - Event Hub Azure Storage • Temporal Semantics • Guaranteed delivery • Guaranteed up time Azure Stream Analytics Reference Data - Azure Blob
  21. 21. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Stream Analytics Récupération en temps reel avec données de réf.
  22. 22. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Source: http://fr.hortonworks.com/hdp/
  23. 23. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Hadoop et Microsoft
  24. 24. tech.days 2015#mstechdaysObjets connectés & architecture Lambda HDInsight Blobs Azure (wasb://) HDFS (hdfs://) Hive Pig HCatalog AmbariMap/Reduce Sqoop Oozie Azure UX SDK Azure WebHcat/ Templeton RDP Storm Yarn HBase
  25. 25. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
  26. 26. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Storm
  27. 27. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Parser Tableau de bord … …
  28. 28. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Storm Analyse des températures en temps réel
  29. 29. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • SQL DB • SQL Server, Oracle DB, … (IaaS) • HDInsight HBase • Document DB • Storage Tables • Mongo DB (Marketplace) • Cassandra (IaaS) • …
  30. 30. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • Storage Blobs • (Storage Tables) • Hadoop (IaaS) HDFS • (HDInsight HDFS)
  31. 31. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • HDInsight • Hadoop on IaaS (Hortonworks, Cloudera, …) • Data Factory • Machine Learning • (Azure Batch (HPC) ) • (Web Jobs) • (Worker Role) • …
  32. 32. tech.days 2015#mstechdaysObjets connectés & architecture Lambda ETL Tool (SSIS, etc) EDW (SQL Svr, Teradata, etc) Extract Original Data Load Transformed Data Transform BI Tools Data Marts Data Lake(s) Dashboards Apps
  33. 33. tech.days 2015#mstechdaysObjets connectés & architecture Lambda ETL Tool (SSIS, etc) EDW (SQL Svr, Teradata, etc) Extract Original Data Load Transformed Data Transform BI Tools Ingest (EL) Original Data Data Marts Data Lake(s) Dashboards Apps
  34. 34. tech.days 2015#mstechdaysObjets connectés & architecture Lambda ETL Tool (SSIS, etc) EDW (SQL Svr, Teradata, etc) Extract Original Data Load Transformed Data Transform BI Tools Ingest (EL) Original Data Scale-out Storage & Compute (HDFS, Blob Storage, etc) Transform & Load Data Marts Data Lake(s) Dashboards Apps Streaming data
  35. 35. tech.days 2015#mstechdaysObjets connectés & architecture Lambda BI Tools Data Marts Data Lake(s) Dashboards Apps Data Hub (Storage & Compute) Data Sources (Import From) Move data among Hubs Data Hub (Storage & Compute) Data Sources (Import From) Ingest Connect & Collect Transform & Enrich Publish Information Production: Ingest Move to data mart, etc
  36. 36. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Azure Data Factory : vue d’ensemble
  37. 37. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Data Factory Script PIG dans cluster HDInsight existant
  38. 38. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • Power BI • Web Sites • Excel App • …
  39. 39. tech.days 2015#mstechdaysObjets connectés & architecture Lambda SignalR, d3js, Excel http://www.asp.net/signalr http://d3js.org/ How to: Create your first content app for Excel with "Napa" Office 365 Development Tools
  40. 40. tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays Activez vos bénéfices Azure jusqu’à 115€ de ressources mensuelles offertes 115€ /mois x5 membres x3 ans = 4 175€ de ressources offertes http://azure.com http://aka.ms/azurepourmsdn 150€ de ressources offertes Sans engagement Pour tous Un mois d’essai offert http://www.microsoft.com/bizspark/ Pour les startups Bizspark = 49 000€ de ressources offertes pendant un an Pour les abonnés MSDN
  41. 41. tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays Inscrivez-vous : http://aka.ms/pepiniereazure Coaching technique et business Ressources Une équipe à Microsoft pour vous accompagner dans votre projet cloud et mettre à votre disposition de l’aide personnalisée. Visibilité
  42. 42. tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays http://notes.mstechdays.fr
  43. 43. tech.days 2015#mstechdaysObjets connectés & architecture Lambda © 2015 Microsoft Corporation. All rights reserved. tech days• 2015 #mstechdays techdays.microsoft.fr

×