AMBIENT INTELLIGENCEAMBIENT INTELLIGENCE
tech days•
2015
#mstechdays techdays.microsoft.fr
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
#mstechdays techdays.microsoft.fr
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Event Hubs
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hub
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Variété:
• Vélocité:
• Volume:
• Sécurité:
• Buffer:
• D...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Conceptual Overview of Event Hubs
Event
Publisher
Event Hu...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hubs
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hub
Publication d’événements
Partition 1
Partition 2...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hub
Event Hub Partitions
Partition 1
Partition 2
Par...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Consumer Group
Event Hub
Event Hub Consumers
Partition 1
P...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Event Hubs
• HDInsight Storm
• …
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• HDInsight Storm
• Stream Analytics
• Machine Learning
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Ingère des millions d’évènements
par secondes
• Ingère et ...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Pas d’acquisition de matériel
Pas de maintenance
Pas d’exp...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Création d’une solution de
traitement en temps réel
grâce ...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Monitoring intégré
Surveiller la performance de votre solu...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Data Source Collect Process ConsumeDeliver
Event Inputs
- ...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Stream Analytics
Récupération en temps reel avec données d...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Source: http://fr.hortonworks.com/hdp/
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Hadoop et Microsoft
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
HDInsight
Blobs Azure (wasb://) HDFS (hdfs://)
Hive Pig HC...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Storm
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Parser
Tableau
de bord
…
…
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Storm
Analyse des températures en temps réel
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• SQL DB
• SQL Server, Oracle DB, … (IaaS)
• HDInsight HBa...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Storage Blobs
• (Storage Tables)
• Hadoop (IaaS) HDFS
• ...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• HDInsight
• Hadoop on IaaS
(Hortonworks, Cloudera, …)
• ...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
ETL Tool
(SSIS, etc)
EDW
(SQL Svr, Teradata, etc)
Extract
...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
ETL Tool
(SSIS, etc)
EDW
(SQL Svr, Teradata, etc)
Extract
...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
ETL Tool
(SSIS, etc)
EDW
(SQL Svr, Teradata, etc)
Extract
...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
BI Tools
Data Marts
Data Lake(s)
Dashboards
Apps
Data Hub
...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Azure Data Factory : vue d’ensemble
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Data Factory
Script PIG dans cluster HDInsight existant
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Power BI
• Web Sites
• Excel App
• …
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
SignalR, d3js, Excel
http://www.asp.net/signalr
http://d3j...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays
Activez vos bénéfices Azure jusq...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays
Inscrivez-vous : http://aka.ms/p...
tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays
http://notes.mstechdays.fr
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
© 2015 Microsoft Corporation. All rights reserved.
tech da...
Prochain SlideShare
Chargement dans…5
×

Rendez vos objets connectés intelligents avec la "Lambda architecture"

561 vues

Publié le

Lors de cette session nous suivrons un flux de données tout au long d’un cycle de l’architecture Lambda. Dans le scénario que nous vous proposons, nous verrons comment récupérer, traiter et transformer des signaux envoyés par des capteurs de température pour les exploiter au sein de rapports en temps réel ou au sein de dashboards d’analyses.

Publié dans : Technologie
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
561
Sur SlideShare
0
Issues des intégrations
0
Intégrations
5
Actions
Partages
0
Téléchargements
56
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Rendez vos objets connectés intelligents avec la "Lambda architecture"

  1. 1. AMBIENT INTELLIGENCEAMBIENT INTELLIGENCE tech days• 2015 #mstechdays techdays.microsoft.fr
  2. 2. tech.days 2015#mstechdaysObjets connectés & architecture Lambda #mstechdays techdays.microsoft.fr
  3. 3. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
  4. 4. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
  5. 5. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
  6. 6. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • Event Hubs
  7. 7. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Event Hub
  8. 8. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • Variété: • Vélocité: • Volume: • Sécurité: • Buffer: • Durable: • Latency: • Low Cost: Event Hub by the Numbers
  9. 9. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Conceptual Overview of Event Hubs Event Publisher Event Hub Consumer Group Partition Partition Partition Reader Reader Reader Event Consumer HTTPS ou AMQP 1.0 + SDKs AMQP 1.0 + SDKs
  10. 10. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Event Hubs
  11. 11. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Event Hub Publication d’événements Partition 1 Partition 2 Partition N L’objet envoie son ID comme clef de partition f(x) Event Hub a une fonction statique de hashing partitionId = f(clef partition) A
  12. 12. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Event Hub Event Hub Partitions Partition 1 Partition 2 Partition N messages d’un même objet vont vers la même partition f(x) L’objet envoie son ID comme clef de partition Event Hub a une fonction statique de hashing partitionId = f(clef partition) A
  13. 13. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Consumer Group Event Hub Event Hub Consumers Partition 1 Partition 2 Partition N f(x) Reader 1 Reader 2 Reader N Consumer Group Reader 1 Reader 2 Reader N HDInsight Storm / NRT A B messages d’un même objet vont vers la même partition L’objet envoie son ID comme clef de partition Event Hub a une fonction statique de hashing partitionId = f(clef partition)
  14. 14. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • Event Hubs • HDInsight Storm • …
  15. 15. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • HDInsight Storm • Stream Analytics • Machine Learning
  16. 16. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Ingère des millions d’évènements par secondes • Ingère et traite des données envoyées par des applications/objets connectés • Solution avec montée en charge intégrée Traitement des données en continue • Transformer, enrichir, opérations temporelles • Détection des patterns et des anomalies Corrélation du flux de données avec des données de référence
  17. 17. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Pas d’acquisition de matériel Pas de maintenance Pas d’expertise de déploiement Installation et paramétrages via le portail Azure Pas de logiciel à installer et à maintenir Mise à l’échelle en fonction des besoins
  18. 18. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Création d’une solution de traitement en temps réel grâce à un langage proche du T-SQL Filtrer, agréger, joindre des flux de données avec quelques lignes de T-SQL Fonctions temporelles nativement intégrées Développer et maintenir une solution Stream Analytics via le portail Azure Rapid DevelopmentDéveloppement rapide
  19. 19. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Monitoring intégré Surveiller la performance de votre solution via le portail Azure. Accès aux journaux d’évènements
  20. 20. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Data Source Collect Process ConsumeDeliver Event Inputs - Event Hub - Azure Blob Transform - Temporal joins - Filter - Aggregates - Projections - Windows - Etc. Enrich Correlate Outputs - SQL Azure - Azure Blobs - Event Hub Azure Storage • Temporal Semantics • Guaranteed delivery • Guaranteed up time Azure Stream Analytics Reference Data - Azure Blob
  21. 21. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Stream Analytics Récupération en temps reel avec données de réf.
  22. 22. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Source: http://fr.hortonworks.com/hdp/
  23. 23. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Hadoop et Microsoft
  24. 24. tech.days 2015#mstechdaysObjets connectés & architecture Lambda HDInsight Blobs Azure (wasb://) HDFS (hdfs://) Hive Pig HCatalog AmbariMap/Reduce Sqoop Oozie Azure UX SDK Azure WebHcat/ Templeton RDP Storm Yarn HBase
  25. 25. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
  26. 26. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Storm
  27. 27. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Parser Tableau de bord … …
  28. 28. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Storm Analyse des températures en temps réel
  29. 29. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • SQL DB • SQL Server, Oracle DB, … (IaaS) • HDInsight HBase • Document DB • Storage Tables • Mongo DB (Marketplace) • Cassandra (IaaS) • …
  30. 30. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • Storage Blobs • (Storage Tables) • Hadoop (IaaS) HDFS • (HDInsight HDFS)
  31. 31. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • HDInsight • Hadoop on IaaS (Hortonworks, Cloudera, …) • Data Factory • Machine Learning • (Azure Batch (HPC) ) • (Web Jobs) • (Worker Role) • …
  32. 32. tech.days 2015#mstechdaysObjets connectés & architecture Lambda ETL Tool (SSIS, etc) EDW (SQL Svr, Teradata, etc) Extract Original Data Load Transformed Data Transform BI Tools Data Marts Data Lake(s) Dashboards Apps
  33. 33. tech.days 2015#mstechdaysObjets connectés & architecture Lambda ETL Tool (SSIS, etc) EDW (SQL Svr, Teradata, etc) Extract Original Data Load Transformed Data Transform BI Tools Ingest (EL) Original Data Data Marts Data Lake(s) Dashboards Apps
  34. 34. tech.days 2015#mstechdaysObjets connectés & architecture Lambda ETL Tool (SSIS, etc) EDW (SQL Svr, Teradata, etc) Extract Original Data Load Transformed Data Transform BI Tools Ingest (EL) Original Data Scale-out Storage & Compute (HDFS, Blob Storage, etc) Transform & Load Data Marts Data Lake(s) Dashboards Apps Streaming data
  35. 35. tech.days 2015#mstechdaysObjets connectés & architecture Lambda BI Tools Data Marts Data Lake(s) Dashboards Apps Data Hub (Storage & Compute) Data Sources (Import From) Move data among Hubs Data Hub (Storage & Compute) Data Sources (Import From) Ingest Connect & Collect Transform & Enrich Publish Information Production: Ingest Move to data mart, etc
  36. 36. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Azure Data Factory : vue d’ensemble
  37. 37. tech.days 2015#mstechdaysObjets connectés & architecture Lambda Data Factory Script PIG dans cluster HDInsight existant
  38. 38. tech.days 2015#mstechdaysObjets connectés & architecture Lambda • Power BI • Web Sites • Excel App • …
  39. 39. tech.days 2015#mstechdaysObjets connectés & architecture Lambda SignalR, d3js, Excel http://www.asp.net/signalr http://d3js.org/ How to: Create your first content app for Excel with "Napa" Office 365 Development Tools
  40. 40. tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays Activez vos bénéfices Azure jusqu’à 115€ de ressources mensuelles offertes 115€ /mois x5 membres x3 ans = 4 175€ de ressources offertes http://azure.com http://aka.ms/azurepourmsdn 150€ de ressources offertes Sans engagement Pour tous Un mois d’essai offert http://www.microsoft.com/bizspark/ Pour les startups Bizspark = 49 000€ de ressources offertes pendant un an Pour les abonnés MSDN
  41. 41. tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays Inscrivez-vous : http://aka.ms/pepiniereazure Coaching technique et business Ressources Une équipe à Microsoft pour vous accompagner dans votre projet cloud et mettre à votre disposition de l’aide personnalisée. Visibilité
  42. 42. tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays http://notes.mstechdays.fr
  43. 43. tech.days 2015#mstechdaysObjets connectés & architecture Lambda © 2015 Microsoft Corporation. All rights reserved. tech days• 2015 #mstechdays techdays.microsoft.fr

×