Rendez vos objets connectés intelligents avec la "Lambda architecture"

AMBIENT INTELLIGENCEAMBIENT INTELLIGENCE
tech days•
2015
#mstechdays techdays.microsoft.fr

tech.days 2015#mstechdaysObjets connectés & architecture Lambda

• Event Hubs

Event Hub

• Variété:
• Vélocité:
• Volume:
• Sécurité:
• Buffer:
• Durable:
• Latency:
• Low Cost:
Event Hub by the Numbers

Conceptual Overview of Event Hubs
Event
Publisher
Event Hub
Consumer Group
Partition
Partition
Partition
Reader
Reader
Reader
Event
Consumer
HTTPS
ou
AMQP 1.0
+ SDKs
AMQP 1.0
+
SDKs

Event Hubs

Event Hub
Publication d’événements
Partition 1
Partition 2
Partition N
L’objet envoie
son ID comme
clef de partition
f(x)
Event Hub a une fonction
statique de hashing
partitionId = f(clef partition)
A

Event Hub
Event Hub Partitions
Partition 1
Partition 2
Partition N
messages d’un
même objet
vont vers la
même partition
f(x)
L’objet envoie
son ID comme
clef de partition
statique de hashing
A

Consumer Group
Event Hub
Event Hub Consumers
Partition 1
Partition 2
Partition N
f(x)
Reader 1
Reader 2
Reader N
Consumer Group
Reader 1
Reader 2
Reader N
HDInsight
Storm / NRT
A
B
messages d’un
même objet
vont vers la
même partition
L’objet envoie
son ID comme
clef de partition
statique de hashing

• Event Hubs
• HDInsight Storm
• …

• HDInsight Storm
• Stream Analytics
• Machine Learning

Ingère des millions d’évènements
par secondes
• Ingère et traite des données envoyées par des
applications/objets connectés
• Solution avec montée en charge intégrée
Traitement des données en
continue
• Transformer, enrichir, opérations temporelles
• Détection des patterns et des anomalies
Corrélation du flux de données
avec des données de référence

Pas d’acquisition de matériel
Pas de maintenance
Pas d’expertise de déploiement
Installation et paramétrages via le portail Azure
Pas de logiciel à installer et à maintenir
Mise à l’échelle en fonction des
besoins

Création d’une solution de
traitement en temps réel
grâce à un langage proche
du T-SQL
Filtrer, agréger, joindre des flux de données avec
quelques lignes de T-SQL
Fonctions temporelles nativement intégrées
Développer et maintenir
une solution Stream
Analytics via le portail Azure
Rapid DevelopmentDéveloppement
rapide

Monitoring intégré
Surveiller la performance de votre solution
via le portail Azure.
Accès aux journaux d’évènements

Data Source Collect Process ConsumeDeliver
Event Inputs
- Event Hub
- Azure Blob
Transform
- Temporal joins
- Filter
- Aggregates
- Projections
- Windows
- Etc.
Enrich
Correlate
Outputs
- SQL Azure
- Azure Blobs
- Event Hub
Azure
Storage
• Temporal Semantics
• Guaranteed delivery
• Guaranteed up time
Azure Stream Analytics
Reference Data
- Azure Blob

Stream Analytics
Récupération en temps reel avec données de réf.

Source: http://fr.hortonworks.com/hdp/

Hadoop et Microsoft

HDInsight
Blobs Azure (wasb://) HDFS (hdfs://)
Hive Pig HCatalog AmbariMap/Reduce
Sqoop
Oozie
Azure UX SDK Azure
WebHcat/
Templeton
RDP
Storm
Yarn
HBase

Storm

Parser
Tableau
de bord
…
…

Storm
Analyse des températures en temps réel

• SQL DB
• SQL Server, Oracle DB, … (IaaS)
• HDInsight HBase
• Document DB
• Storage Tables
• Mongo DB (Marketplace)
• Cassandra (IaaS)
• …

• Storage Blobs
• (Storage Tables)
• Hadoop (IaaS) HDFS
• (HDInsight HDFS)

• HDInsight
• Hadoop on IaaS
(Hortonworks, Cloudera, …)
• Data Factory
• Machine Learning
• (Azure Batch (HPC) )
• (Web Jobs)
• (Worker Role)
• …

ETL Tool
(SSIS, etc)
EDW
(SQL Svr, Teradata, etc)
Extract
Original Data
Load
Transformed
Data
Transform
BI Tools
Data Marts
Data Lake(s)
Dashboards
Apps

ETL Tool
(SSIS, etc)
EDW
Extract
Original Data
Load
Transformed
Data
Transform
BI Tools
Ingest (EL)
Original Data
Data Marts
Data Lake(s)
Dashboards
Apps

ETL Tool
(SSIS, etc)
EDW
Extract
Original Data
Load
Transformed
Data
Transform
BI Tools
Ingest (EL)
Original Data
Scale-out
Storage &
Compute
(HDFS, Blob Storage,
etc)
Transform & Load
Data Marts
Data Lake(s)
Dashboards
Apps
Streaming data

BI Tools
Data Marts
Data Lake(s)
Dashboards
Apps
Data Hub
(Storage & Compute)
Data Sources
(Import From)
Move data
among Hubs
Data Hub
(Storage & Compute)
Data Sources
(Import From)
Ingest
Connect & Collect Transform & Enrich Publish
Information Production:
Ingest
Move to data mart, etc

Azure Data Factory : vue d’ensemble

Data Factory
Script PIG dans cluster HDInsight existant

• Power BI
• Web Sites
• Excel App
• …

SignalR, d3js, Excel
http://www.asp.net/signalr
http://d3js.org/
How to: Create your first content app for Excel with "Napa" Office 365
Development Tools

tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays
Activez vos bénéfices Azure jusqu’à
115€ de ressources mensuelles
offertes
115€ /mois
x5 membres
x3 ans
= 4 175€ de ressources offertes
http://azure.com http://aka.ms/azurepourmsdn
150€ de ressources offertes
Sans engagement
Pour tous
Un mois d’essai offert
http://www.microsoft.com/bizspark/
Pour les startups
Bizspark
= 49 000€ de ressources offertes
pendant un an
Pour les abonnés
MSDN

Inscrivez-vous : http://aka.ms/pepiniereazure
Coaching technique et business
Ressources
Une équipe à Microsoft pour vous accompagner dans votre projet cloud et mettre à
votre disposition de l’aide personnalisée.
Visibilité

http://notes.mstechdays.fr

Rendez vos objets connectés intelligents avec la "Lambda architecture"

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (12)

En vedette

En vedette (20)

Similaire à Rendez vos objets connectés intelligents avec la "Lambda architecture"

Similaire à Rendez vos objets connectés intelligents avec la "Lambda architecture" (20)

Plus de Microsoft Décideurs IT

Plus de Microsoft Décideurs IT (20)

Rendez vos objets connectés intelligents avec la "Lambda architecture"