Télécharger en tant que PDF, PPTX
Téléchargé parMichel HUBERT
Architectures lambda - Microsoft
Ce document présente l'architecture Lambda, une approche permettant de traiter de grands volumes de données en temps réel tout en intégrant des analyses historiques. Il aborde des cas d'utilisation spécifiques tels que la détection de fraude, l'analyse de comportement et la prévision de stock, tout en utilisant des outils comme Azure Event Hub pour la gestion de flux de données. Enfin, il évoque le contexte du Big Data et l'importance de passer d'une architecture de données immuables à des solutions plus dynamiques et réactives.
![[JSS2015] Architectures Lambda avec Azure Stream Analytics](https://cdn.slidesharecdn.com/ss_thumbnails/jss2015-streamanalytics-151211084144-thumbnail.jpg?width=640&height=640&fit=bounds)
![[USI] Lambda-Architecture : comment réconcilier BigData et temps-réel](https://cdn.slidesharecdn.com/ss_thumbnails/preslambdaarch-v3-slideshare-140617091602-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
Architectures lambda - Microsoft
- 1. AMBIENT INTELLIGENCE #mstechdays techdays.microsoft.fr techdays• 2015camps
- 2. Architectures Lambda Michel Hubert/ Georges Damien @michelhubert @georges_damien
- 3. tech.days 2015#mstechdaysArchitecture Lambda DirecteurTechnique chez Cellenza MVP Azure Microsoft P-Seller
- 4.
- 5. tech.days 2015#mstechdaysArchitecture Lambda Architectures Lambda
- 6. tech.days 2015#mstechdaysArchitecture Lambda «La meilleure façon de prédire le futur est de regarder le passé et le présent ! » Pourquoi les architectures lambda ?
- 7. tech.days 2015#mstechdaysArchitecture Lambda Historiquement,le BigData est une suite logique de la B.I. Donc on a appliqué les techniques de la B.I. : Le Batch Ce n’est pas plus suffisant ! Des flux de données à prendre en compte en temps-réel Des historiques très volumineux qui recèlent de la valeur Pourquoi les architectures lambda ?
- 8.
- 9. tech.days 2015#mstechdaysArchitecture Lambda Labase de données classique : Architecture basée sur des données immuables UPDATE
- 10. tech.days 2015#mstechdaysArchitecture Lambda Stockageimmuable : Architecture basée sur des données immuables
- 11. tech.days 2015#mstechdaysArchitecture Lambda Quelscas d’usage ?
- 12.
- 13. tech.days 2015#mstechdaysArchitecture Lambda Prenonsun scénario Exemple : • Analyse temps réel des comportements, • Calcul du Taux d’abandon de panier, • Prévision de stock • Détection de Fraude • Analyse d’une campagne marketing • Quels produits ne déclenchent pas d’achat ? Problème de stock ? De prix ? Architecture Lambda
- 14.
- 15. tech.days 2015#mstechdaysArchitecture Lambda AzureService Bus Relay Queue Topic Notification Hub Event Hub NAT and Firewall Traversal Service Request/Response Services Unbuffered with TCP Throttling Many publishers and many consumers to communicate over a FIFO like channel. (Competing consumers and Queue-based Load leveling scenarios) Pub / Sub communication channel. Each Consumer subscribes to a copy of message High-scale notification distribution Most mobile push notification services Millions of notification targets
- 16. tech.days 2015#mstechdaysArchitecture Lambda Event Hub vs Topics / Queues Bus de messages Topics / Queues Event Hub
- 17. tech.days 2015#mstechdaysArchitecture Lambda Principegénéral Event Producers Azure Event Hub > 1M Producers > 1GB/sec Aggregate Throughput Up to 32 partitions via portal, more on request Partitions Direct PartitionKey Hash Consumer Group(s) Receivers AMQP 1.0 Credit-based flow control Client-side cursors Offset by Id or Timestamp
- 18. tech.days 2015#mstechdaysArchitecture Lambda Envoides données Partition 1 Partition 2 Partition “n” Event 1 PartitionKey=A Event 1 PartitionKey=B
- 19. tech.days 2015#mstechdays Publication demessage .Net / AMQP Architecture Lambda
- 20. tech.days 2015#mstechdays Publication demessage via HTTP Architecture Lambda <protocol>://<namespace>.servicebus.windows.net/<eventhubname>/publisher/<partitionkey>/messages
- 21. tech.days 2015#mstechdaysArchitecture Lambda Consommationdes données Partition 1 Partition 2 Partition “n” Event 1 Pkey = A Event 2 Pkey = B Receiver 6 Receiver 2 Worker “n” Receiver 1 Receiver “n” Worker 1
- 22. tech.days 2015#mstechdaysArchitecture Lambda Consommationmultiple Partition 1 Partition 2 Partition “n” Consumer Group C Callback for prtn. 6 Callback for prtn. 2 Worker “n” Callback for prtn. 1 Callback “n” Worker 1Consumer Group B Callback for prtn. 6 Callback for prtn. 2 Worker “n” Callback for prtn. 1 Callback “n” Worker 1Consumer Group A Worker “n” Callback for prtn. 6 Callback for prtn. 2 Callback for prtn. 1 Callback “n” Worker 1
- 23.
- 24.
- 25.
- 26. tech.days 2015#mstechdaysArchitecture Lambda Donnéesen mouvement « Complex Event Processing »
- 27. tech.days 2015#mstechdaysArchitecture Lambda StreamAnalytics SELECT count(*) FROM ParkingLot WHERE type = 'Auto' AND color = 'Red' Question “Combien de voitures rouges dans le parking?” Répondre avec une base de donnée relationnelle Marcher jusqu’au parking Compter les véhicules qui sont: Rouge, Voiture
- 28. tech.days 2015#mstechdaysArchitecture Lambda StreamAnalytics La question est différente “Combien de voitures rouges sont passées au marqueur 18A sur l’A-10 dans la dernière heure?” Répondre avec une base de donnée relationnelle S’arrêter, faire se garer toutes les voitures qui arrivent pendant l’heure dans un parking, les compter Pas la meilleure des solutions…
- 29. tech.days 2015#mstechdaysArchitecture Lambda SELECTcount(*) FROM A-10 WHERE Type = ‘Voiture’ and Color = ‘Rouge’ GROUP BY TumblingWindow(hour, 1) La question est différente “Combien de voitures rouges sont passées au marqueur 18A sur l’A-10 dans la dernière heure?”
- 30. tech.days 2015#mstechdaysArchitecture Lambda TumblingWindow(minute,5)HoppingWindow(minute, 10 , 5) SlidingWindow(minute, 3)
- 31.
- 32. tech.days 2015#mstechdaysArchitecture Lambda Uneusine à données
- 34. Last Name FirstName Country Age … Flasko Mike Canada 32 Anand Subbaraj USA 30 Gaurav Malhotra USA 72 … …. …. …. Last Name First Name At risk of churning …. Flasko Mike Yes Anand Subbaraj No Gaurav Malhotra Yes … ….
- 35. Call Log Files CustomerTable Call Log Files Customer Table Customer Churn Table Data Factory Concepts Data Sources Ingest Transform & Analyze Publish Customer Call Details Customers Likely to Churn
- 36. tech.days 2015#mstechdays A managedcloud service for building & operating data pipelines (aka. data flows) 1. Orchestrate, monitor & schedule • compose data processing, storage & movement services (on premises & cloud) 2. Automatic infrastructure mgmt • combine pipeline intent w/ resource allocation & mgmt • data movement as a service (global footprint & on premises) 3. Single pane of glass • one place to manage your network of data flows Architecture Lambda
- 37. tech.days 2015#mstechdays Pipeline (ActivePeriod: July 2015 to July 2016) Architecture Lambda
- 38.
- 39.
- 40. tech.days 2015#mstechdaysArchitecture Lambda Pouraller plus loin…
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48. © 2015 MicrosoftCorporation. All rights reserved. #mstechdays techdays.microsoft.fr/camp tech days• 2015camps Architecture Lambda