Recommandé
Contenu connexe
Similaire à Architectures lambda - Techdays camps 2015
Similaire à Architectures lambda - Techdays camps 2015 (20)
Architectures lambda - Techdays camps 2015
- 1. AMBIENT INTELLIGENCE #mstechdays techdays.microsoft.fr tech days• 2015camps
- 2. Architectures Lambda Michel Hubert / Georges Damien @michelhubert @georges_damien
- 3. tech.days 2015#mstechdaysArchitecture Lambda Directeur Technique chez Cellenza MVP Azure Microsoft P-Seller
- 4. tech.days 2015#mstechdaysArchitecture Lambda Consultant chez Cellenza
- 5. tech.days 2015#mstechdaysArchitecture Lambda Architectures Lambda
- 6. tech.days 2015#mstechdaysArchitecture Lambda « La meilleure façon de prédire le futur est de regarder le passé et le présent ! » Pourquoi les architectures lambda ?
- 7. tech.days 2015#mstechdaysArchitecture Lambda Historiquement, le BigData est une suite logique de la B.I. Donc on a appliqué les techniques de la B.I. : Le Batch Ce n’est pas plus suffisant ! Des flux de données à prendre en compte en temps-réel Des historiques très volumineux qui recèlent de la valeur Pourquoi les architectures lambda ?
- 9. tech.days 2015#mstechdaysArchitecture Lambda La base de données classique : Architecture basée sur des données immuables UPDATE
- 10. tech.days 2015#mstechdaysArchitecture Lambda Stockage immuable : Architecture basée sur des données immuables
- 11. tech.days 2015#mstechdaysArchitecture Lambda Quels cas d’usage ?
- 13. tech.days 2015#mstechdaysArchitecture Lambda Prenons un scénario Exemple : • Analyse temps réel des comportements, • Calcul du Taux d’abandon de panier, • Prévision de stock • Détection de Fraude • Analyse d’une campagne marketing • Quels produits ne déclenchent pas d’achat ? Problème de stock ? De prix ? Architecture Lambda
- 14. tech.days 2015#mstechdaysArchitecture Lambda La Master Data
- 15. tech.days 2015#mstechdaysArchitecture Lambda Azure Service Bus Relay Queue Topic Notification Hub Event Hub NAT and Firewall Traversal Service Request/Response Services Unbuffered with TCP Throttling Many publishers and many consumers to communicate over a FIFO like channel. (Competing consumers and Queue-based Load leveling scenarios) Pub / Sub communication channel. Each Consumer subscribes to a copy of message High-scale notification distribution Most mobile push notification services Millions of notification targets
- 16. tech.days 2015#mstechdaysArchitecture Lambda Event Hub vs Topics / Queues Bus de messages Topics / Queues Event Hub
- 17. tech.days 2015#mstechdaysArchitecture Lambda Principe général Event Producers Azure Event Hub > 1M Producers > 1GB/sec Aggregate Throughput Up to 32 partitions via portal, more on request Partitions Direct PartitionKey Hash Consumer Group(s) Receivers AMQP 1.0 Credit-based flow control Client-side cursors Offset by Id or Timestamp
- 18. tech.days 2015#mstechdaysArchitecture Lambda Envoi des données Partition 1 Partition 2 Partition “n” Event 1 PartitionKey=A Event 1 PartitionKey=B
- 19. tech.days 2015#mstechdays Publication de message .Net / AMQP Architecture Lambda
- 20. tech.days 2015#mstechdays Publication de message via HTTP Architecture Lambda <protocol>://<namespace>.servicebus.windows.net/<eventhubname>/publisher/<partitionkey>/messages
- 21. tech.days 2015#mstechdaysArchitecture Lambda Consommation des données Partition 1 Partition 2 Partition “n” Event 1 Pkey = A Event 2 Pkey = B Receiver 6 Receiver 2 Worker “n” Receiver 1 Receiver “n” Worker 1
- 22. tech.days 2015#mstechdaysArchitecture Lambda Consommation multiple Partition 1 Partition 2 Partition “n” Consumer Group C Callback for prtn. 6 Callback for prtn. 2 Worker “n” Callback for prtn. 1 Callback “n” Worker 1Consumer Group B Callback for prtn. 6 Callback for prtn. 2 Worker “n” Callback for prtn. 1 Callback “n” Worker 1Consumer Group A Worker “n” Callback for prtn. 6 Callback for prtn. 2 Callback for prtn. 1 Callback “n” Worker 1
- 26. tech.days 2015#mstechdaysArchitecture Lambda Données en mouvement « Complex Event Processing »
- 27. tech.days 2015#mstechdaysArchitecture Lambda Stream Analytics SELECT count(*) FROM ParkingLot WHERE type = 'Auto' AND color = 'Red' Question “Combien de voitures rouges dans le parking?” Répondre avec une base de donnée relationnelle Marcher jusqu’au parking Compter les véhicules qui sont: Rouge, Voiture
- 28. tech.days 2015#mstechdaysArchitecture Lambda Stream Analytics La question est différente “Combien de voitures rouges sont passées au marqueur 18A sur l’A-10 dans la dernière heure?” Répondre avec une base de donnée relationnelle S’arrêter, faire se garer toutes les voitures qui arrivent pendant l’heure dans un parking, les compter Pas la meilleure des solutions…
- 29. tech.days 2015#mstechdaysArchitecture Lambda SELECT count(*) FROM A-10 WHERE Type = ‘Voiture’ and Color = ‘Rouge’ GROUP BY TumblingWindow(hour, 1) La question est différente “Combien de voitures rouges sont passées au marqueur 18A sur l’A-10 dans la dernière heure?”
- 30. tech.days 2015#mstechdaysArchitecture Lambda TumblingWindow(minute,5) HoppingWindow(minute, 10 , 5) SlidingWindow(minute, 3)
- 34. tech.days 2015#mstechdaysArchitecture Lambda Une usine à données
- 36. Last Name First Name Country Age … Flasko Mike Canada 32 Anand Subbaraj USA 30 Gaurav Malhotra USA 72 … …. …. …. Last Name First Name At risk of churning …. Flasko Mike Yes Anand Subbaraj No Gaurav Malhotra Yes … ….
- 37. Call Log Files Customer Table Call Log Files Customer Table Customer Churn Table Data Factory Concepts Data Sources Ingest Transform & Analyze Publish Customer Call Details Customers Likely to Churn
- 38. tech.days 2015#mstechdays A managed cloud service for building & operating data pipelines (aka. data flows) 1. Orchestrate, monitor & schedule • compose data processing, storage & movement services (on premises & cloud) 2. Automatic infrastructure mgmt • combine pipeline intent w/ resource allocation & mgmt • data movement as a service (global footprint & on premises) 3. Single pane of glass • one place to manage your network of data flows Architecture Lambda
- 39. tech.days 2015#mstechdaysArchitecture Lambda Etaes de mise en oeuvre
- 40. tech.days 2015#mstechdays Pipeline (Active Period: July 2015 to July 2016) Architecture Lambda
- 42. tech.days 2015#mstechdaysArchitecture Lambda Les langages
- 43. tech.days 2015#mstechdaysArchitecture Lambda PowerShell - Déploiement
- 46. tech.days 2015#mstechdaysArchitecture Lambda Pour aller plus loin…
- 52. tech.days 2015#mstechdaysArchitecture Lambda Machine Learning
- 53. tech.days 2015#mstechdaysArchitecture Lambda Machine Learning
- 57. © 2015 Microsoft Corporation. All rights reserved. #mstechdays techdays.microsoft.fr/camp tech days• 2015camps Architecture Lambda
Notes de l'éditeur
- Performance du stockage APPEND-only est très performant, ex. Hadoop/HDFS Pensez-y, au cœur d’une base SQL, il y a un append-log, qui est le maître en cas de crash… Robustesse aux erreurs humaines Un bug ne viendra jamais détruire de la donnée, seulement ajouter des enregistrements erronés (ou doublonnés, ou…) Facile à corriger : Soit on vient supprimer les lignes erronées, Soit on ajoute des lignes correctrices
- La clé plus de différence entre les deux est balance. Un service de messagerie peut ramasser une sélection de forfaits et s'assurer qu'ils sont livrés. Mais si vous devez déplacer des centaines de milliers de paquets, vous pouvez le faire avec beaucoup de courriers, ou vous pourriez construire un centre de distribution capable de gérer ce genre de volume plus rapidement. Événement Hub est ce centre de distribution. Mais il est été construit comme un service géré, donc vous n'avez pas à construire votre propre installation coûteuse. Vous pouvez exploiter juste celui que nous avons créé pour vous
- Here we have a simple sample implementation of the ProcessEventsAsync method. We have a try/catch block to handle errors, but within it a processing loop for the events. Inside this loop, we look at the event properties to help determine what type of event it is so we can deserialize the event and operate on it. I’m just writing it to the console, but in the real world, we may use this to notify an Orleans grain or save the data so that we can process it via an HDInsight cluster. For more about both of these options, be certain to check out the two sister sessions to this one tomorrow. Lastly, note this block of code(1) where ever minute, we do a checkpoint operation. This tells the event hub that we’ve processed everything up to this point. Hence saving where we’re at in the event stream. This allows us to start and stop the processor and pick up near where we left off. This also really highlights the difference between event hubs and topics/queues. With topics/queues, the focus is more on ACID type operations again specific messages… put/get/delete… but in Event Hub, we have this buffered stream of events and we need to keep track of where we are in it. We can easily rewind to reprocess messages. So we need to account for this “at least once” possibility.