JSS2014 - StreamInsight

502 vues

Publié le

Session des Journées SQL Server 2014 - Philippe Geiger & Grégory Boge
----
Dans cette session de découverte de StreamInsight, nous discuterons de ce que sont les événements complexes et comment StreamInsight les traite via quelques exemples simples.

Publié dans : Données & analyses
  • Soyez le premier à commenter

JSS2014 - StreamInsight

  1. 1. #JSS2014 Les journées SQL Server 2014 Un événement organisé par GUSS
  2. 2. #JSS2014 Les journées SQL Server 2014 Un événement organisé par GUSS Session StreamInsight Philippe Geiger Grégory Boge
  3. 3. #JSS2014 Merci à nos sponsors
  4. 4. #JSS2014 Philippe GEIGER Blog www.pgeiger.net Courriel pgeiger@pgeiger.net Data Platform Solution Consultant Accompagnement technique • Exploitation et administration • Développement • Business Intelligence Formateur Certifications Infrastructure Décisionnel & CRM Application Collaboratif ERP
  5. 5. #JSS2014 Grégory Boge DBA SQL Server @KankuruSQL www.gregory-boge.fr gregory.boge@outlook.fr
  6. 6. #JSS2014 • Présentation • Démonstrations • Questions/réponses Agenda
  7. 7. #JSS2014 PRÉSENTATION Session StreamInsight
  8. 8. #JSS2014 • Microsoft StreamInsight fournit une plate- forme puissante pour le développement et le déploiement d'applications de traitement des événements complexes (CEP). Définition
  9. 9. #JSS2014 • Performances et débit de données hautement optimisés • Environnement de développement .NET • Fonctionnalité de déploiement flexible • Simplicité de gestion Avantages de StreamInsight
  10. 10. #JSS2014 • Analyse basée sur les ressources et l'agrégation des données par ordinateur • Observation basée sur les capteurs des activités par usine et étage et sortie • Observation et réaction via des contrôleurs de périphérique • Capacité de gérer au maximum 10 000 événements de données par seconde • Événement et génération d'alerte en cas de problème • Maintenance proactive basée sur des conditions sur le matériel clé. • Analyse à faible latence de données agrégées (fenêtrées et échelles logarithmiques) Scénario 1 : Analyse de processus de fabrication et contrôle
  11. 11. #JSS2014 • Capacité de piloter la mise en page, la navigation et la présentation en fonction de l'analyse des parcours de visite à latence faible • Capacité de gérer au maximum 100 000 événements de données par seconde pendant les heures de pointe du trafic • Identification de modèles de flux de données de clic et réponse immédiates avec une campagne de publicité ciblée Scénario 2 : Analyse des parcours de visite
  12. 12. #JSS2014 • Capacité de gérer au maximum 100 000 événements de données par seconde • Traitement des requêtes limité dans le temps • Analyse et capitalisation dans les conditions de marché actuelles avec des fenêtres très courtes d'opportunité • Filtrage intelligent des données d'entrée • Capacité de définir des modèles sur plusieurs sources de données et de déclencher automatiquement, dans le temps, les décisions de vente/achat/attente pour l'actif d'un portefeuille Scénario 3 : Échange algorithmique dans un environnement de services financiers
  13. 13. #JSS2014 •Réponse immédiate aux variations de consommation d'énergie ou d'eau, pour réduire ou éviter les coupures de courant ou pénuries d'eau ou d'autres interruptions de service •Obtention de rendements opérationnels et environnementaux en adoptant des grilles intelligentes. •Plusieurs niveaux d'agrégation le long de la grille •Capacité de gérer un maximum de 100 000 événements par seconde issus de millions de sources de données Scénario 4 : Services publics
  14. 14. #JSS2014 Données relationnelles versus CEP Données relationnelles CEP Principe d’accès aux données Les requêtes sont envoyées à un moteur de stockage en fonction des besoins Les requêtes sont traitées en continue sur un flux de données Latence Seconde, heure, journée Millisecondes voire moins Volume de données Des centaines d’événements par secondes Des dizaines de milliers d’événements par secondes voire plus
  15. 15. #JSS2014 Périmètre de StreamInsight Relational Database Applications Financial trading Applications Aggregate Data Rate (Events/sec.) Latency Manufacturing ApplicationsMonitoring Target Scenarios New Data Warehousing Applications Web Analytics Applications Operational Analytics : Logistics, etc. Months Days hours Minutes Seconds 100 ms < 1ms 1 10 100 1000 10000 100000 106+
  16. 16. #JSS2014 L’architecture Standing Queries Query Logic Event sources Event targets ` Devices, Sensors Web servers Event stores & Databases Stock ticker, news feeds Event stores & Databases Pagers & Monitoring devices KPI Dashboards, SharePoint UI Trading stations Input Adapters Output AdaptersStreamInsight Engine Query Logic Query Logic StreamInsight Application Development StreamInsight Application at Runtime
  17. 17. #JSS2014 CEP dans l’architecture BI de Microsoft Complex Event Processing (Flux temps réel) Traitements Transactionnels (OLTP) Data Quality Management Extract Transform/Load (ETL) Analyse OLAP Datamining Master Data Management Data Warehouse Reporting statique Reporting ad-hoc Analyse ad-hoc Exploration Tableaux de Bords SQL Server Analysis Services SQL Server Reporting Services SharePoint PerformancePoint Excel, Power Pivot, PowerView SQL Server Master Data Services SQL Server StreamInsight SQL Server RDMBS SQL Server Data Quality Services SQL Server Integration Services SQL Server Data Warehouse
  18. 18. #JSS2014 CEP dans l’architecture BI de Microsoft
  19. 19. #JSS2014 Différentes versions de StreamInsight • Licence SQL Server 2008 R2 requiseVersion 1.0 (avril 2010) • Prise en charge du framework 4 Version 1.0 Refresh 1 (juin 2010) • Prise en charge pour les sources et les récepteurs d'événement qui implémentent les interfaces IObservable ou IEnumerable.Version 1.1 (octobre 2010) • Nouvelles fonctionnalités de développement et amélioration des outils et de la gestionVersion 1.2 (juin 2011) • Licence SQL Server 2008 R2 requise • Améliorations des performances Version 2.0 (avril 2012) • Un nouveau modèle d'objet plus clair et cohérent est introduit. • Utilise Reactive Framework (Rx). Version 2.1 (juin 2012) Version 2.3 (avril 2014)
  20. 20. #JSS2014 Les éditions Edition Standard Edition Premium • Dépendant de la clé de licence de SQL Server • Seuils : 5 000 événements par seconde ou latence de 5 secondes
  21. 21. #JSS2014 • Storm intégré à HDInsight (Big Data) • Microsoft Azure Stream Analytics Autres produits équivalents
  22. 22. #JSS2014 DÉMONSTRATIONS Session StreamInsight
  23. 23. #JSS2014 Démo 1 : Principe 1 2 3 4 5 6 7 8 9 10 time Value 10 20 30 40 50 60 42 inputStream shiftedForward
  24. 24. #JSS2014 Démo 1 : Principe 1 2 3 4 5 6 7 8 9 10 time Value 10 20 30 40 50 60 42 inputStream shiftedForward
  25. 25. #JSS2014
  26. 26. #JSS2014 QUESTIONS/RÉPONSES Session StreamInsight
  27. 27. #JSS2014#JSS2014 Les évaluations des sessions, c’est important !! …Et en plus on peut gagner des cadeaux http://GUSS.Pro/jss
  28. 28. #JSS2014#JSS2014

×