JSS2014 - StreamInsight
•
2 j'aime•550 vues
Session des Journées SQL Server 2014 - Philippe Geiger & Grégory Boge ---- Dans cette session de découverte de StreamInsight, nous discuterons de ce que sont les événements complexes et comment StreamInsight les traite via quelques exemples simples.
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (7)
En vedette
Similaire à JSS2014 - StreamInsight
Similaire à JSS2014 - StreamInsight (20)
Plus de GUSS
Plus de GUSS (20)
Dernier
Dernier (6)
JSS2014 - StreamInsight
- 1. #JSS2014 Les journées SQL Server 2014 Un événement organisé par GUSS
- 2. #JSS2014 Les journées SQL Server 2014 Un événement organisé par GUSS Session StreamInsight Philippe Geiger Grégory Boge
- 3. #JSS2014 Merci à nos sponsors
- 4. #JSS2014 Philippe GEIGER Blog www.pgeiger.net Courriel pgeiger@pgeiger.net Data Platform Solution Consultant Accompagnement technique • Exploitation et administration • Développement • Business Intelligence Formateur Certifications Infrastructure Décisionnel & CRM Application Collaboratif ERP
- 5. #JSS2014 Grégory Boge DBA SQL Server @KankuruSQL www.gregory-boge.fr gregory.boge@outlook.fr
- 6. #JSS2014 • Présentation • Démonstrations • Questions/réponses Agenda
- 8. #JSS2014 • Microsoft StreamInsight fournit une plate- forme puissante pour le développement et le déploiement d'applications de traitement des événements complexes (CEP). Définition
- 9. #JSS2014 • Performances et débit de données hautement optimisés • Environnement de développement .NET • Fonctionnalité de déploiement flexible • Simplicité de gestion Avantages de StreamInsight
- 10. #JSS2014 • Analyse basée sur les ressources et l'agrégation des données par ordinateur • Observation basée sur les capteurs des activités par usine et étage et sortie • Observation et réaction via des contrôleurs de périphérique • Capacité de gérer au maximum 10 000 événements de données par seconde • Événement et génération d'alerte en cas de problème • Maintenance proactive basée sur des conditions sur le matériel clé. • Analyse à faible latence de données agrégées (fenêtrées et échelles logarithmiques) Scénario 1 : Analyse de processus de fabrication et contrôle
- 11. #JSS2014 • Capacité de piloter la mise en page, la navigation et la présentation en fonction de l'analyse des parcours de visite à latence faible • Capacité de gérer au maximum 100 000 événements de données par seconde pendant les heures de pointe du trafic • Identification de modèles de flux de données de clic et réponse immédiates avec une campagne de publicité ciblée Scénario 2 : Analyse des parcours de visite
- 12. #JSS2014 • Capacité de gérer au maximum 100 000 événements de données par seconde • Traitement des requêtes limité dans le temps • Analyse et capitalisation dans les conditions de marché actuelles avec des fenêtres très courtes d'opportunité • Filtrage intelligent des données d'entrée • Capacité de définir des modèles sur plusieurs sources de données et de déclencher automatiquement, dans le temps, les décisions de vente/achat/attente pour l'actif d'un portefeuille Scénario 3 : Échange algorithmique dans un environnement de services financiers
- 13. #JSS2014 •Réponse immédiate aux variations de consommation d'énergie ou d'eau, pour réduire ou éviter les coupures de courant ou pénuries d'eau ou d'autres interruptions de service •Obtention de rendements opérationnels et environnementaux en adoptant des grilles intelligentes. •Plusieurs niveaux d'agrégation le long de la grille •Capacité de gérer un maximum de 100 000 événements par seconde issus de millions de sources de données Scénario 4 : Services publics
- 14. #JSS2014 Données relationnelles versus CEP Données relationnelles CEP Principe d’accès aux données Les requêtes sont envoyées à un moteur de stockage en fonction des besoins Les requêtes sont traitées en continue sur un flux de données Latence Seconde, heure, journée Millisecondes voire moins Volume de données Des centaines d’événements par secondes Des dizaines de milliers d’événements par secondes voire plus
- 15. #JSS2014 Périmètre de StreamInsight Relational Database Applications Financial trading Applications Aggregate Data Rate (Events/sec.) Latency Manufacturing ApplicationsMonitoring Target Scenarios New Data Warehousing Applications Web Analytics Applications Operational Analytics : Logistics, etc. Months Days hours Minutes Seconds 100 ms < 1ms 1 10 100 1000 10000 100000 106+
- 16. #JSS2014 L’architecture Standing Queries Query Logic Event sources Event targets ` Devices, Sensors Web servers Event stores & Databases Stock ticker, news feeds Event stores & Databases Pagers & Monitoring devices KPI Dashboards, SharePoint UI Trading stations Input Adapters Output AdaptersStreamInsight Engine Query Logic Query Logic StreamInsight Application Development StreamInsight Application at Runtime
- 17. #JSS2014 CEP dans l’architecture BI de Microsoft Complex Event Processing (Flux temps réel) Traitements Transactionnels (OLTP) Data Quality Management Extract Transform/Load (ETL) Analyse OLAP Datamining Master Data Management Data Warehouse Reporting statique Reporting ad-hoc Analyse ad-hoc Exploration Tableaux de Bords SQL Server Analysis Services SQL Server Reporting Services SharePoint PerformancePoint Excel, Power Pivot, PowerView SQL Server Master Data Services SQL Server StreamInsight SQL Server RDMBS SQL Server Data Quality Services SQL Server Integration Services SQL Server Data Warehouse
- 18. #JSS2014 CEP dans l’architecture BI de Microsoft
- 19. #JSS2014 Différentes versions de StreamInsight • Licence SQL Server 2008 R2 requiseVersion 1.0 (avril 2010) • Prise en charge du framework 4 Version 1.0 Refresh 1 (juin 2010) • Prise en charge pour les sources et les récepteurs d'événement qui implémentent les interfaces IObservable ou IEnumerable.Version 1.1 (octobre 2010) • Nouvelles fonctionnalités de développement et amélioration des outils et de la gestionVersion 1.2 (juin 2011) • Licence SQL Server 2008 R2 requise • Améliorations des performances Version 2.0 (avril 2012) • Un nouveau modèle d'objet plus clair et cohérent est introduit. • Utilise Reactive Framework (Rx). Version 2.1 (juin 2012) Version 2.3 (avril 2014)
- 20. #JSS2014 Les éditions Edition Standard Edition Premium • Dépendant de la clé de licence de SQL Server • Seuils : 5 000 événements par seconde ou latence de 5 secondes
- 21. #JSS2014 • Storm intégré à HDInsight (Big Data) • Microsoft Azure Stream Analytics Autres produits équivalents
- 23. #JSS2014 Démo 1 : Principe 1 2 3 4 5 6 7 8 9 10 time Value 10 20 30 40 50 60 42 inputStream shiftedForward
- 24. #JSS2014 Démo 1 : Principe 1 2 3 4 5 6 7 8 9 10 time Value 10 20 30 40 50 60 42 inputStream shiftedForward
- 25. #JSS2014
- 27. #JSS2014#JSS2014 Les évaluations des sessions, c’est important !! …Et en plus on peut gagner des cadeaux http://GUSS.Pro/jss
- 28. #JSS2014#JSS2014
Notes de l'éditeur
- CEP est une technologie pour le traitement de flux d'événements haut débit à latence faible. Les données des sources de flux d'événements par défaut proviennent de programmes de fabrication, d'applications financières, de services d'analyse Web ou d'analyse opérationnelle. L'architecture de traitement de flux de StreamInsight et la plateforme de développement familière basée sur Microsoft .NET donnent les moyens aux développeurs d'implémenter rapidement des applications de traitement d'événements à la fois robustes et performantes.
- Performances et débit de données hautement optimisés : architecture légère l'exécution parallèle caches en mémoire La latence faible Environnement de développement .NET langage .NET de Microsoft, tel que Visual C#, en tirant parti du LINQ d'écrire rapidement des requêtes Fonctionnalité de déploiement flexible : DLL hébergée (incorporée). serveur autonome batterie de serveurs. Simplicité de gestion L'interface de gestion et les vues de diagnostic un débogueur de flux d'événements autonome
- Pour vérifier que les produits et processus s'exécutent de façon optimale et avec le moins de temps mort possible, les usines requièrent des capacités de collecte de données et d'analyse des périphériques et capteurs par usine et par étage, avec une faible latence. Le scénario de fabrication par défaut inclut les spécifications suivantes : Analyse basée sur les ressources et l'agrégation des données par ordinateur. Observation basée sur les capteurs des activités par usine et étage et sortie. Observation et réaction via des contrôleurs de périphérique. Capacité de gérer au maximum 10 000 événements de données par seconde. Événement et génération d'alerte en cas de problème. Maintenance proactive basée sur des conditions sur le matériel clé. Analyse à faible latence de données agrégées (fenêtrées et échelles logarithmiques).
- Une expérience client optimale d'un site Web commercial requiert le traitement à latence faible du comportement de l'utilisateur et des interactions sur le site. L'application d'analyse des parcours de visite par défaut inclut les spécifications suivantes : Capacité de piloter la mise en page, la navigation et la présentation en fonction de l'analyse des parcours de visite à latence faible. Capacité de gérer au maximum 100 000 événements de données par seconde pendant les heures de pointe du trafic. Identification de modèles de flux de données de clic et réponse immédiates avec une campagne de publicité ciblée.
- L'échange algorithmique, avec ses besoins en traitement de données à fort volume, a en général les spécifications suivantes : Capacité de gérer au maximum 100 000 événements de données par seconde. Traitement des requêtes limité dans le temps. Analyse et capitalisation dans les conditions de marché actuelles avec des fenêtres très courtes d'opportunité. Filtrage intelligent des données d'entrée. Capacité de définir des modèles sur plusieurs sources de données et de déclencher automatiquement, dans le temps, les décisions de vente/achat/attente pour l'actif d'un portefeuille.
- Le secteur public requiert une infrastructure efficace pour la gestion des grilles électriques et d'autres services. Ces systèmes ont en général les spécifications suivantes. Réponse immédiate aux variations de consommation d'énergie ou d'eau, pour réduire ou éviter les coupures de courant ou pénuries d'eau ou d'autres interruptions de service. Obtention de rendements opérationnels et environnementaux en adoptant des grilles intelligentes. Plusieurs niveaux d'agrégation le long de la grille. Capacité de gérer un maximum de 100 000 événements par seconde issus de millions de sources de données.
- Lorsque vous comparez le paradigme de la requête, la différence clef à comprendre est que dans un scénario d'analyse de données relationnelles, les requêtes sont déposées dans la banque de données et exécutées contre le jeu d'enregistrements qui sont stockés là. À l'inverse, dans un scénario CEP, les requêtes sont statiques et opèrent sur un flux constant de données. En d'autres termes, dans un scénario de relationnel, les requêtes aller aux données, mais dans le scénario de la CEP, les données proviennent pour les requêtes. Une analogie qui pourrait contribuer à expliquer cette différence est d'imaginer que vous devez compter les voitures rouges. La première analogie (comme dans le modèle de requête relationnelle) consisterait à diriger toutes les voitures sur un parking, à proximité du stationnement afin que les voitures ne peuvent entrer ou laisser jusqu'à ce que vous avez fini de compter les voitures qui sont rouges. Une autre approche (analogue à la CEP) serait de se tenir par la route et compter chaque voiture. StreamInsight implémente une architecture de flux légère qui prend en charge l'exécution parallèle de requêtes continues sur des données haut débit. L'utilisation de caches en mémoire et le calcul de résultat incrémentiel fournissent d'excellentes performances avec les données haut débit et à latence faible. La latence faible est obtenue parce que les événements sont traités sans charge de données onéreuse ou opérations de stockage dans le chemin d'accès de traitement critique. Avec StreamInsight, tout le traitement est déclenché automatiquement par les événements entrants. En particulier, les applications n'ont pas à supporter de surcharge pour l'interrogation des événements. La plateforme fournit les fonctionnalités pour la gestion d'événements non ordonnés. De plus, les données de référence statique ou les données d'historique sont accessibles et incluses dans l'analyse à latence faible.
- Nous recommandons l'édition Premium pour les applications exigeant un taux d'événement supérieur à 5 000 événements par seconde ou dont la tolérance de latence est inférieure à cinq secondes. L'édition Standard est plus adaptée aux applications dont le taux d'événement est inférieur à 5 000 événements par seconde et/ou dont la tolérance de latence dépasse cinq secondes. Taux d'événement — Nombre d'événements devant être traités par seconde. Tolérance de latence — Durée pendant laquelle les événements doivent être mobilisés afin de générer la sortie désirée.
- On parlait des speakers, il y a une chose qui leur tient à cœur !
- On parlait des speakers, il y a une chose qui leur tient à cœur !