#JSS2014
Les journées
SQL Server 2014
Un événement organisé par GUSS
#JSS2014
Les journées
SQL Server 2014
Un événement organisé par GUSS
Session StreamInsight
Philippe Geiger
Grégory Boge
#JSS2014
Merci à nos sponsors
#JSS2014
Philippe
GEIGER
Blog
www.pgeiger.net
Courriel
pgeiger@pgeiger.net
Data Platform Solution
Consultant
Accompagnement technique
• Exploitation et administration
• Développement
• Business Intelligence
Formateur
Certifications
Infrastructure
Décisionnel & CRM
Application
Collaboratif
ERP
#JSS2014
Grégory Boge
DBA SQL Server
@KankuruSQL
www.gregory-boge.fr
gregory.boge@outlook.fr
#JSS2014
• Présentation
• Démonstrations
• Questions/réponses
Agenda
#JSS2014
PRÉSENTATION
Session StreamInsight
#JSS2014
• Microsoft StreamInsight fournit une plate-
forme puissante pour le développement et
le déploiement d'applications de
traitement des événements complexes
(CEP).
Définition
#JSS2014
• Performances et débit de données
hautement optimisés
• Environnement de développement .NET
• Fonctionnalité de déploiement flexible
• Simplicité de gestion
Avantages de StreamInsight
#JSS2014
• Analyse basée sur les ressources et l'agrégation des données par
ordinateur
• Observation basée sur les capteurs des activités par usine et étage et
sortie
• Observation et réaction via des contrôleurs de périphérique
• Capacité de gérer au maximum 10 000 événements de données par
seconde
• Événement et génération d'alerte en cas de problème
• Maintenance proactive basée sur des conditions sur le matériel clé.
• Analyse à faible latence de données agrégées (fenêtrées et échelles
logarithmiques)
Scénario 1 : Analyse de processus de
fabrication et contrôle
#JSS2014
• Capacité de piloter la mise en page, la
navigation et la présentation en fonction de
l'analyse des parcours de visite à latence faible
• Capacité de gérer au maximum
100 000 événements de données par seconde
pendant les heures de pointe du trafic
• Identification de modèles de flux de données de
clic et réponse immédiates avec une campagne
de publicité ciblée
Scénario 2 : Analyse des parcours de visite
#JSS2014
• Capacité de gérer au maximum 100 000 événements de
données par seconde
• Traitement des requêtes limité dans le temps
• Analyse et capitalisation dans les conditions de marché
actuelles avec des fenêtres très courtes d'opportunité
• Filtrage intelligent des données d'entrée
• Capacité de définir des modèles sur plusieurs sources de
données et de déclencher automatiquement, dans le
temps, les décisions de vente/achat/attente pour l'actif
d'un portefeuille
Scénario 3 : Échange algorithmique dans un
environnement de services financiers
#JSS2014
•Réponse immédiate aux variations de consommation
d'énergie ou d'eau, pour réduire ou éviter les coupures de
courant ou pénuries d'eau ou d'autres interruptions de
service
•Obtention de rendements opérationnels et
environnementaux en adoptant des grilles intelligentes.
•Plusieurs niveaux d'agrégation le long de la grille
•Capacité de gérer un maximum de 100 000 événements
par seconde issus de millions de sources de données
Scénario 4 : Services publics
#JSS2014
Données relationnelles versus CEP
Données relationnelles CEP
Principe d’accès aux
données
Les requêtes sont
envoyées à un moteur
de stockage en fonction
des besoins
Les requêtes sont
traitées en continue sur
un flux de données
Latence Seconde, heure, journée Millisecondes voire
moins
Volume de données Des centaines
d’événements par
secondes
Des dizaines de milliers
d’événements par
secondes voire plus
#JSS2014
Périmètre de StreamInsight
Relational Database Applications
Financial trading
Applications
Aggregate Data Rate (Events/sec.)
Latency
Manufacturing ApplicationsMonitoring
Target Scenarios
New Data Warehousing
Applications Web Analytics Applications
Operational Analytics :
Logistics, etc.
Months
Days
hours
Minutes
Seconds
100 ms
< 1ms
1 10 100 1000 10000 100000 106+
#JSS2014
L’architecture
Standing Queries
Query
Logic
Event sources Event targets
`
Devices, Sensors
Web servers
Event stores &
Databases
Stock ticker, news feeds Event stores & Databases
Pagers &
Monitoring devices
KPI Dashboards,
SharePoint UI
Trading stations
Input
Adapters
Output
AdaptersStreamInsight Engine
Query
Logic
Query
Logic
StreamInsight
Application Development
StreamInsight Application at Runtime
#JSS2014
CEP dans l’architecture BI de Microsoft
Complex Event
Processing
(Flux temps réel)
Traitements
Transactionnels
(OLTP)
Data Quality
Management
Extract
Transform/Load
(ETL)
Analyse
OLAP
Datamining
Master Data
Management
Data Warehouse
Reporting statique
Reporting ad-hoc
Analyse ad-hoc
Exploration
Tableaux de Bords
SQL Server
Analysis Services
SQL Server Reporting
Services
SharePoint
PerformancePoint
Excel, Power Pivot,
PowerView
SQL Server
Master Data
Services
SQL Server
StreamInsight
SQL Server
RDMBS
SQL Server
Data Quality
Services
SQL Server
Integration Services
SQL Server
Data
Warehouse
#JSS2014
CEP dans l’architecture BI de Microsoft
#JSS2014
Différentes versions de StreamInsight
• Licence SQL Server 2008 R2 requiseVersion 1.0 (avril 2010)
• Prise en charge du framework 4
Version 1.0 Refresh 1 (juin
2010)
• Prise en charge pour les sources et les récepteurs d'événement
qui implémentent les interfaces IObservable ou IEnumerable.Version 1.1 (octobre 2010)
• Nouvelles fonctionnalités de développement et amélioration
des outils et de la gestionVersion 1.2 (juin 2011)
• Licence SQL Server 2008 R2 requise
• Améliorations des performances
Version 2.0 (avril 2012)
• Un nouveau modèle d'objet plus clair et cohérent est introduit.
• Utilise Reactive Framework (Rx).
Version 2.1 (juin 2012)
Version 2.3 (avril 2014)
#JSS2014
Les éditions
Edition Standard
Edition Premium
• Dépendant de la clé de licence de
SQL Server
• Seuils : 5 000 événements par
seconde ou latence de 5 secondes
#JSS2014
• Storm intégré à HDInsight (Big Data)
• Microsoft Azure Stream Analytics
Autres produits équivalents
#JSS2014
DÉMONSTRATIONS
Session StreamInsight
#JSS2014
Démo 1 : Principe
1 2 3 4 5 6 7 8 9 10
time
Value
10
20
30
40
50
60
42
inputStream
shiftedForward
#JSS2014
Démo 1 : Principe
1 2 3 4 5 6 7 8 9 10
time
Value
10
20
30
40
50
60
42
inputStream
shiftedForward
#JSS2014
#JSS2014
QUESTIONS/RÉPONSES
Session StreamInsight
#JSS2014#JSS2014
Les évaluations des sessions, c’est important !!
…Et en plus on peut gagner des cadeaux
http://GUSS.Pro/jss
#JSS2014#JSS2014

JSS2014 - StreamInsight

  • 1.
    #JSS2014 Les journées SQL Server2014 Un événement organisé par GUSS
  • 2.
    #JSS2014 Les journées SQL Server2014 Un événement organisé par GUSS Session StreamInsight Philippe Geiger Grégory Boge
  • 3.
  • 4.
    #JSS2014 Philippe GEIGER Blog www.pgeiger.net Courriel pgeiger@pgeiger.net Data Platform Solution Consultant Accompagnementtechnique • Exploitation et administration • Développement • Business Intelligence Formateur Certifications Infrastructure Décisionnel & CRM Application Collaboratif ERP
  • 5.
    #JSS2014 Grégory Boge DBA SQLServer @KankuruSQL www.gregory-boge.fr gregory.boge@outlook.fr
  • 6.
  • 7.
  • 8.
    #JSS2014 • Microsoft StreamInsightfournit une plate- forme puissante pour le développement et le déploiement d'applications de traitement des événements complexes (CEP). Définition
  • 9.
    #JSS2014 • Performances etdébit de données hautement optimisés • Environnement de développement .NET • Fonctionnalité de déploiement flexible • Simplicité de gestion Avantages de StreamInsight
  • 10.
    #JSS2014 • Analyse baséesur les ressources et l'agrégation des données par ordinateur • Observation basée sur les capteurs des activités par usine et étage et sortie • Observation et réaction via des contrôleurs de périphérique • Capacité de gérer au maximum 10 000 événements de données par seconde • Événement et génération d'alerte en cas de problème • Maintenance proactive basée sur des conditions sur le matériel clé. • Analyse à faible latence de données agrégées (fenêtrées et échelles logarithmiques) Scénario 1 : Analyse de processus de fabrication et contrôle
  • 11.
    #JSS2014 • Capacité depiloter la mise en page, la navigation et la présentation en fonction de l'analyse des parcours de visite à latence faible • Capacité de gérer au maximum 100 000 événements de données par seconde pendant les heures de pointe du trafic • Identification de modèles de flux de données de clic et réponse immédiates avec une campagne de publicité ciblée Scénario 2 : Analyse des parcours de visite
  • 12.
    #JSS2014 • Capacité degérer au maximum 100 000 événements de données par seconde • Traitement des requêtes limité dans le temps • Analyse et capitalisation dans les conditions de marché actuelles avec des fenêtres très courtes d'opportunité • Filtrage intelligent des données d'entrée • Capacité de définir des modèles sur plusieurs sources de données et de déclencher automatiquement, dans le temps, les décisions de vente/achat/attente pour l'actif d'un portefeuille Scénario 3 : Échange algorithmique dans un environnement de services financiers
  • 13.
    #JSS2014 •Réponse immédiate auxvariations de consommation d'énergie ou d'eau, pour réduire ou éviter les coupures de courant ou pénuries d'eau ou d'autres interruptions de service •Obtention de rendements opérationnels et environnementaux en adoptant des grilles intelligentes. •Plusieurs niveaux d'agrégation le long de la grille •Capacité de gérer un maximum de 100 000 événements par seconde issus de millions de sources de données Scénario 4 : Services publics
  • 14.
    #JSS2014 Données relationnelles versusCEP Données relationnelles CEP Principe d’accès aux données Les requêtes sont envoyées à un moteur de stockage en fonction des besoins Les requêtes sont traitées en continue sur un flux de données Latence Seconde, heure, journée Millisecondes voire moins Volume de données Des centaines d’événements par secondes Des dizaines de milliers d’événements par secondes voire plus
  • 15.
    #JSS2014 Périmètre de StreamInsight RelationalDatabase Applications Financial trading Applications Aggregate Data Rate (Events/sec.) Latency Manufacturing ApplicationsMonitoring Target Scenarios New Data Warehousing Applications Web Analytics Applications Operational Analytics : Logistics, etc. Months Days hours Minutes Seconds 100 ms < 1ms 1 10 100 1000 10000 100000 106+
  • 16.
    #JSS2014 L’architecture Standing Queries Query Logic Event sourcesEvent targets ` Devices, Sensors Web servers Event stores & Databases Stock ticker, news feeds Event stores & Databases Pagers & Monitoring devices KPI Dashboards, SharePoint UI Trading stations Input Adapters Output AdaptersStreamInsight Engine Query Logic Query Logic StreamInsight Application Development StreamInsight Application at Runtime
  • 17.
    #JSS2014 CEP dans l’architectureBI de Microsoft Complex Event Processing (Flux temps réel) Traitements Transactionnels (OLTP) Data Quality Management Extract Transform/Load (ETL) Analyse OLAP Datamining Master Data Management Data Warehouse Reporting statique Reporting ad-hoc Analyse ad-hoc Exploration Tableaux de Bords SQL Server Analysis Services SQL Server Reporting Services SharePoint PerformancePoint Excel, Power Pivot, PowerView SQL Server Master Data Services SQL Server StreamInsight SQL Server RDMBS SQL Server Data Quality Services SQL Server Integration Services SQL Server Data Warehouse
  • 18.
  • 19.
    #JSS2014 Différentes versions deStreamInsight • Licence SQL Server 2008 R2 requiseVersion 1.0 (avril 2010) • Prise en charge du framework 4 Version 1.0 Refresh 1 (juin 2010) • Prise en charge pour les sources et les récepteurs d'événement qui implémentent les interfaces IObservable ou IEnumerable.Version 1.1 (octobre 2010) • Nouvelles fonctionnalités de développement et amélioration des outils et de la gestionVersion 1.2 (juin 2011) • Licence SQL Server 2008 R2 requise • Améliorations des performances Version 2.0 (avril 2012) • Un nouveau modèle d'objet plus clair et cohérent est introduit. • Utilise Reactive Framework (Rx). Version 2.1 (juin 2012) Version 2.3 (avril 2014)
  • 20.
    #JSS2014 Les éditions Edition Standard EditionPremium • Dépendant de la clé de licence de SQL Server • Seuils : 5 000 événements par seconde ou latence de 5 secondes
  • 21.
    #JSS2014 • Storm intégréà HDInsight (Big Data) • Microsoft Azure Stream Analytics Autres produits équivalents
  • 22.
  • 23.
    #JSS2014 Démo 1 :Principe 1 2 3 4 5 6 7 8 9 10 time Value 10 20 30 40 50 60 42 inputStream shiftedForward
  • 24.
    #JSS2014 Démo 1 :Principe 1 2 3 4 5 6 7 8 9 10 time Value 10 20 30 40 50 60 42 inputStream shiftedForward
  • 25.
  • 26.
  • 27.
    #JSS2014#JSS2014 Les évaluations dessessions, c’est important !! …Et en plus on peut gagner des cadeaux http://GUSS.Pro/jss
  • 28.

Notes de l'éditeur

  • #9 CEP est une technologie pour le traitement de flux d'événements haut débit à latence faible. Les données des sources de flux d'événements par défaut proviennent de programmes de fabrication, d'applications financières, de services d'analyse Web ou d'analyse opérationnelle. L'architecture de traitement de flux de StreamInsight et la plateforme de développement familière basée sur Microsoft .NET donnent les moyens aux développeurs d'implémenter rapidement des applications de traitement d'événements à la fois robustes et performantes.
  • #10 Performances et débit de données hautement optimisés : architecture légère l'exécution parallèle caches en mémoire La latence faible Environnement de développement .NET langage .NET de Microsoft, tel que Visual C#, en tirant parti du LINQ d'écrire rapidement des requêtes Fonctionnalité de déploiement flexible : DLL hébergée (incorporée). serveur autonome batterie de serveurs. Simplicité de gestion L'interface de gestion et les vues de diagnostic un débogueur de flux d'événements autonome
  • #11 Pour vérifier que les produits et processus s'exécutent de façon optimale et avec le moins de temps mort possible, les usines requièrent des capacités de collecte de données et d'analyse des périphériques et capteurs par usine et par étage, avec une faible latence. Le scénario de fabrication par défaut inclut les spécifications suivantes : Analyse basée sur les ressources et l'agrégation des données par ordinateur. Observation basée sur les capteurs des activités par usine et étage et sortie. Observation et réaction via des contrôleurs de périphérique. Capacité de gérer au maximum 10 000 événements de données par seconde. Événement et génération d'alerte en cas de problème. Maintenance proactive basée sur des conditions sur le matériel clé. Analyse à faible latence de données agrégées (fenêtrées et échelles logarithmiques).
  • #12 Une expérience client optimale d'un site Web commercial requiert le traitement à latence faible du comportement de l'utilisateur et des interactions sur le site. L'application d'analyse des parcours de visite par défaut inclut les spécifications suivantes : Capacité de piloter la mise en page, la navigation et la présentation en fonction de l'analyse des parcours de visite à latence faible. Capacité de gérer au maximum 100 000 événements de données par seconde pendant les heures de pointe du trafic. Identification de modèles de flux de données de clic et réponse immédiates avec une campagne de publicité ciblée.
  • #13 L'échange algorithmique, avec ses besoins en traitement de données à fort volume, a en général les spécifications suivantes : Capacité de gérer au maximum 100 000 événements de données par seconde. Traitement des requêtes limité dans le temps. Analyse et capitalisation dans les conditions de marché actuelles avec des fenêtres très courtes d'opportunité. Filtrage intelligent des données d'entrée. Capacité de définir des modèles sur plusieurs sources de données et de déclencher automatiquement, dans le temps, les décisions de vente/achat/attente pour l'actif d'un portefeuille.
  • #14 Le secteur public requiert une infrastructure efficace pour la gestion des grilles électriques et d'autres services. Ces systèmes ont en général les spécifications suivantes. Réponse immédiate aux variations de consommation d'énergie ou d'eau, pour réduire ou éviter les coupures de courant ou pénuries d'eau ou d'autres interruptions de service. Obtention de rendements opérationnels et environnementaux en adoptant des grilles intelligentes. Plusieurs niveaux d'agrégation le long de la grille. Capacité de gérer un maximum de 100 000 événements par seconde issus de millions de sources de données.
  • #15 Lorsque vous comparez le paradigme de la requête, la différence clef à comprendre est que dans un scénario d'analyse de données relationnelles, les requêtes sont déposées dans la banque de données et exécutées contre le jeu d'enregistrements qui sont stockés là. À l'inverse, dans un scénario CEP, les requêtes sont statiques et opèrent sur un flux constant de données. En d'autres termes, dans un scénario de relationnel, les requêtes aller aux données, mais dans le scénario de la CEP, les données proviennent pour les requêtes. Une analogie qui pourrait contribuer à expliquer cette différence est d'imaginer que vous devez compter les voitures rouges. La première analogie (comme dans le modèle de requête relationnelle) consisterait à diriger toutes les voitures sur un parking, à proximité du stationnement afin que les voitures ne peuvent entrer ou laisser jusqu'à ce que vous avez fini de compter les voitures qui sont rouges. Une autre approche (analogue à la CEP) serait de se tenir par la route et compter chaque voiture. StreamInsight implémente une architecture de flux légère qui prend en charge l'exécution parallèle de requêtes continues sur des données haut débit. L'utilisation de caches en mémoire et le calcul de résultat incrémentiel fournissent d'excellentes performances avec les données haut débit et à latence faible. La latence faible est obtenue parce que les événements sont traités sans charge de données onéreuse ou opérations de stockage dans le chemin d'accès de traitement critique. Avec StreamInsight, tout le traitement est déclenché automatiquement par les événements entrants. En particulier, les applications n'ont pas à supporter de surcharge pour l'interrogation des événements. La plateforme fournit les fonctionnalités pour la gestion d'événements non ordonnés. De plus, les données de référence statique ou les données d'historique sont accessibles et incluses dans l'analyse à latence faible.
  • #21 Nous recommandons l'édition Premium pour les applications exigeant un taux d'événement supérieur à 5 000 événements par seconde ou dont la tolérance de latence est inférieure à cinq secondes. L'édition Standard est plus adaptée aux applications dont le taux d'événement est inférieur à 5 000 événements par seconde et/ou dont la tolérance de latence dépasse cinq secondes. Taux d'événement — Nombre d'événements devant être traités par seconde. Tolérance de latence — Durée pendant laquelle les événements doivent être mobilisés afin de générer la sortie désirée.
  • #28 On parlait des speakers, il y a une chose qui leur tient à cœur !
  • #30 On parlait des speakers, il y a une chose qui leur tient à cœur !