SlideShare une entreprise Scribd logo
1  sur  26
#JSS2014 
Les journées 
SQL Server 2014 
Un événement organisé par GUSS 
Merci de Tweeter sur notre 
session avec #JSS2014
#JSS2014 
Les journées 
SQL Server 2014 
Big Data & 
Real Time 
Un événement organisé par GUSS 
Romain Casteres 
Consultant en BI & Big Data 
MVP SQL Server 
@PulsWeb 
Benjamin Guinebertière 
Conseiller technologique 
Microsoft Azure 
Technical Evangelist 
@benjguin
#JSS2014 
Merci à nos sponsors
#JSS2014 
Agenda 
• Scénarios d’usage 
• Démo « Sensor Data » 
• Architecture Lambda 
• Big Data en mode batch 
• Démos : 
– Apache Storm 
– Azure Stream Analytics 
• Q & R
#JSS2014 
Scénarios d’usage
#JSS2014 
Démo Sensor Data 
Merci de Twitter sur notre 
session sur Twitter #JSS2014
#JSS2014 
Architecture Lambda
| Données traitées par batch | Données non visibles | 
#JSS2014 
Big Data en mode batch 
Temps
#JSS2014 
Architecture de la démo
• Stream analytics for Near-Real Time Processing 
• Consumes millions of real-time events from a scalable event broker (ie. Apache Kafka, Azure Event Hub) 
• Performs time-sensitive computation 
• Output to persistent stores, dashboards or devices 
#JSS2014 
Storm
#JSS2014 
Storm. Topologie dans la démo
#JSS2014
#JSS2014 
Hbase dans HDInsight 
• Base de données NoSQL 
– orientée colonnes 
– à faible latence 
• Données dans blobs Azure
#JSS2014
#JSS2014 
SignalR / d3js 
• SignalR 
– Hub de communication bi-directionnel client/serveur 
Web 
– cf http://www.asp.net/signalr 
• d3js 
– “D3.js is a JavaScript library for manipulating documents 
based on data. D3 helps you bring data to life using 
HTML, SVG and CSS” 
– http://d3js.org/
#JSS2014
• How to: Create your first content app for 
Excel with "Napa" Office 365 Development 
Tools 
#JSS2014 
HTML5 / Excel
#JSS2014
#JSS2014 
Démo Stream Analytics 
Devices
#JSS2014 
Event Hubs 
• Collecte et diffuse en temps réel jusqu’à un millions d’évènements par secondes 
• Jusqu’à 32 partitions permettant de traiter en parallèles les évènements
#JSS2014 
Stream Analytics 
• Traitement de million d’évènement par seconde 
• Possibilité de les agréger à la voler, les corréler avec d’autres sources de données 
• Pas d’acquisition de Hardware 
• Pas de déploiement ni de maintenance 
• Garantie de ne pas perdre d'événements 
• Garantie de disponibilité (SLA 99,9 %) 
• Bénéficié de l’élasticité et la scalabilité qu’offre le Cloud 
• Développement SQL Like 
• Monitoring des performances et des messages traitées, en erreur, … 
• Limitations actuelles : Azure régions (Central US, West Europe), format d'encodage UTF-8, fonction 
agrégation (<=7), LEFT OUTER JOIN, une seule Output, …
Merci de Tweeter sur notre 
session avec #JSS2014 
#JSS2014 
http://jss14dashboard.cloudapp.net/
Storm vs Stream Analytics 
Storm Stream Analytics 
#JSS2014 
Simplicité de mise en oeuvre + +++ 
Type de requêtes possibles +++ + 
Coût ++ + 
Réversibilité +++ + 
Lambda architecture +++ + 
Scalabilité ++ +++
##JJSSSS22001144 
Les évaluations des sessions, c’est important !! 
…Et en plus on peut gagner des cadeaux 
http://GUSS.Pro/jss
#JSS2014 
Q & R 
Merci
##JJSSSS22001144

Contenu connexe

Tendances

Jss 2015 - Microsoft Stream analytics
Jss 2015 -  Microsoft Stream analyticsJss 2015 -  Microsoft Stream analytics
Jss 2015 - Microsoft Stream analyticsGeorges Damien
 
Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1GUSS
 
JSS2014 – Comment réaliser et administrer un portail BI avec SharePoint, SQL ...
JSS2014 – Comment réaliser et administrer un portail BI avec SharePoint, SQL ...JSS2014 – Comment réaliser et administrer un portail BI avec SharePoint, SQL ...
JSS2014 – Comment réaliser et administrer un portail BI avec SharePoint, SQL ...GUSS
 
Premiers pas avec Microsoft Azure Search
Premiers pas avec Microsoft Azure SearchPremiers pas avec Microsoft Azure Search
Premiers pas avec Microsoft Azure SearchMCKLMT
 
JSS2015 - Keynote jour 1
JSS2015 - Keynote jour 1JSS2015 - Keynote jour 1
JSS2015 - Keynote jour 1GUSS
 
J1 T1 5 - Stream Analytics - Cédric Charlier
J1 T1 5 - Stream Analytics - Cédric CharlierJ1 T1 5 - Stream Analytics - Cédric Charlier
J1 T1 5 - Stream Analytics - Cédric CharlierMS Cloud Summit
 
GUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the WebGUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the WebGUSS
 
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent SuiteSQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent SuiteRomain Casteres
 
Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016Guillaume Nocent
 
[JSS2015] - Document db et nosql
[JSS2015] - Document db et nosql[JSS2015] - Document db et nosql
[JSS2015] - Document db et nosqlGUSS
 
Panorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans AzurePanorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans AzureMicrosoft Décideurs IT
 
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.024HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.0Jean-Pierre Riehl
 
JSS2014 – Industrialisation de l’audit MSSQL
JSS2014 – Industrialisation de l’audit MSSQLJSS2014 – Industrialisation de l’audit MSSQL
JSS2014 – Industrialisation de l’audit MSSQLGUSS
 
JSS2014 – Le grand tour de Power BI
JSS2014 – Le grand tour de Power BIJSS2014 – Le grand tour de Power BI
JSS2014 – Le grand tour de Power BIGUSS
 
Cnam cours azure ze cloud intro et présentation generale 2016
Cnam cours azure ze cloud intro et présentation  generale 2016Cnam cours azure ze cloud intro et présentation  generale 2016
Cnam cours azure ze cloud intro et présentation generale 2016Aymeric Weinbach
 

Tendances (15)

Jss 2015 - Microsoft Stream analytics
Jss 2015 -  Microsoft Stream analyticsJss 2015 -  Microsoft Stream analytics
Jss 2015 - Microsoft Stream analytics
 
Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1
 
JSS2014 – Comment réaliser et administrer un portail BI avec SharePoint, SQL ...
JSS2014 – Comment réaliser et administrer un portail BI avec SharePoint, SQL ...JSS2014 – Comment réaliser et administrer un portail BI avec SharePoint, SQL ...
JSS2014 – Comment réaliser et administrer un portail BI avec SharePoint, SQL ...
 
Premiers pas avec Microsoft Azure Search
Premiers pas avec Microsoft Azure SearchPremiers pas avec Microsoft Azure Search
Premiers pas avec Microsoft Azure Search
 
JSS2015 - Keynote jour 1
JSS2015 - Keynote jour 1JSS2015 - Keynote jour 1
JSS2015 - Keynote jour 1
 
J1 T1 5 - Stream Analytics - Cédric Charlier
J1 T1 5 - Stream Analytics - Cédric CharlierJ1 T1 5 - Stream Analytics - Cédric Charlier
J1 T1 5 - Stream Analytics - Cédric Charlier
 
GUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the WebGUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the Web
 
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent SuiteSQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
 
Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016
 
[JSS2015] - Document db et nosql
[JSS2015] - Document db et nosql[JSS2015] - Document db et nosql
[JSS2015] - Document db et nosql
 
Panorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans AzurePanorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans Azure
 
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.024HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
 
JSS2014 – Industrialisation de l’audit MSSQL
JSS2014 – Industrialisation de l’audit MSSQLJSS2014 – Industrialisation de l’audit MSSQL
JSS2014 – Industrialisation de l’audit MSSQL
 
JSS2014 – Le grand tour de Power BI
JSS2014 – Le grand tour de Power BIJSS2014 – Le grand tour de Power BI
JSS2014 – Le grand tour de Power BI
 
Cnam cours azure ze cloud intro et présentation generale 2016
Cnam cours azure ze cloud intro et présentation  generale 2016Cnam cours azure ze cloud intro et présentation  generale 2016
Cnam cours azure ze cloud intro et présentation generale 2016
 

En vedette

Forum français de l'OGC - Sageo 2009
Forum français de l'OGC - Sageo 2009Forum français de l'OGC - Sageo 2009
Forum français de l'OGC - Sageo 2009Nicolas Klein
 
Use Age - WUD 2011 - 01 - Villes Intelligentes - Pascale Xelot
Use Age - WUD 2011 - 01 - Villes Intelligentes - Pascale XelotUse Age - WUD 2011 - 01 - Villes Intelligentes - Pascale Xelot
Use Age - WUD 2011 - 01 - Villes Intelligentes - Pascale XelotUse Age
 

En vedette (20)

Sensor Agosto/ 2013
Sensor Agosto/ 2013Sensor Agosto/ 2013
Sensor Agosto/ 2013
 
Pesquisa Sensor - Ago/11
Pesquisa Sensor - Ago/11Pesquisa Sensor - Ago/11
Pesquisa Sensor - Ago/11
 
Sensor Outubro 2013
Sensor Outubro 2013Sensor Outubro 2013
Sensor Outubro 2013
 
Sensor apresentacao mar15
Sensor apresentacao mar15Sensor apresentacao mar15
Sensor apresentacao mar15
 
Sensor Setembro / 2014
Sensor Setembro / 2014Sensor Setembro / 2014
Sensor Setembro / 2014
 
Sensor Junho/ 2014
Sensor Junho/ 2014Sensor Junho/ 2014
Sensor Junho/ 2014
 
Fulltext 7
Fulltext 7Fulltext 7
Fulltext 7
 
Pesquisa Sensor - Resultados Fevereiro 2010
Pesquisa Sensor - Resultados Fevereiro 2010Pesquisa Sensor - Resultados Fevereiro 2010
Pesquisa Sensor - Resultados Fevereiro 2010
 
Sensor Janeiro/2013
Sensor Janeiro/2013Sensor Janeiro/2013
Sensor Janeiro/2013
 
Sensor Novembro / 2014
Sensor Novembro / 2014Sensor Novembro / 2014
Sensor Novembro / 2014
 
Pdc r56
Pdc r56Pdc r56
Pdc r56
 
Sensor apresentação - Maio 2015
Sensor apresentação - Maio 2015Sensor apresentação - Maio 2015
Sensor apresentação - Maio 2015
 
Rain bird
Rain birdRain bird
Rain bird
 
Sensor Março de 2010
Sensor Março de 2010Sensor Março de 2010
Sensor Março de 2010
 
GTA - Gestão Total de Abastecimento
GTA - Gestão Total de AbastecimentoGTA - Gestão Total de Abastecimento
GTA - Gestão Total de Abastecimento
 
Pesquisa Sensor - Julho/2015
Pesquisa Sensor - Julho/2015Pesquisa Sensor - Julho/2015
Pesquisa Sensor - Julho/2015
 
Sensor Outubro/ 2013
Sensor Outubro/ 2013Sensor Outubro/ 2013
Sensor Outubro/ 2013
 
Forum français de l'OGC - Sageo 2009
Forum français de l'OGC - Sageo 2009Forum français de l'OGC - Sageo 2009
Forum français de l'OGC - Sageo 2009
 
Sensor apresentação - Abril 2015
Sensor apresentação - Abril 2015Sensor apresentação - Abril 2015
Sensor apresentação - Abril 2015
 
Use Age - WUD 2011 - 01 - Villes Intelligentes - Pascale Xelot
Use Age - WUD 2011 - 01 - Villes Intelligentes - Pascale XelotUse Age - WUD 2011 - 01 - Villes Intelligentes - Pascale Xelot
Use Age - WUD 2011 - 01 - Villes Intelligentes - Pascale Xelot
 

Similaire à Big Data & Real Time #JSS2014

JSS2014 – Cloud et BI, quelle architecture pour 2014 ?
JSS2014 – Cloud et BI, quelle architecture pour 2014 ?JSS2014 – Cloud et BI, quelle architecture pour 2014 ?
JSS2014 – Cloud et BI, quelle architecture pour 2014 ?GUSS
 
Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Jean-Pierre Riehl
 
JSS2014 - StreamInsight
JSS2014 - StreamInsightJSS2014 - StreamInsight
JSS2014 - StreamInsightGUSS
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SISamir Arezki ☁
 
Microsoft experiences azure et asp.net core
Microsoft experiences   azure et asp.net coreMicrosoft experiences   azure et asp.net core
Microsoft experiences azure et asp.net coreSébastien Ollivier
 
Rationalisation d'infrastructures SQL Server
Rationalisation d'infrastructures SQL Server Rationalisation d'infrastructures SQL Server
Rationalisation d'infrastructures SQL Server Microsoft Technet France
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteMicrosoft
 
Oxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigDataOxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigDataLudovic Piot
 
Rendez vos objets connectés intelligents avec la "Lambda architecture"
Rendez vos objets connectés intelligents avec la "Lambda architecture"Rendez vos objets connectés intelligents avec la "Lambda architecture"
Rendez vos objets connectés intelligents avec la "Lambda architecture"Microsoft Technet France
 
Rendez vos objets connectés intelligents avec la "Lambda architecture"
Rendez vos objets connectés intelligents avec la "Lambda architecture"Rendez vos objets connectés intelligents avec la "Lambda architecture"
Rendez vos objets connectés intelligents avec la "Lambda architecture"Microsoft Décideurs IT
 
JSS2013 : Haute disponibilité
JSS2013 : Haute disponibilitéJSS2013 : Haute disponibilité
JSS2013 : Haute disponibilitéChristophe Laporte
 
Webinar HTML5 Microsoft Intel
Webinar HTML5 Microsoft IntelWebinar HTML5 Microsoft Intel
Webinar HTML5 Microsoft Inteldavrous
 
Migration des réseaux d agence : les apports de Windows Server 2012 R2
Migration des réseaux d agence : les apports de Windows Server 2012 R2Migration des réseaux d agence : les apports de Windows Server 2012 R2
Migration des réseaux d agence : les apports de Windows Server 2012 R2Microsoft
 
Retour d'expérience Bouygues Telecom : Analyse BI à l'aide d'une appliance SQ...
Retour d'expérience Bouygues Telecom : Analyse BI à l'aide d'une appliance SQ...Retour d'expérience Bouygues Telecom : Analyse BI à l'aide d'une appliance SQ...
Retour d'expérience Bouygues Telecom : Analyse BI à l'aide d'une appliance SQ...Microsoft Technet France
 
[JSS2015] Power BI Dev
[JSS2015] Power BI Dev[JSS2015] Power BI Dev
[JSS2015] Power BI DevGUSS
 
Aspectize meetup
Aspectize meetupAspectize meetup
Aspectize meetupAspectize
 
JSS2014 – Hive ou la convergence entre datawarehouse et Big Data
JSS2014 – Hive ou la convergence entre datawarehouse et Big DataJSS2014 – Hive ou la convergence entre datawarehouse et Big Data
JSS2014 – Hive ou la convergence entre datawarehouse et Big DataGUSS
 
Biztalk summit - IOT
Biztalk summit - IOTBiztalk summit - IOT
Biztalk summit - IOTCellenza
 

Similaire à Big Data & Real Time #JSS2014 (20)

JSS2014 – Cloud et BI, quelle architecture pour 2014 ?
JSS2014 – Cloud et BI, quelle architecture pour 2014 ?JSS2014 – Cloud et BI, quelle architecture pour 2014 ?
JSS2014 – Cloud et BI, quelle architecture pour 2014 ?
 
Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?
 
JSS2014 - StreamInsight
JSS2014 - StreamInsightJSS2014 - StreamInsight
JSS2014 - StreamInsight
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SI
 
Microsoft experiences azure et asp.net core
Microsoft experiences   azure et asp.net coreMicrosoft experiences   azure et asp.net core
Microsoft experiences azure et asp.net core
 
Rationalisation d'infrastructures SQL Server
Rationalisation d'infrastructures SQL Server Rationalisation d'infrastructures SQL Server
Rationalisation d'infrastructures SQL Server
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides Keynote
 
Oxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigDataOxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigData
 
Rendez vos objets connectés intelligents avec la "Lambda architecture"
Rendez vos objets connectés intelligents avec la "Lambda architecture"Rendez vos objets connectés intelligents avec la "Lambda architecture"
Rendez vos objets connectés intelligents avec la "Lambda architecture"
 
Rendez vos objets connectés intelligents avec la "Lambda architecture"
Rendez vos objets connectés intelligents avec la "Lambda architecture"Rendez vos objets connectés intelligents avec la "Lambda architecture"
Rendez vos objets connectés intelligents avec la "Lambda architecture"
 
JSS2013 : Haute disponibilité
JSS2013 : Haute disponibilitéJSS2013 : Haute disponibilité
JSS2013 : Haute disponibilité
 
Webinar HTML5 Microsoft Intel
Webinar HTML5 Microsoft IntelWebinar HTML5 Microsoft Intel
Webinar HTML5 Microsoft Intel
 
Migration des réseaux d agence : les apports de Windows Server 2012 R2
Migration des réseaux d agence : les apports de Windows Server 2012 R2Migration des réseaux d agence : les apports de Windows Server 2012 R2
Migration des réseaux d agence : les apports de Windows Server 2012 R2
 
Retour d'expérience Bouygues Telecom : Analyse BI à l'aide d'une appliance SQ...
Retour d'expérience Bouygues Telecom : Analyse BI à l'aide d'une appliance SQ...Retour d'expérience Bouygues Telecom : Analyse BI à l'aide d'une appliance SQ...
Retour d'expérience Bouygues Telecom : Analyse BI à l'aide d'une appliance SQ...
 
[JSS2015] Power BI Dev
[JSS2015] Power BI Dev[JSS2015] Power BI Dev
[JSS2015] Power BI Dev
 
Aspectize meetup
Aspectize meetupAspectize meetup
Aspectize meetup
 
Azure Serverless C2S
Azure Serverless C2SAzure Serverless C2S
Azure Serverless C2S
 
JSS2014 – Hive ou la convergence entre datawarehouse et Big Data
JSS2014 – Hive ou la convergence entre datawarehouse et Big DataJSS2014 – Hive ou la convergence entre datawarehouse et Big Data
JSS2014 – Hive ou la convergence entre datawarehouse et Big Data
 
Biztalk summit - IOT
Biztalk summit - IOTBiztalk summit - IOT
Biztalk summit - IOT
 
Procima deck 7 May 2014
Procima deck 7 May 2014Procima deck 7 May 2014
Procima deck 7 May 2014
 

Plus de Romain Casteres

DEMO 1 – Power BI Deployment Pipelines.pptx
DEMO 1 – Power BI Deployment Pipelines.pptxDEMO 1 – Power BI Deployment Pipelines.pptx
DEMO 1 – Power BI Deployment Pipelines.pptxRomain Casteres
 
SQL Saturday Paris 2015 - Polybase
SQL Saturday Paris 2015 - PolybaseSQL Saturday Paris 2015 - Polybase
SQL Saturday Paris 2015 - PolybaseRomain Casteres
 
Techdays2015 big data-realtime
Techdays2015 big data-realtimeTechdays2015 big data-realtime
Techdays2015 big data-realtimeRomain Casteres
 
SQL Saturday 323 Paris 2014 - HDInsight
SQL Saturday 323 Paris 2014 - HDInsightSQL Saturday 323 Paris 2014 - HDInsight
SQL Saturday 323 Paris 2014 - HDInsightRomain Casteres
 
Big data démystifié td2014
Big data démystifié td2014Big data démystifié td2014
Big data démystifié td2014Romain Casteres
 

Plus de Romain Casteres (6)

DEMO 1 – Power BI Deployment Pipelines.pptx
DEMO 1 – Power BI Deployment Pipelines.pptxDEMO 1 – Power BI Deployment Pipelines.pptx
DEMO 1 – Power BI Deployment Pipelines.pptx
 
Data Companies
Data CompaniesData Companies
Data Companies
 
SQL Saturday Paris 2015 - Polybase
SQL Saturday Paris 2015 - PolybaseSQL Saturday Paris 2015 - Polybase
SQL Saturday Paris 2015 - Polybase
 
Techdays2015 big data-realtime
Techdays2015 big data-realtimeTechdays2015 big data-realtime
Techdays2015 big data-realtime
 
SQL Saturday 323 Paris 2014 - HDInsight
SQL Saturday 323 Paris 2014 - HDInsightSQL Saturday 323 Paris 2014 - HDInsight
SQL Saturday 323 Paris 2014 - HDInsight
 
Big data démystifié td2014
Big data démystifié td2014Big data démystifié td2014
Big data démystifié td2014
 

Big Data & Real Time #JSS2014

  • 1. #JSS2014 Les journées SQL Server 2014 Un événement organisé par GUSS Merci de Tweeter sur notre session avec #JSS2014
  • 2. #JSS2014 Les journées SQL Server 2014 Big Data & Real Time Un événement organisé par GUSS Romain Casteres Consultant en BI & Big Data MVP SQL Server @PulsWeb Benjamin Guinebertière Conseiller technologique Microsoft Azure Technical Evangelist @benjguin
  • 3. #JSS2014 Merci à nos sponsors
  • 4. #JSS2014 Agenda • Scénarios d’usage • Démo « Sensor Data » • Architecture Lambda • Big Data en mode batch • Démos : – Apache Storm – Azure Stream Analytics • Q & R
  • 6. #JSS2014 Démo Sensor Data Merci de Twitter sur notre session sur Twitter #JSS2014
  • 8. | Données traitées par batch | Données non visibles | #JSS2014 Big Data en mode batch Temps
  • 10. • Stream analytics for Near-Real Time Processing • Consumes millions of real-time events from a scalable event broker (ie. Apache Kafka, Azure Event Hub) • Performs time-sensitive computation • Output to persistent stores, dashboards or devices #JSS2014 Storm
  • 11. #JSS2014 Storm. Topologie dans la démo
  • 13. #JSS2014 Hbase dans HDInsight • Base de données NoSQL – orientée colonnes – à faible latence • Données dans blobs Azure
  • 15. #JSS2014 SignalR / d3js • SignalR – Hub de communication bi-directionnel client/serveur Web – cf http://www.asp.net/signalr • d3js – “D3.js is a JavaScript library for manipulating documents based on data. D3 helps you bring data to life using HTML, SVG and CSS” – http://d3js.org/
  • 17. • How to: Create your first content app for Excel with "Napa" Office 365 Development Tools #JSS2014 HTML5 / Excel
  • 19. #JSS2014 Démo Stream Analytics Devices
  • 20. #JSS2014 Event Hubs • Collecte et diffuse en temps réel jusqu’à un millions d’évènements par secondes • Jusqu’à 32 partitions permettant de traiter en parallèles les évènements
  • 21. #JSS2014 Stream Analytics • Traitement de million d’évènement par seconde • Possibilité de les agréger à la voler, les corréler avec d’autres sources de données • Pas d’acquisition de Hardware • Pas de déploiement ni de maintenance • Garantie de ne pas perdre d'événements • Garantie de disponibilité (SLA 99,9 %) • Bénéficié de l’élasticité et la scalabilité qu’offre le Cloud • Développement SQL Like • Monitoring des performances et des messages traitées, en erreur, … • Limitations actuelles : Azure régions (Central US, West Europe), format d'encodage UTF-8, fonction agrégation (<=7), LEFT OUTER JOIN, une seule Output, …
  • 22. Merci de Tweeter sur notre session avec #JSS2014 #JSS2014 http://jss14dashboard.cloudapp.net/
  • 23. Storm vs Stream Analytics Storm Stream Analytics #JSS2014 Simplicité de mise en oeuvre + +++ Type de requêtes possibles +++ + Coût ++ + Réversibilité +++ + Lambda architecture +++ + Scalabilité ++ +++
  • 24. ##JJSSSS22001144 Les évaluations des sessions, c’est important !! …Et en plus on peut gagner des cadeaux http://GUSS.Pro/jss
  • 25. #JSS2014 Q & R Merci

Notes de l'éditeur

  1. Le monitoring en temps réel permet de prévenir et d’optimiser dans le but d’être réactif. Voiture connectée : Eviter les bouchons Objet Connecté : Création d’une alerte si par exemple la température d’un bâtiment augmente de 10% Gestion des stocks : Supply chain Détection de fraudes Suivi en temps réel des ventes : Création d’offres promotionnels Analyse de Click Stream : Etudier le comportement des internaute grâce a l’analyse des chemins emprunter sur le site en temps réel Alertes de portefeuille financier en temps réel : cours des actions en live Bref avec l’arrivé de l’analyse des réseaux sociaux, des objets connectés, … il est de plus en plus nécessaire d’analyser les données en temps réel et ceux sur des volumétries de plus en plus grandes. --- Capteurs, météo, cours de Bourse, Manufacturing, Retail (Kineck), … Travel Pricing
  2. Hadoop est disponible dans Azure en tant que service via HDInsight, en tant que Plateforme as a Service avec les distributions Hortonworks et Cloudera. Un des aspects du Big Data est qu’il travail en mode batch, malgré la parallélisassions des traitements lorsque que le batch à fini de s'exécuter, de nouvelles données sont arrivés (V de Fréquence), la vision est donc erronée. Des outils de streaming et d'analyse en temps réel ont cependant été développé sur le Framework Hadoop, Benjamin va vous présenter Storm. --- Le challenge des système Big Data est de Détécter, Anticiper et Predire
  3. Voici l'architecture de la solution de ma démo, je vais reprendre le même jeu de données que Benjamin, à savoir les thermomètres connectés. Les différents Devise envoient des informations sur la température dans un évent Hub, un stream Analytics reçoit et agrege ces informations puis les enregistrer dans une base de données azure SQL Database. Enfin nous analyserons les données en temps réel dans Excel avec Power View.
  4. Event Hubs est un service en ligne permettant de collecter et de diffuser en temps réel jusqu’à un millions d’évènements par secondes. Le système de queue a été créé pour répondre au problématique des objets connecté ou des services d’analyse en temps réel La configuration des partitions permet de paralléliser les traitements L’envoi d’événements peut se faire soit en utilisant un HTTP POST ou via le protocole AMQP 1.0 (Advanced Message Queuing Protocol). Les Event Hubs peuvent être créés depuis le portail Azure ou via l’API de management. --- Azure Service Bus Main reasons to use = Cost Savings Pay as you use No upfront infrastructure costs Elasticity based on demand Event Hubs are messaging entities, siblings to queues and topics, that enable the collection of event streams at high throughput, from a diverse set of devices and services. Event Hubs enable a variety of management and monitoring scenarios. Collecting event streams at high throughput from devices/services for use in real-time and batch processing. Connecting millions of devices from diverse platforms for sending data (with individual authentication and flow control). Process event streams per device "in order" using several backend services (publish/subscribe.) http://azure.microsoft.com/blog/2014/11/05/announcing-azure-event-hubs-general-availability/
  5. Stream Analytics est un service en ligne permettant le traitement d’évènement complexe en temps réel. Le service est actuellement en Preview depuis le 29 Octobre dernier durant le TechEd Europe 2014. Généralement, pour créer d’une solution de streaming en temps réel, il faut : Créer et configurer l’infrastructure (scalables et résistantes aux pannes) Développer les composants d’entrée, de traitement et de sortie Implémenter une solution de Monitoring et de Troubleshooting Stream Analytics permet de gagner du temps en apportant une couche d’abstraction proche du langage SQL. Les évènements peuvent être archivé pour une utilisation futur (traitement dans HDInsight) Parce que la notion de temps est fondamentale pour les systèmes de traitement d’événements complexes, Stream Analytics possède des fonction permettant d’agréger au file de l’eau les données. (Tumbling, intervalle de temps fixe) --- Prix : Provision and run Streaming solution for as less as 23$/month for 1Mb/s troughput + $0.001 Gb troughput
  6. Demo Device Température Twitter #JSS2014
  7. On parlait des speakers, il y a une chose qui leur tient à cœur !
  8. Stream Analytics est un service en ligne permettant le traitement d’évènement complexe en temps réel. Le service est actuellement en Preview depuis le 29 Octobre 2014 (annoncé au TechEd Europe 2014) Généralement, pour la création d’une solution de streaming en temps réel, il faut : Créer et configurer l’infrastructure (scalables et résistantes aux pannes) Développer les composants d’entrée, de traitement et de sortie Implémenter une solution de Monitoring et de Troubleshooting Stream Analytics permet de gagner du temps en apportant une couche d’abstraction proche au langage SQL aux développeurs. Les évènements peuvent etre archivé pour une utilisation futur (traitement dans HDInsight) Prix : Provision and run Streaming solution for as less as 23$/month for 1Mb/s troughput + $0.001 Gb troughput