#JSS2014 
Les journées 
SQL Server 2014 
Un événement organisé par GUSS 
Merci de Tweeter sur notre 
session avec #JSS2014
#JSS2014 
Les journées 
SQL Server 2014 
Big Data & 
Real Time 
Un événement organisé par GUSS 
Romain Casteres 
Consultan...
#JSS2014 
Merci à nos sponsors
#JSS2014 
Agenda 
• Scénarios d’usage 
• Démo « Sensor Data » 
• Architecture Lambda 
• Big Data en mode batch 
• Démos : ...
#JSS2014 
Scénarios d’usage
#JSS2014 
Démo Sensor Data 
Merci de Twitter sur notre 
session sur Twitter #JSS2014
#JSS2014 
Architecture Lambda
| Données traitées par batch | Données non visibles | 
#JSS2014 
Big Data en mode batch 
Temps
#JSS2014 
Architecture de la démo
• Stream analytics for Near-Real Time Processing 
• Consumes millions of real-time events from a scalable event broker (ie...
#JSS2014 
Storm. Topologie dans la démo
#JSS2014
#JSS2014 
Hbase dans HDInsight 
• Base de données NoSQL 
– orientée colonnes 
– à faible latence 
• Données dans blobs Azu...
#JSS2014
#JSS2014 
SignalR / d3js 
• SignalR 
– Hub de communication bi-directionnel client/serveur 
Web 
– cf http://www.asp.net/s...
#JSS2014
• How to: Create your first content app for 
Excel with "Napa" Office 365 Development 
Tools 
#JSS2014 
HTML5 / Excel
#JSS2014
#JSS2014 
Démo Stream Analytics 
Devices
#JSS2014 
Event Hubs 
• Collecte et diffuse en temps réel jusqu’à un millions d’évènements par secondes 
• Jusqu’à 32 part...
#JSS2014 
Stream Analytics 
• Traitement de million d’évènement par seconde 
• Possibilité de les agréger à la voler, les ...
Merci de Tweeter sur notre 
session avec #JSS2014 
#JSS2014 
http://jss14dashboard.cloudapp.net/
Storm vs Stream Analytics 
Storm Stream Analytics 
#JSS2014 
Simplicité de mise en oeuvre + +++ 
Type de requêtes possible...
##JJSSSS22001144 
Les évaluations des sessions, c’est important !! 
…Et en plus on peut gagner des cadeaux 
http://GUSS.Pr...
#JSS2014 
Q & R 
Merci
##JJSSSS22001144
Prochain SlideShare
Chargement dans…5
×

Big Data & Real Time #JSS2014

884 vues

Publié le

Lors de la session, nous verrons :
– Des scénarios d’usage
– Comment utiliser Storm et HBase pour analyser de grandes volumétries de données en temps réel
– Comment utiliser le service Azure Stream Analytics pour analyser en temps réel des évènements complexes

Au programme, plein de démos concrètes d’utilisation de l’analyse en temps réel d’évènements fréquents.

http://guss.pro/2014/10/26/jss2014-big-data-real-time/

Publié dans : Données & analyses
  • Soyez le premier à commenter

Big Data & Real Time #JSS2014

  1. 1. #JSS2014 Les journées SQL Server 2014 Un événement organisé par GUSS Merci de Tweeter sur notre session avec #JSS2014
  2. 2. #JSS2014 Les journées SQL Server 2014 Big Data & Real Time Un événement organisé par GUSS Romain Casteres Consultant en BI & Big Data MVP SQL Server @PulsWeb Benjamin Guinebertière Conseiller technologique Microsoft Azure Technical Evangelist @benjguin
  3. 3. #JSS2014 Merci à nos sponsors
  4. 4. #JSS2014 Agenda • Scénarios d’usage • Démo « Sensor Data » • Architecture Lambda • Big Data en mode batch • Démos : – Apache Storm – Azure Stream Analytics • Q & R
  5. 5. #JSS2014 Scénarios d’usage
  6. 6. #JSS2014 Démo Sensor Data Merci de Twitter sur notre session sur Twitter #JSS2014
  7. 7. #JSS2014 Architecture Lambda
  8. 8. | Données traitées par batch | Données non visibles | #JSS2014 Big Data en mode batch Temps
  9. 9. #JSS2014 Architecture de la démo
  10. 10. • Stream analytics for Near-Real Time Processing • Consumes millions of real-time events from a scalable event broker (ie. Apache Kafka, Azure Event Hub) • Performs time-sensitive computation • Output to persistent stores, dashboards or devices #JSS2014 Storm
  11. 11. #JSS2014 Storm. Topologie dans la démo
  12. 12. #JSS2014
  13. 13. #JSS2014 Hbase dans HDInsight • Base de données NoSQL – orientée colonnes – à faible latence • Données dans blobs Azure
  14. 14. #JSS2014
  15. 15. #JSS2014 SignalR / d3js • SignalR – Hub de communication bi-directionnel client/serveur Web – cf http://www.asp.net/signalr • d3js – “D3.js is a JavaScript library for manipulating documents based on data. D3 helps you bring data to life using HTML, SVG and CSS” – http://d3js.org/
  16. 16. #JSS2014
  17. 17. • How to: Create your first content app for Excel with "Napa" Office 365 Development Tools #JSS2014 HTML5 / Excel
  18. 18. #JSS2014
  19. 19. #JSS2014 Démo Stream Analytics Devices
  20. 20. #JSS2014 Event Hubs • Collecte et diffuse en temps réel jusqu’à un millions d’évènements par secondes • Jusqu’à 32 partitions permettant de traiter en parallèles les évènements
  21. 21. #JSS2014 Stream Analytics • Traitement de million d’évènement par seconde • Possibilité de les agréger à la voler, les corréler avec d’autres sources de données • Pas d’acquisition de Hardware • Pas de déploiement ni de maintenance • Garantie de ne pas perdre d'événements • Garantie de disponibilité (SLA 99,9 %) • Bénéficié de l’élasticité et la scalabilité qu’offre le Cloud • Développement SQL Like • Monitoring des performances et des messages traitées, en erreur, … • Limitations actuelles : Azure régions (Central US, West Europe), format d'encodage UTF-8, fonction agrégation (<=7), LEFT OUTER JOIN, une seule Output, …
  22. 22. Merci de Tweeter sur notre session avec #JSS2014 #JSS2014 http://jss14dashboard.cloudapp.net/
  23. 23. Storm vs Stream Analytics Storm Stream Analytics #JSS2014 Simplicité de mise en oeuvre + +++ Type de requêtes possibles +++ + Coût ++ + Réversibilité +++ + Lambda architecture +++ + Scalabilité ++ +++
  24. 24. ##JJSSSS22001144 Les évaluations des sessions, c’est important !! …Et en plus on peut gagner des cadeaux http://GUSS.Pro/jss
  25. 25. #JSS2014 Q & R Merci
  26. 26. ##JJSSSS22001144

×