Téléchargé 14 fois
![Sources
• [6, 10] : Hortonworks : Operations Management with HDP
• [8, 11, 12] : http://www.slideshare.net/1Strategy/2016-utah-cloud-summit-big-
data-architectural-patterns-and-best-practices-on-aws](https://image.slidesharecdn.com/20161215morningtechbigdata-170406153257/85/Morning-Tech-1-BigData-Oxalide-Academy-30-320.jpg)
Téléchargé parOxalide
Morning Tech#1 BigData - Oxalide Academy
Le document présente les événements d'Oxalide autour des thématiques de big data, y compris des sessions techniques pour clients et des présentations ouvertes au public. Il aborde également les enjeux et tendances du big data, en mettant l'accent sur les dimensions du volume, variété, vélocité, véracité et visibilité des données. Diverses architectures et traitements de données sont discutés, ainsi que des concepts de machine learning et d'apprentissage supervisé et non supervisé.
Morning Tech#1 BigData - Oxalide Academy
- 1. MorningTech #1 –BigData le 15 décembre 2016 –Ludovic Piot
- 2. Les événements Oxalide •Objectif : présentation d’une thématique métier ou technique • Tout public : 80 à 100 personnes • Déroulé : 1 soir par trimestre de 18h à 21h • Introduction de la thématique par un partenaire • Tour de table avec des clients et non clients • Echange convivial autour d’un apéritif dînatoire • Objectif : présentation d’une technologie • Réservé aux clients : public technique avec laptop – 30 personnes • Déroulé : 1 matinée par trimestre de 9h à 13h • Présentation de la technologie • Tuto pour la configuration en ligne de commande • Objectif : présentation d’une thématique métier ou technique • Réservé aux clients : 30 personnes • Déroulé : 1 matin par trimestre de 9h à 12h • Big picture • Démonstration et retour d’expérience Apérotech Workshop Morning Tech
- 3. Les speakers Ludovic Piot Conseil/ Archi / DevOps @ Oxalide @lpiot
- 4.
- 5.
- 6. SoLoMo et IoT– l’explosion de la data SO cial LOcal MO bile
- 7. IoT – l’explosionde la data ! Organizations are redefining data strategies due to the requirements of the evolving Enterprise Data Warehouse (EDW). Enterprise Data VoIP Machine Data Social Media
- 8. Les 3V :les dimensions du Gartner • Volume : Le volume de données crées et gérées est en constante augmentation (+59% / an en 2011) • Variété : Les types de données collectées sont très variés (texte, son, image, logs…). Nécessité que les outils de traitement prennent en compte cette diversité • Vélocité : Besoin de rapidité pour pouvoir utiliser les données au fur et à mesure qu'elles sont collectées. Il faut les utiliser rapidement, ou elles n'ont aucune valeur. Les 2 nouveaux V émergeant : • Véracité : dimension apportant une notion de qualité de la donnée pour le métier • Visibilité : pour souligner la nécessité que la data soit accessible pour le métier afin de permettre la prise de décision rapide
- 9. Evolution des tendancesde la BigData batch temps réel prédict rapport alertes prévision
- 10.
- 11. BigData vs. gestiontraditionnelle des données ! Traditional Systems vs. Hadoop Traditional Database SCALE (storage & processing) Hadoop Distribution NoSQL MPP Analytics EDW schema speed governance best fit use processing Required on write Required on read Reads are fast Writes are fast Standards and structured Loosely structured Limited, no data processing Processing coupled with data data typesStructured Multi and unstructured Interactive OLAP Analytics Complex ACID Transactions Operational Data Store Data Discovery Processing unstructured data Massive Storage/Processing
- 12. Le stockage distribué ! DataPipeline DataNode 1 Data Integrity – Writing Data 6. Success! 3.Data+ checksum 4. Verify Checksum 4. Data and checksum 5. Success! 5.Success! DataNode 4 DataNode 12 Client 2. OK, please use DataNodes 1, 4, 12. 1. I want to write a block of data. NameNode
- 13.
- 14. Le Map/Reduce ! MapReduce Map$Phase$ Shuffle/Sort$ Mapper $ Mapper $ Mapper $ Data$is$shuffled$ across$the$network$ and$sorted$ NM+ DN NM + DN NM + DN Reduce$Phase$ Reducer $ Reducer $ NM + DN NM + DN
- 15. La table deslatences
- 16. Le pipeline BigData dataanswers ingest / collect store process analyse Time to answer (latency) Throughput Cost
- 17. La Lambda Architecture Serving Layer Standardize,Cleanse, Integrate, Filter, Transform Batch Layer Extract & Load Conform, Summarize, Access Speed Layer • Organize data based on source/derived relationships • Allows for fault and rebuild process • There are lots of different ways of organizing data in an enterprise data platform that includes Hadoop.
- 18.
- 19. Evolution des traitementsBig Data
- 20. Evolution des traitementsBig Data Dataflow Dataproc BigQueryBigTable CloudSQL Cloud Pub/Sub
- 21. Demo Time Amazon S3 http://bit.ly/2grJMMf Shard0 Amazon Kinesis Amazon Cognito Amazon EC2 R Shiny-Server https://github.com/lpiot/amazon-kinesis-IoT-sensor-demo
- 22. Machine learning & deeplearning
- 23. La démarche dedatascience
- 24. Le Machine Learning •Jeu de données : labellisé (avec les réponses) • Objectif d’apprentissage : • Régression (prévision) • Classification Apprentissage supervisé
- 25. Hypothèse et fonctionde coût But du jeu : Trouver une fonction h qui représente fidèlement les données. Régression linéaire : ℎ " = $% + $'"' + $("( + ⋯ + $*"*
- 26. Le Machine Learning •Jeu de données : non-labellisé (sans réponse) • Objectif d’apprentissage : • Identifier / détecter des structures dans les données Apprentissage non-supervisé
- 27. Algorithmes de classification Butdu jeu : Trouver l’algorithme qui distingue au mieux les structures dans les données.
- 28. Réseaux neuronaux • Baséssur le fonctionnement d’un cerveau • Hypothèse non linéaire ! • Classification multi-classe • Comme avant, on essaye de minimiser la fonction de coût en modifiant peu à peu les coefficients Θ(i)
- 29.
- 30. Sources • [6, 10]: Hortonworks : Operations Management with HDP • [8, 11, 12] : http://www.slideshare.net/1Strategy/2016-utah-cloud-summit-big- data-architectural-patterns-and-best-practices-on-aws