Publicité
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"

Check these out next

Présentation travail du stage
Présentation travail du stage
Taoufiq Bahalla
Êtes-vous API dans votre organisation ?
Êtes-vous API dans votre organisation ?
OCTO Technology Suisse
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
OCTO Technology
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
OCTO Technology
Afterwork "Décollez vers le Cloud"
Afterwork "Décollez vers le Cloud"
OCTO Technology Suisse
La Duck Conf : "Microservices et transactions distribuées"
La Duck Conf : "Microservices et transactions distribuées"
OCTO Technology
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
OCTO Technology
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
OCTO Technology
1 sur 35

La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"

5 Feb 2019••
Télécharger pour lire hors ligne
Technologie

Présentation du talk de Benoit Meriaux - OCTO Technology Dans le monde des plateformes d'exécutions distribuées, Spark est la référence. D’autres comme Flink émergent et trouvent leur place dans l’écosystème. Avec Spark, le Batch en J+1 n’est plus une fatalité, le Streaming est à portée de main et le Machine Learning devient mainstream. Bref, Spark vous sera servi à toutes les sauces.

OCTO Technology
OCTO Technology
Publicité
Publicité
Publicité

Recommandé

La Duck Conf - "Microservices & Servicemesh : le retour des frameworks d'entr...La Duck Conf - "Microservices & Servicemesh : le retour des frameworks d'entr...
La Duck Conf - "Microservices & Servicemesh : le retour des frameworks d'entr...OCTO Technology522 vues•19 diapositives
La Duck Conf - "Du monolithe à une architecture orientée service : Cher monol...La Duck Conf - "Du monolithe à une architecture orientée service : Cher monol...
La Duck Conf - "Du monolithe à une architecture orientée service : Cher monol...OCTO Technology1.1K vues•33 diapositives
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...OCTO Technology600 vues•45 diapositives
La Duck Conf - Continuous Security : Secure a DevOps World!La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!OCTO Technology585 vues•43 diapositives
La Duck Conf : "Observabilité"La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"OCTO Technology694 vues•40 diapositives
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"OCTO Technology49 vues•40 diapositives

Contenu connexe

Présentations pour vous(20)

Présentation travail du stagePrésentation travail du stage
Présentation travail du stage
Taoufiq Bahalla•57 vues
Êtes-vous API dans votre organisation ?Êtes-vous API dans votre organisation ?
Êtes-vous API dans votre organisation ?
OCTO Technology Suisse•1.1K vues
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
OCTO Technology•90 vues
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
OCTO Technology•151 vues
Afterwork "Décollez vers le Cloud"Afterwork "Décollez vers le Cloud"
Afterwork "Décollez vers le Cloud"
OCTO Technology Suisse•357 vues
La Duck Conf : "Microservices et transactions distribuées"La Duck Conf : "Microservices et transactions distribuées"
La Duck Conf : "Microservices et transactions distribuées"
OCTO Technology•752 vues
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
OCTO Technology•75 vues
Matinale DevSecOps League : Sortez la sécurité de l'obscurantismeMatinale DevSecOps League : Sortez la sécurité de l'obscurantisme
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
OCTO Technology•822 vues
La Duck Conf - DevOps et Dataviz, un amour impossible ? La Duck Conf - DevOps et Dataviz, un amour impossible ?
La Duck Conf - DevOps et Dataviz, un amour impossible ?
OCTO Technology•108 vues
L'histoire d'une infrastructure itérativeL'histoire d'une infrastructure itérative
L'histoire d'une infrastructure itérative
François Xavier Vende•39 vues
La Duck Conf 2018 : "Une infrastructure peut en cacher une autre !"La Duck Conf 2018 : "Une infrastructure peut en cacher une autre !"
La Duck Conf 2018 : "Une infrastructure peut en cacher une autre !"
OCTO Technology•1.6K vues
La Duck Conf - Une équipe plateforme qui délivreLa Duck Conf - Une équipe plateforme qui délivre
La Duck Conf - Une équipe plateforme qui délivre
OCTO Technology•105 vues
Afterwork Devops : vision et pratiquesAfterwork Devops : vision et pratiques
Afterwork Devops : vision et pratiques
OCTO Technology Suisse•2.6K vues
La Duck Conf - CovidTracker, la data au service de tousLa Duck Conf - CovidTracker, la data au service de tous
La Duck Conf - CovidTracker, la data au service de tous
OCTO Technology•253 vues
Industrie 4.0 / usine du futur : retours concrets & faibles coûtsIndustrie 4.0 / usine du futur : retours concrets & faibles coûts
Industrie 4.0 / usine du futur : retours concrets & faibles coûts
FactoVia•88 vues
La Duck Conf 2018 : "Mon mainframe fait du digital sans casser ma tirelire"La Duck Conf 2018 : "Mon mainframe fait du digital sans casser ma tirelire"
La Duck Conf 2018 : "Mon mainframe fait du digital sans casser ma tirelire"
OCTO Technology•1.4K vues
Le Comptoir OCTO - Le Cloud souverainLe Comptoir OCTO - Le Cloud souverain
Le Comptoir OCTO - Le Cloud souverain
OCTO Technology•243 vues
CWIN17 Morocco / Microservices as a factory reda zerhouniCWIN17 Morocco / Microservices as a factory reda zerhouni
CWIN17 Morocco / Microservices as a factory reda zerhouni
Capgemini•135 vues
La Duck Conf 2018 : "Au secours : le Marketing a choisi Salesforce - SaaS ou ...La Duck Conf 2018 : "Au secours : le Marketing a choisi Salesforce - SaaS ou ...
La Duck Conf 2018 : "Au secours : le Marketing a choisi Salesforce - SaaS ou ...
OCTO Technology•824 vues
Sensibilisation à l'Agile Sensibilisation à l'Agile
Sensibilisation à l'Agile
OCTO Technology•143 vues

Similaire à La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"(20)

LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutiveLA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
OCTO Technology•13 vues
Restructurer un legacy comment et pourquoiRestructurer un legacy comment et pourquoi
Restructurer un legacy comment et pourquoi
Marc Bojoly•387 vues
LA DUCK CONF 2023 - Sous le capot du cloud souverainLA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverain
OCTO Technology•59 vues
LA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolutionLA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolution
LA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolution
OCTO Technology•24 vues
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile
OCTO Technology•149 vues
LA DUCK CONF 2023 - Guide de survie du Change Data CaptureLA DUCK CONF 2023 - Guide de survie du Change Data Capture
LA DUCK CONF 2023 - Guide de survie du Change Data Capture
OCTO Technology•8 vues
Le Comptoir x La Duck Conf - Architecture Hexagonale & Clean architecture : b...Le Comptoir x La Duck Conf - Architecture Hexagonale & Clean architecture : b...
Le Comptoir x La Duck Conf - Architecture Hexagonale & Clean architecture : b...
OCTO Technology•134 vues
Comptoir x La Duck Conf - Utiliser une solution d'edge Open Source pour améli...Comptoir x La Duck Conf - Utiliser une solution d'edge Open Source pour améli...
Comptoir x La Duck Conf - Utiliser une solution d'edge Open Source pour améli...
OCTO Technology•22 vues
Le Comptoir OCTO - Data Science Le Comptoir OCTO - Data Science
Le Comptoir OCTO - Data Science
OCTO Technology•450 vues
#1 cloud-infra-talk- l ops-du-devops#1 cloud-infra-talk- l ops-du-devops
#1 cloud-infra-talk- l ops-du-devops
Emmanuel Roldan•445 vues
Gestion des drifts Terraform avec la méthode GitOpsGestion des drifts Terraform avec la méthode GitOps
Gestion des drifts Terraform avec la méthode GitOps
Katia HIMEUR TALHI•459 vues
Oui, je suis développeur, et non, coder n’est pas ma passion !Oui, je suis développeur, et non, coder n’est pas ma passion !
Oui, je suis développeur, et non, coder n’est pas ma passion !
Arnaud Huon•66 vues
Cisco connect montreal 2018 net devopsCisco connect montreal 2018 net devops
Cisco connect montreal 2018 net devops
Cisco Canada•6.5K vues
VISEO Shake the Microsoft business - comment rapidement batir une solution IoTVISEO Shake the Microsoft business - comment rapidement batir une solution IoT
VISEO Shake the Microsoft business - comment rapidement batir une solution IoT
FactoVia•505 vues
Meetup Green IT MargoMeetup Green IT Margo
Meetup Green IT Margo
Margo•52 vues
Présentation de Tessares au 20e #mforum (07/12/2016)Présentation de Tessares au 20e #mforum (07/12/2016)
Présentation de Tessares au 20e #mforum (07/12/2016)
Agence du Numérique (AdN)•1.7K vues
Urbanisme et cloudUrbanisme et cloud
Urbanisme et cloud
ericonsultant69•503 vues
Laugaudin UFR12Laugaudin UFR12
Laugaudin UFR12
Xavier LAUGAUDIN•4K vues
Splunk User Group: Toulouse, France - 26 September 2017Splunk User Group: Toulouse, France - 26 September 2017
Splunk User Group: Toulouse, France - 26 September 2017
Splunk•1.3K vues
La Duck Conf - Les fakes news du low-code La Duck Conf - Les fakes news du low-code
La Duck Conf - Les fakes news du low-code
OCTO Technology•139 vues
Publicité

Plus de OCTO Technology(20)

RefCard Tests sur tous les frontsRefCard Tests sur tous les fronts
RefCard Tests sur tous les fronts
OCTO Technology•5 vues
RefCard RESTful API DesignRefCard RESTful API Design
RefCard RESTful API Design
OCTO Technology•6 vues
RefCard API Architecture StrategyRefCard API Architecture Strategy
RefCard API Architecture Strategy
OCTO Technology•17 vues
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du greenLA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
OCTO Technology•8 vues
LA DUCK CONF 2023 - Parce que nos plateformes le valent bienLA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
OCTO Technology•23 vues
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
OCTO Technology•21 vues
LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?
LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?
OCTO Technology•21 vues
Le Comptoir OCTO - ChatGPT : Menace ou opportunité ?Le Comptoir OCTO - ChatGPT : Menace ou opportunité ?
Le Comptoir OCTO - ChatGPT : Menace ou opportunité ?
OCTO Technology•179 vues
Le Comptoir OCTO - Mouv’ ton orga ProduitLe Comptoir OCTO - Mouv’ ton orga Produit
Le Comptoir OCTO - Mouv’ ton orga Produit
OCTO Technology•123 vues
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivitéLe Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
OCTO Technology•122 vues
Le Comptoir OCTO x Allianz Trade - Amélioration de la collaboration et de la ...Le Comptoir OCTO x Allianz Trade - Amélioration de la collaboration et de la ...
Le Comptoir OCTO x Allianz Trade - Amélioration de la collaboration et de la ...
OCTO Technology•234 vues
Le Comptoir OCTO x Datarobot - La démocratisation de l'IA en action. Le Comptoir OCTO x Datarobot - La démocratisation de l'IA en action.
Le Comptoir OCTO x Datarobot - La démocratisation de l'IA en action.
OCTO Technology•180 vues
Le Comptoir OCTO x Dataiku x Snowflake - COMMENT CRÉER PLUS DE VALEUR ET DEVE...Le Comptoir OCTO x Dataiku x Snowflake - COMMENT CRÉER PLUS DE VALEUR ET DEVE...
Le Comptoir OCTO x Dataiku x Snowflake - COMMENT CRÉER PLUS DE VALEUR ET DEVE...
OCTO Technology•282 vues
Le Comptoir OCTO x La Duck Conf - Mutualisation, aide à la décision !Le Comptoir OCTO x La Duck Conf - Mutualisation, aide à la décision !
Le Comptoir OCTO x La Duck Conf - Mutualisation, aide à la décision !
OCTO Technology•304 vues
Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligentsLe Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents
Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents
OCTO Technology•199 vues
Le Comptoir OCTO x La Duck Conf - L'EDGE COMPUTING, CHALLENGER OU PARTENAIRE ...Le Comptoir OCTO x La Duck Conf - L'EDGE COMPUTING, CHALLENGER OU PARTENAIRE ...
Le Comptoir OCTO x La Duck Conf - L'EDGE COMPUTING, CHALLENGER OU PARTENAIRE ...
OCTO Technology•154 vues
Le Comptoir OCTO x DATA - MLOps : les bonnes pratiques de la Data Science en ...Le Comptoir OCTO x DATA - MLOps : les bonnes pratiques de la Data Science en ...
Le Comptoir OCTO x DATA - MLOps : les bonnes pratiques de la Data Science en ...
OCTO Technology•385 vues
Le Comptoir OCTO x Mobile App avec Share ITLe Comptoir OCTO x Mobile App avec Share IT
Le Comptoir OCTO x Mobile App avec Share IT
OCTO Technology•203 vues
Le Comptoir OCTO x RTE Le Comptoir OCTO x RTE
Le Comptoir OCTO x RTE
OCTO Technology•103 vues
Fractales et agilité@scaleFractales et agilité@scale
Fractales et agilité@scale
OCTO Technology•1K vues

Dernier(20)

sécurité dans le cloud computing.pdfsécurité dans le cloud computing.pdf
sécurité dans le cloud computing.pdf
hasna920888•12 vues
Diapos Cours IMMUNO 2022-2023.pdfDiapos Cours IMMUNO 2022-2023.pdf
Diapos Cours IMMUNO 2022-2023.pdf
JeanLucKonan4•3 vues
Partner pot.pptxPartner pot.pptx
Partner pot.pptx
blackmambaettijean•5 vues
Management visuel - baguette magique pour animer la gestion d'équipe et d'ac...Management visuel - baguette magique pour animer la gestion d'équipe et d'ac...
Management visuel - baguette magique pour animer la gestion d'équipe et d'ac...
SmartView4•5 vues
TalkRendonsDDDauxDevs_AlpesCraft.pdfTalkRendonsDDDauxDevs_AlpesCraft.pdf
TalkRendonsDDDauxDevs_AlpesCraft.pdf
Arnaud Thiéfaine•27 vues
Remapping des touches d'une carte Makey Makey.pdfRemapping des touches d'une carte Makey Makey.pdf
Remapping des touches d'une carte Makey Makey.pdf
Marvin Rohmer•3 vues
WEB 2.0.pdfWEB 2.0.pdf
WEB 2.0.pdf
DianaMontenegroDiaz•3 vues
maintenance et surveillance du réseau LAN.pptmaintenance et surveillance du réseau LAN.ppt
maintenance et surveillance du réseau LAN.ppt
julodg•2 vues
2023.05.31 - QEC - INFOPOLE - TechnoloGreen Club #1.pdf2023.05.31 - QEC - INFOPOLE - TechnoloGreen Club #1.pdf
2023.05.31 - QEC - INFOPOLE - TechnoloGreen Club #1.pdf
Infopole1•19 vues
Silver-Peak - Partner.pptxSilver-Peak - Partner.pptx
Silver-Peak - Partner.pptx
blackmambaettijean•6 vues
La-Fiabilité (1).pptxLa-Fiabilité (1).pptx
La-Fiabilité (1).pptx
IlyassOussama1•1 vue
Slide2.pdfSlide2.pdf
Slide2.pdf
ViniciusDroppshippin•3 vues
7 étapes Comment installer un panneau solaire.docx7 étapes Comment installer un panneau solaire.docx
7 étapes Comment installer un panneau solaire.docx
Georges59•2 vues
Home Automation SoftwareHome Automation Software
Home Automation Software
Chetu•2 vues
Event Driven, qu'est-ce donc ?! Un nouveau buzzword ?Event Driven, qu'est-ce donc ?! Un nouveau buzzword ?
Event Driven, qu'est-ce donc ?! Un nouveau buzzword ?
Céline Louvet•4 vues
3 Long Beeps On Startup: What To Do?3 Long Beeps On Startup: What To Do?
3 Long Beeps On Startup: What To Do?
AffanIT1•3 vues
moyens de manutention.pptxmoyens de manutention.pptx
moyens de manutention.pptx
Fati987516•4 vues
Guide Conception assemblage des charpentes en boisGuide Conception assemblage des charpentes en bois
Guide Conception assemblage des charpentes en bois
WilfriedTsakoue•11 vues
Organigramme site web.pptxOrganigramme site web.pptx
Organigramme site web.pptx
MahdiaAMROUCHE•40 vues
earlegal – Comment tirer parti des règlements DSA/DMA ?earlegal – Comment tirer parti des règlements DSA/DMA ?
earlegal – Comment tirer parti des règlements DSA/DMA ?
Lexing - Belgium•57 vues
Publicité

La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"

  1. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
  2. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Spark: ai-je besoin d’autre chose ? Benoit MERIAUX Twitter: @benoitmeriaux Github/LinkedIn: bmeriaux
  3. Partons d’un cas d’usage classique : un batch quotidien
  4. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 4 Une résilience inexistante Le Batch traditionnel
  5. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 5 Une résilience inexistante Le Batch traditionnel
  6. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 6 Une résilience inexistante Le Batch traditionnel
  7. Comment gagner en résilience et en performance ?
  8. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 8 La Clean Architecture à la rescousse Une refonte intelligente Domain Domain Usecase InfrastructureInfrastructure : Framework, Persistence, API, etc Usecase : Règles Métiers Domain : Objet Métiers
  9. Spark, Kesako ?
  10. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 10 Un peu d’histoire v1.0 en 2014 Créé en 2009 à Berkeley v2.0(2016) : Structured Streaming v2.4 : Projet Hydrogen v1.5 : Projet tungsten v1.3 : DataFrame API ● 1er framework en BigData, 31% de parts de marché en 2018 ● 29% de croissance par rapport à 2017 Source: Qubole’s 2018 Survey of Big Data Trends and Challenges Apache Spark
  11. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 11 Apache Spark Un coeur extensible
  12. Une Architecture Distribuée ?! Attention aux pièges !
  13. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Une Architecture Distribuée 13 https://spark.apache.org/docs/latest/cluster-o verview.html Cluster Manager Worker Worker Spark Application Master/Worker
  14. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Les échanges de données 14 Transformation N+1Transformation N Attention aux partitions !
  15. #LaDuckConf by OCTO Technology © 2019 - All rights reserved La Résilience 15 Cluster Manager Worker Worker Worker Dès la conception
  16. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 16 “Everything fails all the time” Werner Vogels, CTO AWS
  17. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Chaos Engineering 17 What if … ?
  18. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 18 C’est rapide et ça marche Spark fait son entrée
  19. Pourquoi attendre la fin du traitement pour avoir le résultat?
  20. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 20 C’est simple Passons sur du streaming
  21. Quelle source de données puis-je ajouter ?
  22. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 22 Plus j’en sais, mieux c’est Collectons plus!
  23. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 23 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 1 Fenêtre de 10 min toutes les 5 min
  24. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 24 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 2 Fenêtre de 10 min toutes les 5 min
  25. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 25 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 4 12:05-12:15 click: 2 Fenêtre de 10 min toutes les 5 min, retard toléré de 5 min
  26. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 26 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 4 12:05-12:15 click: 2 Fenêtre de 10 min toutes les 5 min, retard toléré de 5 min
  27. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 27 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 4 12:05-12:15 click: 2 Fenêtre de 10 min toutes les 5 min, retard toléré de 5 min
  28. Maintenant, j’ai plein de données, mais j’en fais quoi ?
  29. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 29 Pour mieux cibler Ensuite ajoutons un peu d’IA
  30. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 30 Des suggestions aux petits oignons Puis prédisons en temps réel
  31. Mais comment déployer tout ca ?
  32. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 32 Il ne reste plus qu’à choisir Le Cloud est prêt
  33. Alors ai-je besoin d’autre chose ?
  34. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 34 Spark a bien évolué depuis le temps Take Away Spark couvre la majorité des cas d’usages des traitements de données Et pour aller plus loin:
Publicité