SlideShare une entreprise Scribd logo
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
Spark: ai-je besoin d’autre chose ?
Benoit MERIAUX
Twitter: @benoitmeriaux Github/LinkedIn: bmeriaux
Partons d’un cas d’usage classique :
un batch quotidien
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
4
Une résilience inexistante
Le Batch traditionnel
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
5
Une résilience inexistante
Le Batch traditionnel
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
6
Une résilience inexistante
Le Batch traditionnel
Comment gagner
en résilience et en performance ?
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
8
La Clean Architecture à la rescousse
Une refonte intelligente
Domain Domain
Usecase
InfrastructureInfrastructure :
Framework,
Persistence,
API, etc
Usecase :
Règles Métiers
Domain :
Objet Métiers
Spark, Kesako ?
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
10
Un peu d’histoire
v1.0 en 2014
Créé en 2009 à Berkeley
v2.0(2016) :
Structured Streaming
v2.4 : Projet
Hydrogen
v1.5 : Projet tungsten
v1.3 : DataFrame API
● 1er framework en BigData, 31% de parts de marché en 2018
● 29% de croissance par rapport à 2017
Source: Qubole’s 2018 Survey of Big
Data Trends and Challenges
Apache Spark
#LaDuckConf by OCTO Technology © 2019 - All rights reserved 11
Apache Spark
Un coeur extensible
Une Architecture Distribuée ?!
Attention aux pièges !
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
Une Architecture Distribuée
13
https://spark.apache.org/docs/latest/cluster-o
verview.html
Cluster Manager
Worker
Worker
Spark Application
Master/Worker
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
Les échanges de données
14
Transformation N+1Transformation N
Attention aux partitions !
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
La Résilience
15
Cluster Manager
Worker
Worker
Worker
Dès la conception
#LaDuckConf by OCTO Technology © 2019 - All rights reserved 16
“Everything fails all the time”
Werner Vogels, CTO AWS
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
Chaos Engineering
17
What if … ?
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
18
C’est rapide et ça marche
Spark fait son entrée
Pourquoi attendre la fin du
traitement pour avoir le résultat?
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
20
C’est simple
Passons sur du streaming
Quelle source de données
puis-je ajouter ?
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
22
Plus j’en sais, mieux c’est
Collectons plus!
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
23
Gérer les données en continu
Une histoire de fenêtre
12:00 12:05 12:10 12:15
12:00-12:10 click: 1
Fenêtre de 10 min toutes les 5 min
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
24
Gérer les données en continu
Une histoire de fenêtre
12:00 12:05 12:10 12:15
12:00-12:10 click: 2
Fenêtre de 10 min toutes les 5 min
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
25
Gérer les données en continu
Une histoire de fenêtre
12:00 12:05 12:10 12:15
12:00-12:10 click: 4 12:05-12:15 click: 2
Fenêtre de 10 min toutes les 5 min,
retard toléré de 5 min
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
26
Gérer les données en continu
Une histoire de fenêtre
12:00 12:05 12:10 12:15
12:00-12:10 click: 4 12:05-12:15 click: 2
Fenêtre de 10 min toutes les 5 min,
retard toléré de 5 min
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
27
Gérer les données en continu
Une histoire de fenêtre
12:00 12:05 12:10 12:15
12:00-12:10 click: 4 12:05-12:15 click: 2
Fenêtre de 10 min toutes les 5 min,
retard toléré de 5 min
Maintenant, j’ai plein de données,
mais j’en fais quoi ?
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
29
Pour mieux cibler
Ensuite ajoutons un peu d’IA
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
30
Des suggestions aux petits oignons
Puis prédisons en temps réel
Mais comment
déployer tout ca ?
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
32
Il ne reste plus qu’à choisir
Le Cloud est prêt
Alors ai-je besoin
d’autre chose ?
#LaDuckConf by OCTO Technology © 2019 - All rights reserved
34
Spark a bien évolué depuis le temps
Take Away
Spark couvre la majorité des cas d’usages
des traitements de données
Et pour aller plus loin:
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"

Contenu connexe

Tendances

Afterwork "Décollez vers le Cloud"
Afterwork "Décollez vers le Cloud"Afterwork "Décollez vers le Cloud"
Afterwork "Décollez vers le Cloud"
OCTO Technology Suisse
 
Afterwork Devops : vision et pratiques
Afterwork Devops : vision et pratiquesAfterwork Devops : vision et pratiques
Afterwork Devops : vision et pratiques
OCTO Technology Suisse
 

Tendances (20)

Présentation travail du stage
Présentation travail du stagePrésentation travail du stage
Présentation travail du stage
 
Êtes-vous API dans votre organisation ?
Êtes-vous API dans votre organisation ?Êtes-vous API dans votre organisation ?
Êtes-vous API dans votre organisation ?
 
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
La Duck Conf - "Mon DSI veut une MEP par jour, comment faire de l'architectur...
 
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
 
Afterwork "Décollez vers le Cloud"
Afterwork "Décollez vers le Cloud"Afterwork "Décollez vers le Cloud"
Afterwork "Décollez vers le Cloud"
 
La Duck Conf : "Microservices et transactions distribuées"
La Duck Conf : "Microservices et transactions distribuées"La Duck Conf : "Microservices et transactions distribuées"
La Duck Conf : "Microservices et transactions distribuées"
 
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
La Duck Conf - "Quelle place pour le no code/low code dans les entreprises ?"
 
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
Matinale DevSecOps League : Sortez la sécurité de l'obscurantismeMatinale DevSecOps League : Sortez la sécurité de l'obscurantisme
Matinale DevSecOps League : Sortez la sécurité de l'obscurantisme
 
La Duck Conf - DevOps et Dataviz, un amour impossible ?
La Duck Conf - DevOps et Dataviz, un amour impossible ? La Duck Conf - DevOps et Dataviz, un amour impossible ?
La Duck Conf - DevOps et Dataviz, un amour impossible ?
 
L'histoire d'une infrastructure itérative
L'histoire d'une infrastructure itérativeL'histoire d'une infrastructure itérative
L'histoire d'une infrastructure itérative
 
La Duck Conf 2018 : "Une infrastructure peut en cacher une autre !"
La Duck Conf 2018 : "Une infrastructure peut en cacher une autre !"La Duck Conf 2018 : "Une infrastructure peut en cacher une autre !"
La Duck Conf 2018 : "Une infrastructure peut en cacher une autre !"
 
La Duck Conf - Une équipe plateforme qui délivre
La Duck Conf - Une équipe plateforme qui délivreLa Duck Conf - Une équipe plateforme qui délivre
La Duck Conf - Une équipe plateforme qui délivre
 
Afterwork Devops : vision et pratiques
Afterwork Devops : vision et pratiquesAfterwork Devops : vision et pratiques
Afterwork Devops : vision et pratiques
 
La Duck Conf - CovidTracker, la data au service de tous
La Duck Conf - CovidTracker, la data au service de tousLa Duck Conf - CovidTracker, la data au service de tous
La Duck Conf - CovidTracker, la data au service de tous
 
Industrie 4.0 / usine du futur : retours concrets & faibles coûts
Industrie 4.0 / usine du futur : retours concrets & faibles coûtsIndustrie 4.0 / usine du futur : retours concrets & faibles coûts
Industrie 4.0 / usine du futur : retours concrets & faibles coûts
 
La Duck Conf 2018 : "Mon mainframe fait du digital sans casser ma tirelire"
La Duck Conf 2018 : "Mon mainframe fait du digital sans casser ma tirelire"La Duck Conf 2018 : "Mon mainframe fait du digital sans casser ma tirelire"
La Duck Conf 2018 : "Mon mainframe fait du digital sans casser ma tirelire"
 
Le Comptoir OCTO - Le Cloud souverain
Le Comptoir OCTO - Le Cloud souverainLe Comptoir OCTO - Le Cloud souverain
Le Comptoir OCTO - Le Cloud souverain
 
CWIN17 Morocco / Microservices as a factory reda zerhouni
CWIN17 Morocco / Microservices as a factory reda zerhouniCWIN17 Morocco / Microservices as a factory reda zerhouni
CWIN17 Morocco / Microservices as a factory reda zerhouni
 
La Duck Conf 2018 : "Au secours : le Marketing a choisi Salesforce - SaaS ou ...
La Duck Conf 2018 : "Au secours : le Marketing a choisi Salesforce - SaaS ou ...La Duck Conf 2018 : "Au secours : le Marketing a choisi Salesforce - SaaS ou ...
La Duck Conf 2018 : "Au secours : le Marketing a choisi Salesforce - SaaS ou ...
 
Sensibilisation à l'Agile
Sensibilisation à l'Agile Sensibilisation à l'Agile
Sensibilisation à l'Agile
 

Similaire à La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"

Similaire à La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?" (20)

LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutiveLA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
 
Restructurer un legacy comment et pourquoi
Restructurer un legacy comment et pourquoiRestructurer un legacy comment et pourquoi
Restructurer un legacy comment et pourquoi
 
LA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverainLA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverain
 
LA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolution
LA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolutionLA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolution
LA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolution
 
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile
 
LA DUCK CONF 2023 - Guide de survie du Change Data Capture
LA DUCK CONF 2023 - Guide de survie du Change Data CaptureLA DUCK CONF 2023 - Guide de survie du Change Data Capture
LA DUCK CONF 2023 - Guide de survie du Change Data Capture
 
Le Comptoir OCTO - Architecture Hexagonale & Clean architecture : bonnet blan...
Le Comptoir OCTO - Architecture Hexagonale & Clean architecture : bonnet blan...Le Comptoir OCTO - Architecture Hexagonale & Clean architecture : bonnet blan...
Le Comptoir OCTO - Architecture Hexagonale & Clean architecture : bonnet blan...
 
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
 
Le Comptoir OCTO - Data Science
Le Comptoir OCTO - Data Science Le Comptoir OCTO - Data Science
Le Comptoir OCTO - Data Science
 
#1 cloud-infra-talk- l ops-du-devops
#1 cloud-infra-talk- l ops-du-devops#1 cloud-infra-talk- l ops-du-devops
#1 cloud-infra-talk- l ops-du-devops
 
Gestion des drifts Terraform avec la méthode GitOps
Gestion des drifts Terraform avec la méthode GitOpsGestion des drifts Terraform avec la méthode GitOps
Gestion des drifts Terraform avec la méthode GitOps
 
Oui, je suis développeur, et non, coder n’est pas ma passion !
Oui, je suis développeur, et non, coder n’est pas ma passion !Oui, je suis développeur, et non, coder n’est pas ma passion !
Oui, je suis développeur, et non, coder n’est pas ma passion !
 
Cisco connect montreal 2018 net devops
Cisco connect montreal 2018 net devopsCisco connect montreal 2018 net devops
Cisco connect montreal 2018 net devops
 
VISEO Shake the Microsoft business - comment rapidement batir une solution IoT
VISEO Shake the Microsoft business - comment rapidement batir une solution IoTVISEO Shake the Microsoft business - comment rapidement batir une solution IoT
VISEO Shake the Microsoft business - comment rapidement batir une solution IoT
 
Meetup Green IT Margo
Meetup Green IT MargoMeetup Green IT Margo
Meetup Green IT Margo
 
Présentation de Tessares au 20e #mforum (07/12/2016)
Présentation de Tessares au 20e #mforum (07/12/2016)Présentation de Tessares au 20e #mforum (07/12/2016)
Présentation de Tessares au 20e #mforum (07/12/2016)
 
Urbanisme et cloud
Urbanisme et cloudUrbanisme et cloud
Urbanisme et cloud
 
Laugaudin UFR12
Laugaudin UFR12Laugaudin UFR12
Laugaudin UFR12
 
Débrief GITEX Dubaï 2023
Débrief GITEX Dubaï 2023Débrief GITEX Dubaï 2023
Débrief GITEX Dubaï 2023
 
Splunk User Group: Toulouse, France - 26 September 2017
Splunk User Group: Toulouse, France - 26 September 2017Splunk User Group: Toulouse, France - 26 September 2017
Splunk User Group: Toulouse, France - 26 September 2017
 

Plus de OCTO Technology

Plus de OCTO Technology (20)

Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonnéLe Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
 
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudLe Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
 
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
 
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
 
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
 
OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeurs
 
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture TestOCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture Test
 
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
 
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend webOCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend web
 
Refcard GraphQL
Refcard GraphQLRefcard GraphQL
Refcard GraphQL
 
Comptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/LeaseplanComptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/Leaseplan
 
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
 
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
 
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
 
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionLe Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
 
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
 
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
 
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
 
RefCard Tests sur tous les fronts
RefCard Tests sur tous les frontsRefCard Tests sur tous les fronts
RefCard Tests sur tous les fronts
 
RefCard RESTful API Design
RefCard RESTful API DesignRefCard RESTful API Design
RefCard RESTful API Design
 

La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"

  • 1. #LaDuckConf by OCTO Technology © 2019 - All rights reserved
  • 2. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Spark: ai-je besoin d’autre chose ? Benoit MERIAUX Twitter: @benoitmeriaux Github/LinkedIn: bmeriaux
  • 3. Partons d’un cas d’usage classique : un batch quotidien
  • 4. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 4 Une résilience inexistante Le Batch traditionnel
  • 5. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 5 Une résilience inexistante Le Batch traditionnel
  • 6. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 6 Une résilience inexistante Le Batch traditionnel
  • 7. Comment gagner en résilience et en performance ?
  • 8. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 8 La Clean Architecture à la rescousse Une refonte intelligente Domain Domain Usecase InfrastructureInfrastructure : Framework, Persistence, API, etc Usecase : Règles Métiers Domain : Objet Métiers
  • 10. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 10 Un peu d’histoire v1.0 en 2014 Créé en 2009 à Berkeley v2.0(2016) : Structured Streaming v2.4 : Projet Hydrogen v1.5 : Projet tungsten v1.3 : DataFrame API ● 1er framework en BigData, 31% de parts de marché en 2018 ● 29% de croissance par rapport à 2017 Source: Qubole’s 2018 Survey of Big Data Trends and Challenges Apache Spark
  • 11. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 11 Apache Spark Un coeur extensible
  • 12. Une Architecture Distribuée ?! Attention aux pièges !
  • 13. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Une Architecture Distribuée 13 https://spark.apache.org/docs/latest/cluster-o verview.html Cluster Manager Worker Worker Spark Application Master/Worker
  • 14. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Les échanges de données 14 Transformation N+1Transformation N Attention aux partitions !
  • 15. #LaDuckConf by OCTO Technology © 2019 - All rights reserved La Résilience 15 Cluster Manager Worker Worker Worker Dès la conception
  • 16. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 16 “Everything fails all the time” Werner Vogels, CTO AWS
  • 17. #LaDuckConf by OCTO Technology © 2019 - All rights reserved Chaos Engineering 17 What if … ?
  • 18. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 18 C’est rapide et ça marche Spark fait son entrée
  • 19. Pourquoi attendre la fin du traitement pour avoir le résultat?
  • 20. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 20 C’est simple Passons sur du streaming
  • 21. Quelle source de données puis-je ajouter ?
  • 22. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 22 Plus j’en sais, mieux c’est Collectons plus!
  • 23. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 23 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 1 Fenêtre de 10 min toutes les 5 min
  • 24. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 24 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 2 Fenêtre de 10 min toutes les 5 min
  • 25. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 25 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 4 12:05-12:15 click: 2 Fenêtre de 10 min toutes les 5 min, retard toléré de 5 min
  • 26. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 26 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 4 12:05-12:15 click: 2 Fenêtre de 10 min toutes les 5 min, retard toléré de 5 min
  • 27. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 27 Gérer les données en continu Une histoire de fenêtre 12:00 12:05 12:10 12:15 12:00-12:10 click: 4 12:05-12:15 click: 2 Fenêtre de 10 min toutes les 5 min, retard toléré de 5 min
  • 28. Maintenant, j’ai plein de données, mais j’en fais quoi ?
  • 29. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 29 Pour mieux cibler Ensuite ajoutons un peu d’IA
  • 30. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 30 Des suggestions aux petits oignons Puis prédisons en temps réel
  • 32. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 32 Il ne reste plus qu’à choisir Le Cloud est prêt
  • 34. #LaDuckConf by OCTO Technology © 2019 - All rights reserved 34 Spark a bien évolué depuis le temps Take Away Spark couvre la majorité des cas d’usages des traitements de données Et pour aller plus loin: