SlideShare une entreprise Scribd logo

LA DUCK CONF 2023 - Guide de survie du Change Data Capture

Découvrez tout ce qu'on ne vous dit pas sur le Change Data Capture avec de vrais retours terrains ! Venez voir la mise en place d'une réplication en temps réel avec ce pattern et les éléments clés d'une telle architecture. Pour survivre à son déploiement, vous devrez faire face à de nombreux obstacles : problèmes d'architecture, de performances ou encore techniques. Nous vous partagerons les erreurs qu'on a su (ou pas) éviter sur ces différents axes. TAKE AWAY Vous repartirez avec un retour d'expérience sur les problématiques techniques qui surgissent invariablement sur ce genre de projet, les points d'attention et les pièges à éviter.

1  sur  70
Télécharger pour lire hors ligne
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Guide de survie du Change
Data Capture
Découvrez tout ce qu'on ne vous dit pas sur le Change Data Capture avec de vrais retours terrains !
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Qui sommes-nous ?
Mariane Champalier
Data Engineer
Certifiée Kafka
Peut vous parler de danse
jusqu’à épuisement
Baptiste Courbe
Data Architect
Fait des trucs avec les
données
Porte une casquette la
grande majorité du temps
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Situation initiale
Besoins
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Situation initiale
Besoins
๏ Vente de services en ligne et en agences
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Situation initiale
Besoins
๏ Vente de services en ligne et en agences
๏ Suivi en temps réel des ventes
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Situation initiale
Besoins
๏ Vente de services en ligne et en agences
๏ Suivi en temps réel des ventes
๏ Une envie croissante d’aller vers le Cloud

Recommandé

La Duck Conf - CovidTracker, la data au service de tous
La Duck Conf - CovidTracker, la data au service de tousLa Duck Conf - CovidTracker, la data au service de tous
La Duck Conf - CovidTracker, la data au service de tousOCTO Technology
 
La Duck Conf - Une équipe plateforme qui délivre
La Duck Conf - Une équipe plateforme qui délivreLa Duck Conf - Une équipe plateforme qui délivre
La Duck Conf - Une équipe plateforme qui délivreOCTO Technology
 
Le Comptoir OCTO - Architecture Hexagonale & Clean architecture : bonnet blan...
Le Comptoir OCTO - Architecture Hexagonale & Clean architecture : bonnet blan...Le Comptoir OCTO - Architecture Hexagonale & Clean architecture : bonnet blan...
Le Comptoir OCTO - Architecture Hexagonale & Clean architecture : bonnet blan...OCTO Technology
 
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...
Comptoir - Utiliser une solution d'edge Open Source pour améliorer l'inspecti...OCTO Technology
 
LA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolution
LA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolutionLA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolution
LA DUCK CONF 2023 - La vie d'Ops au coeur d'un SI en évolutionOCTO Technology
 
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutiveLA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutive
LA DUCK CONF 2023 - Ré-urbanisation d'un SI à travers une archi évolutiveOCTO Technology
 
La Duck Conf - Tour d'horizon des algorithmes de consensus en 2021
La Duck Conf - Tour d'horizon des algorithmes de consensus en 2021La Duck Conf - Tour d'horizon des algorithmes de consensus en 2021
La Duck Conf - Tour d'horizon des algorithmes de consensus en 2021OCTO Technology
 
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"
La Duck Conf : "Apache Spark : ai-je besoin d'autre chose ?"OCTO Technology
 

Contenu connexe

Similaire à LA DUCK CONF 2023 - Guide de survie du Change Data Capture

LA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverainLA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverainOCTO Technology
 
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile OCTO Technology
 
La Duck Conf - Qui maîtrise le mieux le chaos de votre SI ? Mozart ou Béjart ?
La Duck Conf - Qui maîtrise le mieux le chaos de votre SI ? Mozart ou Béjart ? La Duck Conf - Qui maîtrise le mieux le chaos de votre SI ? Mozart ou Béjart ?
La Duck Conf - Qui maîtrise le mieux le chaos de votre SI ? Mozart ou Béjart ? OCTO Technology
 
La Duck Conf - DevOps et Dataviz, un amour impossible ?
La Duck Conf - DevOps et Dataviz, un amour impossible ? La Duck Conf - DevOps et Dataviz, un amour impossible ?
La Duck Conf - DevOps et Dataviz, un amour impossible ? OCTO Technology
 
Meetup sdn paris #4
Meetup sdn paris #4Meetup sdn paris #4
Meetup sdn paris #4SDN_Paris
 
XebiCon'16 : WeScale - DNS as a Service, the OpenStack way. Par Pascal Edoua...
XebiCon'16 : WeScale - DNS as a Service, the OpenStack way.  Par Pascal Edoua...XebiCon'16 : WeScale - DNS as a Service, the OpenStack way.  Par Pascal Edoua...
XebiCon'16 : WeScale - DNS as a Service, the OpenStack way. Par Pascal Edoua...Publicis Sapient Engineering
 
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"OCTO Technology
 
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"OCTO Technology
 
Paris Container Day 2016 : Architecture microservices hautement disponible au...
Paris Container Day 2016 : Architecture microservices hautement disponible au...Paris Container Day 2016 : Architecture microservices hautement disponible au...
Paris Container Day 2016 : Architecture microservices hautement disponible au...Publicis Sapient Engineering
 
1 pourquoi le big data aujourdhui
1 pourquoi le big data aujourdhui1 pourquoi le big data aujourdhui
1 pourquoi le big data aujourdhuiRomain Jouin
 
Se noyer dans les yeux de Cassandre
Se noyer dans les yeux de CassandreSe noyer dans les yeux de Cassandre
Se noyer dans les yeux de CassandreMathieu Goeminne
 
Formation Bus de Terrain _Partie 3_5 _SERCOS III
Formation Bus de Terrain _Partie 3_5 _SERCOS IIIFormation Bus de Terrain _Partie 3_5 _SERCOS III
Formation Bus de Terrain _Partie 3_5 _SERCOS IIIWojciech GOMOLKA
 
La Duck Conf - "Kube is the new mainframe"
La Duck Conf - "Kube is the new mainframe" La Duck Conf - "Kube is the new mainframe"
La Duck Conf - "Kube is the new mainframe" OCTO Technology
 
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...OCTO Technology
 
La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"OCTO Technology
 
CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...Capgemini
 
La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!OCTO Technology
 
Computerland c cloud-2013oct17
Computerland c cloud-2013oct17Computerland c cloud-2013oct17
Computerland c cloud-2013oct17Patricia NENZI
 

Similaire à LA DUCK CONF 2023 - Guide de survie du Change Data Capture (20)

LA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverainLA DUCK CONF 2023 - Sous le capot du cloud souverain
LA DUCK CONF 2023 - Sous le capot du cloud souverain
 
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile
La Duck Conf - Le rôle de l'architect(ur)e dans un contexte agile
 
La Duck Conf - Qui maîtrise le mieux le chaos de votre SI ? Mozart ou Béjart ?
La Duck Conf - Qui maîtrise le mieux le chaos de votre SI ? Mozart ou Béjart ? La Duck Conf - Qui maîtrise le mieux le chaos de votre SI ? Mozart ou Béjart ?
La Duck Conf - Qui maîtrise le mieux le chaos de votre SI ? Mozart ou Béjart ?
 
La Duck Conf - DevOps et Dataviz, un amour impossible ?
La Duck Conf - DevOps et Dataviz, un amour impossible ? La Duck Conf - DevOps et Dataviz, un amour impossible ?
La Duck Conf - DevOps et Dataviz, un amour impossible ?
 
Meetup sdn paris #4
Meetup sdn paris #4Meetup sdn paris #4
Meetup sdn paris #4
 
XebiCon'16 : WeScale - DNS as a Service, the OpenStack way. Par Pascal Edoua...
XebiCon'16 : WeScale - DNS as a Service, the OpenStack way.  Par Pascal Edoua...XebiCon'16 : WeScale - DNS as a Service, the OpenStack way.  Par Pascal Edoua...
XebiCon'16 : WeScale - DNS as a Service, the OpenStack way. Par Pascal Edoua...
 
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
La Duck Conf - "Elle est ou ton appli ? Dans mon kube"
 
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
La Duck Conf - "Les papys de l'ESB ont une histoire à vous conter"
 
Paris Container Day 2016 : Architecture microservices hautement disponible au...
Paris Container Day 2016 : Architecture microservices hautement disponible au...Paris Container Day 2016 : Architecture microservices hautement disponible au...
Paris Container Day 2016 : Architecture microservices hautement disponible au...
 
Cloud : en 2017, sortez du stratus !
Cloud : en 2017, sortez du stratus !Cloud : en 2017, sortez du stratus !
Cloud : en 2017, sortez du stratus !
 
1 pourquoi le big data aujourdhui
1 pourquoi le big data aujourdhui1 pourquoi le big data aujourdhui
1 pourquoi le big data aujourdhui
 
Se noyer dans les yeux de Cassandre
Se noyer dans les yeux de CassandreSe noyer dans les yeux de Cassandre
Se noyer dans les yeux de Cassandre
 
Formation Bus de Terrain _Partie 3_5 _SERCOS III
Formation Bus de Terrain _Partie 3_5 _SERCOS IIIFormation Bus de Terrain _Partie 3_5 _SERCOS III
Formation Bus de Terrain _Partie 3_5 _SERCOS III
 
La Duck Conf - "Kube is the new mainframe"
La Duck Conf - "Kube is the new mainframe" La Duck Conf - "Kube is the new mainframe"
La Duck Conf - "Kube is the new mainframe"
 
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
La Duck Conf - "Edge computing : le déploiement continu se fait une virée en ...
 
Fusion io
Fusion ioFusion io
Fusion io
 
La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"La Duck Conf : "Observabilité"
La Duck Conf : "Observabilité"
 
CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
 
La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!La Duck Conf - Continuous Security : Secure a DevOps World!
La Duck Conf - Continuous Security : Secure a DevOps World!
 
Computerland c cloud-2013oct17
Computerland c cloud-2013oct17Computerland c cloud-2013oct17
Computerland c cloud-2013oct17
 

Plus de OCTO Technology

OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Technology
 
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture TestOCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture TestOCTO Technology
 
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...OCTO Technology
 
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend webOCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend webOCTO Technology
 
Comptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/LeaseplanComptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/LeaseplanOCTO Technology
 
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? OCTO Technology
 
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...OCTO Technology
 
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...OCTO Technology
 
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionLe Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionOCTO Technology
 
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...OCTO Technology
 
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...OCTO Technology
 
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...OCTO Technology
 
RefCard Tests sur tous les fronts
RefCard Tests sur tous les frontsRefCard Tests sur tous les fronts
RefCard Tests sur tous les frontsOCTO Technology
 
RefCard RESTful API Design
RefCard RESTful API DesignRefCard RESTful API Design
RefCard RESTful API DesignOCTO Technology
 
RefCard API Architecture Strategy
RefCard API Architecture StrategyRefCard API Architecture Strategy
RefCard API Architecture StrategyOCTO Technology
 
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du greenLA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du greenOCTO Technology
 
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bienLA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bienOCTO Technology
 
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...OCTO Technology
 
LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?
LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?
LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?OCTO Technology
 

Plus de OCTO Technology (20)

OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeurs
 
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture TestOCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture Test
 
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
 
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend webOCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend web
 
Refcard GraphQL
Refcard GraphQLRefcard GraphQL
Refcard GraphQL
 
Comptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/LeaseplanComptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/Leaseplan
 
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
 
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
 
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
 
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionLe Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
 
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
 
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
 
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
 
RefCard Tests sur tous les fronts
RefCard Tests sur tous les frontsRefCard Tests sur tous les fronts
RefCard Tests sur tous les fronts
 
RefCard RESTful API Design
RefCard RESTful API DesignRefCard RESTful API Design
RefCard RESTful API Design
 
RefCard API Architecture Strategy
RefCard API Architecture StrategyRefCard API Architecture Strategy
RefCard API Architecture Strategy
 
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du greenLA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
LA DUCK CONF 2023 - Journal de bord d’un archi dans l’océan du green
 
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bienLA DUCK CONF 2023 - Parce que nos plateformes le valent bien
LA DUCK CONF 2023 - Parce que nos plateformes le valent bien
 
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
LA DUCK CONF 2023 - Guider, faire, faire faire ? Une solitude partagée entre ...
 
LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?
LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?
LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?
 

Dernier

OESTV - Intervention ICI INDUSTRIE - 15 février 2024
OESTV - Intervention ICI INDUSTRIE - 15 février 2024OESTV - Intervention ICI INDUSTRIE - 15 février 2024
OESTV - Intervention ICI INDUSTRIE - 15 février 2024OESTV
 
L'accès à l'emploi des demandeurs d'emploi inscrits à France Travail mesuré e...
L'accès à l'emploi des demandeurs d'emploi inscrits à France Travail mesuré e...L'accès à l'emploi des demandeurs d'emploi inscrits à France Travail mesuré e...
L'accès à l'emploi des demandeurs d'emploi inscrits à France Travail mesuré e...France Travail
 
analyse- de basilique - saint denis pptx
analyse- de basilique - saint denis pptxanalyse- de basilique - saint denis pptx
analyse- de basilique - saint denis pptxHadJer61
 
Les Français et la lutte contre l'islamisme radical
Les Français et la lutte contre l'islamisme radicalLes Français et la lutte contre l'islamisme radical
Les Français et la lutte contre l'islamisme radicalcontact Elabe
 
AmTrav'Ovin - Apprentissage des agnelles à la traite.pdf
AmTrav'Ovin - Apprentissage des agnelles à la traite.pdfAmTrav'Ovin - Apprentissage des agnelles à la traite.pdf
AmTrav'Ovin - Apprentissage des agnelles à la traite.pdfInstitut de l'Elevage - Idele
 

Dernier (9)

4 Sigwalt Annie saisonniers 18 octobre 2023.pdf
4 Sigwalt Annie  saisonniers 18 octobre 2023.pdf4 Sigwalt Annie  saisonniers 18 octobre 2023.pdf
4 Sigwalt Annie saisonniers 18 octobre 2023.pdf
 
1 Astié travaux station Auray 18 oct 2023.pdf
1 Astié travaux station Auray 18 oct 2023.pdf1 Astié travaux station Auray 18 oct 2023.pdf
1 Astié travaux station Auray 18 oct 2023.pdf
 
OESTV - Intervention ICI INDUSTRIE - 15 février 2024
OESTV - Intervention ICI INDUSTRIE - 15 février 2024OESTV - Intervention ICI INDUSTRIE - 15 février 2024
OESTV - Intervention ICI INDUSTRIE - 15 février 2024
 
L'accès à l'emploi des demandeurs d'emploi inscrits à France Travail mesuré e...
L'accès à l'emploi des demandeurs d'emploi inscrits à France Travail mesuré e...L'accès à l'emploi des demandeurs d'emploi inscrits à France Travail mesuré e...
L'accès à l'emploi des demandeurs d'emploi inscrits à France Travail mesuré e...
 
2 Garcia Vélasco projet AcCT 18 oct 2023.pdf
2 Garcia Vélasco projet AcCT 18 oct 2023.pdf2 Garcia Vélasco projet AcCT 18 oct 2023.pdf
2 Garcia Vélasco projet AcCT 18 oct 2023.pdf
 
analyse- de basilique - saint denis pptx
analyse- de basilique - saint denis pptxanalyse- de basilique - saint denis pptx
analyse- de basilique - saint denis pptx
 
Les Français et la lutte contre l'islamisme radical
Les Français et la lutte contre l'islamisme radicalLes Français et la lutte contre l'islamisme radical
Les Français et la lutte contre l'islamisme radical
 
3 Bidet GRH en viticulture 18 oct 2023.pdf
3 Bidet GRH en viticulture 18 oct 2023.pdf3 Bidet GRH en viticulture 18 oct 2023.pdf
3 Bidet GRH en viticulture 18 oct 2023.pdf
 
AmTrav'Ovin - Apprentissage des agnelles à la traite.pdf
AmTrav'Ovin - Apprentissage des agnelles à la traite.pdfAmTrav'Ovin - Apprentissage des agnelles à la traite.pdf
AmTrav'Ovin - Apprentissage des agnelles à la traite.pdf
 

LA DUCK CONF 2023 - Guide de survie du Change Data Capture

  • 1. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Guide de survie du Change Data Capture Découvrez tout ce qu'on ne vous dit pas sur le Change Data Capture avec de vrais retours terrains !
  • 2. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Qui sommes-nous ? Mariane Champalier Data Engineer Certifiée Kafka Peut vous parler de danse jusqu’à épuisement Baptiste Courbe Data Architect Fait des trucs avec les données Porte une casquette la grande majorité du temps
  • 3. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Situation initiale Besoins
  • 4. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Situation initiale Besoins ๏ Vente de services en ligne et en agences
  • 5. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Situation initiale Besoins ๏ Vente de services en ligne et en agences ๏ Suivi en temps réel des ventes
  • 6. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Situation initiale Besoins ๏ Vente de services en ligne et en agences ๏ Suivi en temps réel des ventes ๏ Une envie croissante d’aller vers le Cloud
  • 7. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Situation initiale Besoins ๏ Vente de services en ligne et en agences ๏ Suivi en temps réel des ventes ๏ Une envie croissante d’aller vers le Cloud ๏ Rapide, sans perte de donnée, fil de l’eau
  • 8. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Situation initiale Contraintes
  • 9. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Situation initiale Contraintes ๏ Base de données legacy ne pouvant pas supporter les besoins analytics naissants
  • 10. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Situation initiale Contraintes ๏ Base de données legacy ne pouvant pas supporter les besoins analytics naissants ๏ Contraintes sur le fonctionnements des bases
  • 11. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Situation initiale Contraintes ๏ Base de données legacy ne pouvant pas supporter les besoins analytics naissants ๏ Contraintes sur le fonctionnements des bases ๏ 6 mois pour mettre en place l’architecture
  • 12. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La théorie 3 approches possibles : Ecriture en Y (Dual Writes)
  • 13. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La théorie 3 approches possibles : Ecriture en Y (Dual Writes) Architecture événementielle
  • 14. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La théorie 3 approches possibles : Ecriture en Y (Dual Writes) Architecture événementielle Change Data Capture
  • 15. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La théorie 3 approches possibles : Ecriture en Y (Dual Writes) Architecture événementielle Change Data Capture
  • 16. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La théorie File de messages Détection d’un changement Application des changements Base source Base cible 3 approches possibles : Ecriture en Y (Dual Writes) Architecture événementielle Change Data Capture
  • 17. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La pratique On premise Legacy DB2 CloudSQL
  • 18. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La pratique On premise Legacy DB2 CloudSQL Analytic, BI, ML (BigQuery)
  • 19. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La pratique On premise Legacy DB2 CloudSQL
  • 20. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La pratique On premise Legacy DB2 CloudSQL On premise
  • 21. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La pratique On premise Legacy Agent CDC DB2 CloudSQL On premise
  • 22. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La pratique Table 1 Table n On premise Legacy … Agent CDC DB2 CloudSQL On premise
  • 23. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La pratique Table 1 Table n Connectors On premise Legacy … Agent CDC DB2 CloudSQL On premise
  • 24. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved La pratique Table 1 Table n Connectors On premise Legacy … Agent CDC DB2 CloudSQL On premise Temps réel 2 milliards d'événements 250+ Tables
  • 25. Coin Coin ! La Duck Conf by OCTO Technology © 2021 - All rights reserved Kit de survie Les 4 problèmes que vous allez rencontrer
  • 26. Coin Coin ! La Duck Conf by OCTO Technology © 2021 - All rights reserved Kit de survie 1. Le monitoring Les 4 problèmes que vous allez rencontrer
  • 27. Coin Coin ! La Duck Conf by OCTO Technology © 2021 - All rights reserved Kit de survie 1. Le monitoring 2. La reprise d’historique Les 4 problèmes que vous allez rencontrer
  • 28. Coin Coin ! La Duck Conf by OCTO Technology © 2021 - All rights reserved Kit de survie 1. Le monitoring 2. La reprise d’historique 3. La cohérence de vos données Les 4 problèmes que vous allez rencontrer
  • 29. Coin Coin ! La Duck Conf by OCTO Technology © 2021 - All rights reserved Kit de survie 1. Le monitoring 2. La reprise d’historique 3. La cohérence de vos données 4. Les changements de types Les 4 problèmes que vous allez rencontrer
  • 30. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Faire du monitoring en même temps que les devs Dev d’abord, monitoring ensuite
  • 31. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved 1. Le monitoring On premise On premise Legacy DB2 CloudSQL
  • 32. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Le monitoring pour voir où on va Choisir ses métriques Challenger le besoin Commencer simple
  • 33. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Le monitoring pour voir où on va Choisir ses métriques Commencer simple Challenger le besoin
  • 34. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Le monitoring pour voir où on va Choisir ses métriques Challenger le besoin Commencer simple
  • 35. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Faire une reprise d’historique Ne capturer que les nouvelles transactions
  • 36. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved 2. Comment se préparer à la reprise d’historique ? On premise On premise Legacy DB2 CloudSQL
  • 37. 37 Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Préparez-vous à la reprise d’historique (et pas qu’une fois) ๏ 2 Milliards d'événements en une fois ๏ Congestion du système ๏ Montée en charge du cluster Kafka
  • 38. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Préparez-vous à la reprise d’historique (et pas qu’une fois) Checklist :
  • 39. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Préparez-vous à la reprise d’historique (et pas qu’une fois) Checklist : ✔ Faire des tirs de perfs
  • 40. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Préparez-vous à la reprise d’historique (et pas qu’une fois) Checklist : ✔ Faire des tirs de perfs ✔ Monitorer le système
  • 41. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Préparez-vous à la reprise d’historique (et pas qu’une fois) Checklist : ✔ Faire des tirs de perfs ✔ Monitorer le système ✔ Optimiser la base cible
  • 42. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Préparez-vous à la reprise d’historique (et pas qu’une fois) Checklist : ✔ Faire des tirs de perfs ✔ Monitorer le système ✔ Optimiser la base cible ✔ Préparer 2 configs
  • 43. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Préparez-vous à la reprise d’historique (et pas qu’une fois) Checklist : ✔ Faire des tirs de perfs ✔ Monitorer le système ✔ Optimiser la base cible ✔ Préparer 2 configs ⚠ Ne pas croire que la reprise d’historique ne se fera qu’une seule fois
  • 44. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Avoir une cohérence immédiate Avoir une cohérence à terme
  • 45. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved 3. Choisir sa cohérence On premise On premise Legacy DB2 CloudSQL
  • 46. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Cohérence immédiate vs. Cohérence à terme Application de sync Source Cible Cible Source
  • 47. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved On premise Legacy DB2 CloudSQL On premise La cohérence à terme Topic 1 Topic 2 Topic 3 … Table 1 Table 2 Table 3 Table 1 Table 2 Table 3
  • 48. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Gérer l’ordre des messages Insert B, Update A* … A* B … Insert B Update A* … A* B … Log
  • 49. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Gérer l’ordre des messages Insert B, Update A* … A* B … Insert B Update A* … A* B … Log
  • 50. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Gérer l’ordre des messages Insert B, Update A* … A* B … Insert B Update A* … A* B … Log
  • 51. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Gérer l’ordre des messages Insert B, Update A* … A* B … Insert B Update A* … A* B … Log
  • 52. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Gérer l’ordre des messages Insert B, Update A* … A* B … Insert B Update A* … A* B … Log
  • 53. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Gérer l’ordre des messages Insert B, Update A* … A* B … Insert B Update A* … A* B … Log
  • 54. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Gérer l’ordre des messages Insert B, Update A* … A* B … Insert B Update A* … A* B … Log
  • 55. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Gérer l’ordre des messages Insert B, Update A* … A* B … Insert B Update A* … A* B … Log
  • 56. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Gérer l’ordre des messages Insert B, Update A* … A* B … Insert B Update A* … A* B … Log
  • 57. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Laisser le système choisir le typage des colonnes Contraindre le système en lui imposant des types
  • 58. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved 4. Ne pas perdre d’informations On premise On premise Legacy DB2 CloudSQL
  • 59. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Oups, on a perdu de l’information On premise Legacy DB2 CloudSQL On premise Table Name : Varchar Date : Timestamp Table Name : Text Date : Text { Name: “string”, Date: “string” } Auto create
  • 60. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Oups, on a perdu de l’information On premise Legacy DB2 CloudSQL On premise Table Name : Varchar Date : Timestamp Table Name : Varchar Date : Timestamp { Name: “string”, Date: “string” } Auto create
  • 61. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Une prod qui continue à évoluer Connectors On premise Legacy Agent CDC DB2 CloudSQL On premise CLIENT ID : number Topic { id: “1287612” } CLIENT ID : number
  • 62. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Une prod qui continue à évoluer Connectors On premise Legacy Agent CDC DB2 CloudSQL On premise CLIENT ID : number Topic { id: “1287612” } CLIENT ID : number
  • 63. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Une prod qui continue à évoluer Connectors On premise Legacy Agent CDC DB2 CloudSQL On premise CLIENT ID : number CLIENT ID : number COUNTRY : varchar (with default value) Topic { id: “1287612” }
  • 64. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Une prod qui continue à évoluer Connectors On premise Legacy Agent CDC DB2 CloudSQL On premise CLIENT ID : number Topic { id: “1287612” } CLIENT ID : number COUNTRY : varchar (with default value)
  • 65. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Une prod qui continue à évoluer Connectors On premise Legacy Agent CDC DB2 CloudSQL On premise CLIENT ID : number COUNTRY : varchar Topic { id: “1287612” } CLIENT ID : number COUNTRY : varchar (with default value)
  • 66. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Une prod qui continue à évoluer Connectors On premise Legacy Agent CDC DB2 CloudSQL On premise Topic { id: “1287612” } { id: “1287613”, country: “France” } CLIENT ID : number COUNTRY : varchar (with default value) CLIENT ID : number COUNTRY : varchar
  • 67. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Take Away
  • 68. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Ce qu’il faut retenir Bien choisir sa cohérence Faire des tirs de performances Surveiller le LAG Imposer vos types
  • 69. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved Le mot de la fin “On peut sauter plus haut, aller plus loin, montrer plus de courage, élever le niveau d'endurance, mais il ne faut jamais, jamais, oublier d'être simple.” Mike Horn
  • 70. Coin Coin ! La Duck Conf by OCTO Technology © 2023 - All rights reserved