LA DUCK CONF 2023 - Guide de survie du Change Data Capture

Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Guide de survie du Change
Data Capture
Découvrez tout ce qu'on ne vous dit pas sur le Change Data Capture avec de vrais retours terrains !

Coin
Coin
!
Qui sommes-nous ?
Mariane Champalier
Data Engineer
Certiﬁée Kafka
Peut vous parler de danse
jusqu’à épuisement
Baptiste Courbe
Data Architect
Fait des trucs avec les
données
Porte une casquette la
grande majorité du temps

Coin
Coin
!
Situation initiale
Besoins

Coin
Coin
!
Situation initiale
Besoins
๏ Vente de services en ligne et en agences

Coin
Coin
!
Situation initiale
Besoins
๏ Suivi en temps réel des ventes

Coin
Coin
!
Situation initiale
Besoins
๏ Une envie croissante d’aller vers le Cloud

Coin
Coin
!
Situation initiale
Besoins
๏ Une envie croissante d’aller vers le Cloud
๏ Rapide, sans perte de donnée, ﬁl de l’eau

Coin
Coin
!
Situation initiale
Contraintes

Coin
Coin
!
Situation initiale
Contraintes
๏ Base de données legacy ne pouvant pas supporter les besoins analytics naissants

Coin
Coin
!
Situation initiale
Contraintes
๏ Contraintes sur le fonctionnements des bases

Coin
Coin
!
Situation initiale
Contraintes
๏ Contraintes sur le fonctionnements des bases
๏ 6 mois pour mettre en place l’architecture

Coin
Coin
!
La théorie
3 approches possibles :
Ecriture en Y (Dual Writes)

Coin
Coin
!
La théorie
Architecture événementielle

Coin
Coin
!
La théorie
Change Data Capture

Coin
Coin
!
La théorie
File de
messages
Détection
d’un
changement
Application
des
changements
Base
source
Base
cible
Change Data Capture

Coin
Coin
!
La pratique
On premise
Legacy
DB2
CloudSQL

Coin
Coin
!
La pratique
On premise
Legacy
DB2
CloudSQL
Analytic,
BI, ML
(BigQuery)

Coin
Coin
!
La pratique
On premise
Legacy
DB2
CloudSQL
On premise

Coin
Coin
!
La pratique
On premise
Legacy
Agent CDC
DB2
CloudSQL
On premise

Coin
Coin
!
La pratique
Table 1
Table n
On premise
Legacy
…
Agent CDC
DB2
CloudSQL
On premise

Coin
Coin
!
La pratique
Table 1
Table n
Connectors
On premise
Legacy
…
Agent CDC
DB2
CloudSQL
On premise

Coin
Coin
!
La pratique
Table 1
Table n
Connectors
On premise
Legacy
…
Agent CDC
DB2
CloudSQL
On premise
Temps
réel
2 milliards
d'événements
250+
Tables

Coin
Coin
!
Kit de survie
Les 4 problèmes que vous allez rencontrer

Coin
Coin
!
Kit de survie
1. Le monitoring

Coin
Coin
!
Kit de survie
1. Le monitoring
2. La reprise d’historique

Coin
Coin
!
Kit de survie
1. Le monitoring
3. La cohérence de vos données

Coin
Coin
!
Kit de survie
1. Le monitoring
3. La cohérence de vos données
4. Les changements de types

Coin
Coin
!
Faire du monitoring en même
temps que les devs
Dev d’abord,
monitoring ensuite

Coin
Coin
!
1. Le monitoring
On premise
On premise
Legacy
DB2 CloudSQL

Coin
Coin
!
Le monitoring pour voir où on va
Choisir ses
métriques
Challenger le
besoin
Commencer simple

Coin
Coin
!
Choisir ses métriques
Commencer
simple
Challenger le
besoin

Coin
Coin
!
Choisir ses
métriques Challenger le besoin
Commencer
simple

Coin
Coin
!
Faire une reprise d’historique
Ne capturer que les nouvelles
transactions

Coin
Coin
!
2. Comment se
préparer à la reprise
d’historique ?
On premise
On premise
Legacy
DB2 CloudSQL

37
Coin
Coin
!
Préparez-vous à la reprise
d’historique (et pas qu’une fois)
๏ 2 Milliards d'événements en une fois
๏ Congestion du système
๏ Montée en charge du cluster Kafka

Coin
Coin
!
Préparez-vous à la reprise d’historique (et pas qu’une fois)
Checklist :

Coin
Coin
!
Checklist :
✔ Faire des tirs de perfs

Coin
Coin
!
Checklist :
✔ Monitorer le système

Coin
Coin
!
Checklist :
✔ Optimiser la base cible

Coin
Coin
!
Checklist :
✔ Préparer 2 conﬁgs

Coin
Coin
!
Checklist :
✔ Préparer 2 conﬁgs
⚠ Ne pas croire que la reprise d’historique ne se fera qu’une seule fois

Coin
Coin
!
Avoir une cohérence
immédiate
Avoir une cohérence à terme

Coin
Coin
!
3. Choisir sa
cohérence
On premise
On premise
Legacy
DB2 CloudSQL

Coin
Coin
!
Cohérence immédiate vs. Cohérence à terme
Application de sync
Source
Cible Cible
Source

Coin
Coin
!
On premise
Legacy
DB2 CloudSQL
On premise
La cohérence à terme
Topic 1
Topic 2
Topic 3
…
Table 1
Table 2
Table 3
Table 1
Table 2
Table 3

Coin
Coin
!
Gérer l’ordre des messages
Insert B, Update A* …
A*
B
…
Insert B
Update A*
…
A*
B
…
Log

Coin
Coin
!
Laisser le système choisir le
typage des colonnes
Contraindre le système en lui
imposant des types

Coin
Coin
!
4. Ne pas perdre
d’informations
On premise
On premise
Legacy
DB2 CloudSQL

Coin
Coin
!
Oups, on a perdu de l’information
On premise
Legacy
DB2 CloudSQL
On premise
Table
Name : Varchar
Date : Timestamp
Table
Name : Text
Date : Text
{ Name: “string”,
Date: “string” }
Auto create

Coin
Coin
!
Oups, on a perdu de l’information
On premise
Legacy
DB2 CloudSQL
On premise
Table
Name : Varchar
Date : Timestamp
Table
Name : Varchar
Date : Timestamp
{ Name: “string”,
Date: “string” }
Auto create

Coin
Coin
!
Une prod qui continue à évoluer
Connectors
On premise
Legacy
Agent CDC
DB2
CloudSQL
On premise
CLIENT
ID : number
Topic
{ id: “1287612” } CLIENT
ID : number

Coin
Coin
!
Connectors
On premise
Legacy
Agent CDC
DB2
CloudSQL
On premise
CLIENT
ID : number
CLIENT
ID : number
COUNTRY : varchar
(with default value)
Topic
{ id: “1287612” }

Coin
Coin
!
Connectors
On premise
Legacy
Agent CDC
DB2
CloudSQL
On premise
CLIENT
ID : number
Topic
{ id: “1287612” } CLIENT
ID : number
COUNTRY : varchar

Coin
Coin
!
Connectors
On premise
Legacy
Agent CDC
DB2
CloudSQL
On premise
CLIENT
ID : number
COUNTRY : varchar
Topic
{ id: “1287612” } CLIENT
ID : number
COUNTRY : varchar

Coin
Coin
!
Connectors
On premise
Legacy
Agent CDC
DB2
CloudSQL
On premise
Topic
{ id: “1287612” }
{ id: “1287613”,
country: “France” }
CLIENT
ID : number
COUNTRY : varchar
CLIENT
ID : number
COUNTRY : varchar

Coin
Coin
!
Take Away

Coin
Coin
!
Ce qu’il faut retenir
Bien choisir
sa cohérence
Faire des tirs de
performances
Surveiller le LAG Imposer vos
types

Coin
Coin
!
Le mot de la ﬁn
“On peut sauter plus haut, aller plus loin, montrer plus de courage, élever le niveau
d'endurance, mais il ne faut jamais, jamais, oublier d'être simple.”
Mike Horn

Coin
Coin
!

LA DUCK CONF 2023 - Guide de survie du Change Data Capture

Contenu connexe

Plus de OCTO Technology

LA DUCK CONF 2023 - Guide de survie du Change Data Capture