Retour d\'expérience

1. Séminaire Petit-Déjeuner
Talend au cœur
de vos données
Mardi 8 juin
Eurosites George V

2. Talend au cœur de vos données
9h05 – 9h25
Retour d’expérience
L'industrialisation
des flux de données
Hervé Leclerc, Alter Way Solutions
9h25 – 9h45
La qualité de données,
démonstration
Cédric Fauvet, Talend
9h45– 10h05
L'expertise Alter Way
au service de vos données
Hervé Leclerc, Alter Way Solutions
10h05– 10h30
Q&R
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 2

3. L'industrialisation des flux de données
Contexte et Objectifs
Problématiques
Solutions
Bénéfices
Q&R
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 3

4. Contexte
Projet
Refonte du Back Office FRAM
qui alimente les données des applications Front Office,
à partir des données saisies dans les applications métiers FRAM
Contexte
Le Back Office existant effectue la plupart des tâches nécessaires au
bon fonctionnement des sites frontaux clients et partenaires.
Les traitements :
 agrègent des données des divers environnements pour mettre à
jour les produits (éditorial, photo, prix, promotions, dispos...)
 publie les infos produits sous diverses formes (bases de données
pour les applis frontales, fichiers plats xml ou images pour les
partenaires)
 La publication est faite par copies, ou par transferts FTP ou SCP
sur différents serveurs.
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 4

5. Objectifs
1. Concevoir une base de
données (référentiel
Produit)
2. Gagner du temps dans les
traitements batch de nuit
3. Gagner en rapports et
comptes rendus sur les
données traitées par les
différents batch de nuit
4. Programmer efficacement
les divers traitements
5. Réutiliser certains
traitements batch la journée
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 5

6. L'industrialisation des flux de données
Contexte et Objectifs
Problématiques
Solutions
Bénéfices
Q&R
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 8

7. Problématiques
1 2
Plusieurs bases de données
Le BO actuel alimente plusieurs
en entrée
bases de données BO et FRONT
avec des développements séparés
avec pour chacune des données
entre le monde AS400 et SqlServer
communes
et PostgreSQL
3 4 Les traitements 5
Les traitements
actuels sont appelés
actuels Maintenir
par programmation
manquent de la cohérence entre la
sans forcement prise en
rapports et base référentiel BO
compte des dépendances
comptes et la PROD.
entre chaque base de
rendus.
données
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 7

8. Ancienne architecture
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 8

9. L'industrialisation des flux de données
Contexte et Objectifs
Problématiques
Solutions
Bénéfices
Q&R
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 10

10. Solutions
Alimentation d'une base
référentielle unique
à partir des données
multi-environnement source
Ordonnancement reconnu
pour éliminer les attentes dues aux heures
de programmation choisies avec des marges
Ordonnancement privilégiant au maximum
les départs multitâches
des jobs non dépendants entre eux
Utilisation des composants de type bulk
pour les grosses tables
Alimentation en continue d'une table de log + table détail
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 10

11. Nouvelle architecture
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 11

12. Données chiffrées
Mode batch
nb total de jobs = 70
de nuit
1 job = 1 tache particulière
Jobs principaux
(utilise n jobs unitaires) = 20
Jobs majeurs = 3 (lot de mise à jour, lot de transferts, lot
en mode final de mises à jour et publication quand les 2
batch de nuit premiers sont terminés)
Jobs réutilisables
en mode "à la = 10
demande"
40 tables, dont 2 ou 3 dépassant les millions
Base à
de lignes (la plus importante générée peut
mettre à jour
monter à 15 millions)
Nombre de tables
transférées sans 25 dont 2 tables > 1 Millions de lignes
traitement
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 12

13. L'industrialisation des flux de données
Contexte et Objectifs
Problématiques
Solutions
Bénéfices
Q&R
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 10

14. Bénéfices
1. Temps de traitement
diminués
2. Sécurisation des flux
3. Simplification de
l’architecture
4. Parallélisation
5. Reprise sur erreur
6. Monitoring
7. Logging
8. Ordonnancement optimisé
9. SOA
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 14

15. L'industrialisation des flux de données
Contexte et Objectifs
Problématiques
Solutions
Bénéfices
Q&R
8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 10