Talend au coeur de vos données

Séminaire Petit-Déjeuner
Talend au cœur
de vos données

Mardi 8 juin
Eurosites George V

Talend au cœur de vos données

9h05 – 9h25
Retour d’expérience
L'industrialisation
des flux de données
Hervé Leclerc, Alter Way Solutions

9h25 – 9h45
La qualité de données,
démonstration
Cédric Fauvet, Talend

9h45– 10h05
L'expertise Alter Way
au service de vos données

10h05– 10h30
Q&R

8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos données 2

L'industrialisation des flux de données

Contexte et Objectifs

Problématiques

Solutions

Bénéfices

Q&R


Contexte

Projet
Refonte du Back Office FRAM
qui alimente les données des applications Front Office,
à partir des données saisies dans les applications métiers FRAM

Contexte

Le Back Office existant effectue la plupart des tâches nécessaires au
bon fonctionnement des sites frontaux clients et partenaires.

Les traitements :
 agrègent des données des divers environnements pour mettre à
jour les produits (éditorial, photo, prix, promotions, dispos...)
 publie les infos produits sous diverses formes (bases de données
pour les applis frontales, fichiers plats xml ou images pour les
partenaires)
 La publication est faite par copies, ou par transferts FTP ou SCP
sur différents serveurs.

Objectifs

1. Concevoir une base de
données (référentiel
Produit)

2. Gagner du temps dans les
traitements batch de nuit

3. Gagner en rapports et
comptes rendus sur les
données traitées par les
différents batch de nuit

4. Programmer efficacement
les divers traitements

5. Réutiliser certains
traitements batch la journée




Problématiques

Solutions

Bénéfices

Q&R


Problématiques

1 2

Plusieurs bases de données
Le BO actuel alimente plusieurs
en entrée
bases de données BO et FRONT
avec des développements séparés
avec pour chacune des données
entre le monde AS400 et SqlServer
communes
et PostgreSQL

3 4 Les traitements 5
Les traitements
actuels sont appelés
actuels Maintenir
par programmation
manquent de la cohérence entre la
sans forcement prise en
rapports et base référentiel BO
compte des dépendances
comptes et la PROD.
entre chaque base de
rendus.
données


Ancienne architecture




Problématiques

Solutions

Bénéfices

Q&R


Solutions

Alimentation d'une base
référentielle unique
à partir des données
multi-environnement source

Ordonnancement reconnu
pour éliminer les attentes dues aux heures
de programmation choisies avec des marges

Ordonnancement privilégiant au maximum
les départs multitâches
des jobs non dépendants entre eux

Utilisation des composants de type bulk
pour les grosses tables

Alimentation en continue d'une table de log + table détail


Nouvelle architecture


Données chiffrées

Mode batch
nb total de jobs = 70
de nuit

1 job = 1 tache particulière
Jobs principaux
(utilise n jobs unitaires) = 20

Jobs majeurs = 3 (lot de mise à jour, lot de transferts, lot
en mode final de mises à jour et publication quand les 2
batch de nuit premiers sont terminés)

Jobs réutilisables
en mode "à la = 10
demande"

40 tables, dont 2 ou 3 dépassant les millions
Base à
de lignes (la plus importante générée peut
mettre à jour
monter à 15 millions)
Nombre de tables
transférées sans 25 dont 2 tables > 1 Millions de lignes
traitement

Bénéfices

1. Temps de traitement
diminués

2. Sécurisation des flux

3. Simplification de
l’architecture

4. Parallélisation

5. Reprise sur erreur

6. Monitoring

7. Logging

8. Ordonnancement optimisé

9. SOA


Présentation Société

© Talend 2010

Talend en Quelques Mots

 Principal éditeur open source d’intégration de données
 Offre aux entreprises de toutes tailles des solutions d’intégration
de données répondant à l’ensemble de leurs besoins
 Financé par des fonds de capital risque

 Opérations et utilisateurs dans le monde entier

© Talend 2010

Résumé des Tendances

 Un taux élevé d’adoption  Signes de
 1.5 million de reconnaissance forts
téléchargements du
"core product"
 7 millions de "lifetime
downloads"
 300,000 utilisateurs
enregistrés
 Plus de 1 000 clients

1 download de 100 nouveaux
Talend Open Studio clients par mois
chaque minute
© Talend 2010

L’Etat du Marché de la Qualité de Données
 Situation
 Absence de normes à travers les différentes divisions d’où le
défaut de portabilité des données
 Manque de granularité des données pour répondre aux
contraintes applicatives.
 Manque de compréhension des challenges liés à la qualité des
données de la part des équipes projet

 Contraintes
 Normes postales (CASS, SERP, Royal Mail, DPV, NCOA)
 Listes rouges, anti-spam, désabonnement

 Conséquences
 La solution ne fournit pas une vue exhaustive du client ou des
stocks
 Les projets très consommateurs de données prennent du retard
car les données ne répondent pas aux besoins métiers
© Talend 2010

Présentation des Solutions

© Talend 2010

Positionnement de Talend
Qualité Solutions
de données MDM de Talend
Profiling & Gestion des
nettoyage données de
Chargement de données référence
des systèmes
Duplication &
décisionnels
synchronisation
Décisionnel des données
(ETL)
Migration
d’applications
Migration &
chargement Intégration
de données Opérationnelle
© Talend 2010

Solutions

Gestion des Données
Intégration de Données Qualité de Données
de Référence
Souscription

Talend Talend
Talend MDM
Integration Data
Enterprise Edition
Suite Quality
GPL

Talend Talend Talend MDM
Open Studio Open Profiler Community Edition

 Performance, extensibilité, flexibilité
 Solutions et services de niveau entreprise
© Talend 2010

Qualité de Données

© Talend 2010

Talend Open Profiler
La première solution open source de data profiling
 Examiner les données contenues dans les sources
 Collecter des informations et des statistiques sur ces données

 Fonctionnalités
 Découverte des métadonnées
 Définition des statistiques
 Résultats & graphiques

 Bénéfices
 Découverte de la qualité
 Compréhension des
caractéristiques des données
 Identification des problèmes potentiels
 Réduction du temps et des ressources pour identifier des données
problématiques
 Plus de contrôle pour les fonctionnels
© Talend 2010

Talend Data Quality
Solution complète de gestion de la qualité des données
 Data Profiler
 Découverte et évaluation de la qualité des données
 Traçage de l’historique de la qualité des données
 Data Cleanser
 Transformation des données pour améliorer leur qualité
 Correction des mauvaises données
 Interfaces avec :
 Bases de validation de noms, adresses & téléphones
 Tables de synonymes et données de référence
 Routines externes de nettoyage des données
 Types de traitement :
 Filtrage & identification, Correction, Enrichissement…
 DataQuality Portal
 Reporting sur l’évolution de la qualité
 Cubes OLAP pour naviguer facilement dans vos indicateurs

© Talend 2010

Talend Data Quality (suite)

 Bénéfices
 Suite intégrée pour diagnostiquer et corriger les
données erronées
 Data profiling
 Mesure et trace le niveau de qualité
 Préserve l’historique pour mesure l’amélioration ou la dégradation
 Data cleansing
 Élimine les incohérences, les doublons, etc.
 Produit des données augmentées/enrichies
 Standardise les données


Gestion complète du cycle de vie de la qualité des
données
 Intégration native avec l’intégration de données
 Implémente un "Data Quality Firewall" dans les
processus d’intégration de données
© Talend 2010

Services et Support

© Talend 2010

Services et Support
 Formation
 Plusieurs niveaux : Foundation, Development, Administrator,
Component Creation, Best Practices…
 Une bonne connaissance des solutions de Talend maximise
l’efficacité de l’implémentation
 La Certification Talend atteste de vos capacités.
Prenez un avantage concurrentiel,
passez l’examen en ligne !

 Support
 Garantit une version stable maintenue par l’équipe R&D de Talend
 Niveaux Gold, Silver et Platinum

 Consulting
 Une équipe de consultants, experts en intégration de données,
dédiée aux clients et partenaires de Talend
© Talend 2010

Clients et Partenaires

© Talend 2010

Quelques Clients
Finance
& Assurances

Services

Distribution
& Industrie

Secteur Public
& Éducation

© Talend 2010

Principaux Différentiateurs Techniques
 Générateur de code
 Code exécuté totalement visible
 Pas de surcoût d’interprétation lors de l’exécution
 Exploite les serveurs existants
 Déploiement des jobs d’intégration sur multiples serveurs (grid)
 Utilisation des standards (Eclipse, Java, Perl, SQL)
 Exploite les compétences existantes
 Abaisse les coûts de formation
 Facilement extensible
 Incorporation de routines Perl ou Java existantes
 Création de vos propres composants – ou utilisation de ceux
développés par la communauté
 Métadonnées et monitoring centralisés
 Tous les jobs, dépendances, documentation sont stockés et
versionnés en central
 Monitoring global
© Talend 2010

Talend au cœur de vos données

9h05 – 9h25
Retour d’expérience
L'industrialisation
des flux de données

9h25 – 9h45
La qualité de données,
démonstration
Cédric Fauvet, Talend

9h45– 10h05

10h05– 10h30
Q&R

8 juin 2010 ALTER WAY Petit-déjeuner Talend au coeur de vos 2
données

http://drupal.org/user/824410

• Typologie des projets Talend

• Types d'interventions d'Alter Way

• Types d'accompagnements

• Alter Way à 360°

• Q/R

• Conclusion

14 juin 2010 Expertise Alter Way au service des projets Talend 35

Typologie des projets adressés par Talend

14 juin 2010 Expertise Alter Way au service des projets Talend http://www.flickr.com/photos/31265528@N04/2999301770/sizes/l/ 36

Talend

14 juin 2010 Expertise Alter Way au service des projets Talend http://www.flickr.com/photos/cookephotography/3812866064/ 37

Intégration de données

TIS
TOS

TIS MPx
TIS RTx
14 juin 2010 Expertise Alterway au service des projets Talend http://www.flickr.com/photos/ian-s/2152798588/sizes/l/ 38

Qualité des données

TOP
TDQ

14 juin 2010 Expertise Alter Way au service des projets Talend http://www.cutroni.com/blog/wp-content/uploads/2007/11/frustration.jpg39

Master Data Management

MDM

14 juin 2010 Expertise Alterway au service des projets Talend http://www.flickr.com/photos/campru/3098425235/ 40

Life Cycle Platform

MDM

14 juin 2010 Expertise Alter Way au service des projets Talend http://www.flickr.com/photos/writefromkaren/123155909/sizes/o/ 41

Focus Projets Intégration de données

MDM

14 juin 2010 Expertise Alter Way au service des projets Talend http://www.flickr.com/photos/anikamonty/3727123958/ 42

Industrialisation de flux métiers

14 juin 2010 Expertise Alter Way au service des projets Talend http://www.flickr.com/photos/robdunlavey/2911150181/sizes/o 43

Nettoyage, normalisation des données

MDM

14 juin 2010 Expertise Alterway au service des projets Talend http://www.flickr.com/photos/grumbler/261061045/sizes/l/ 44

Synchronisation Back Office / Front Office

14 juin 2010 Expertise Alter Way au service des projets Talend http://www.itransition.us/images/ECM-climb.jpeg 45

Constitution de datawarehouse

MDM

14 juin 2010 Expertise Alter Way au service des projets Talend http://www.flickr.com/photos/jurvetson/10438860/sizes/l/ 46

Haute disponibilité, monitoring

14 juin 2010 Expertise Alterway au service des projets Talend http://www.appsinsight.net/wp-content/uploads/2009/02/cluster_ballooning.jpg 47

Webservices, relation entre systèmes

14 juin 2010 Expertise Alter Way au service des projets Talend http://www.flickr.com/photos/psd/263092176/sizes/l/ 48

Virtuellement tout projet de manipulation de données

14 juin 2010 Expertise Alterway au service des projets Talend http://www.myconfinedspace.com/wp- 49

Type d'intervention d'Alter Way

Et via Reciprok...


Type d'intervention d'Alter Way

•Consulting Technique •AMOA/ AMOE
•Audit de performance •Conception d'architecture
•Audit d'architecture •Conception de composants
•Coaching de developpeurs •Intégration avec d'autres
composants du SI

Types d'accompagnements assurés par Alter Way

http://farm3.static.flickr.com/2713/4539295921_8e00c6e553_b.jpg
14 juin 2010 Expertise Alterway au service des projets Talend 52

Alter Way et les communautés Open Source

Très forte Implication (PHP/Python/Java)
Membre honoraire de Drupal FR
Recherche de partenariat avec Aquia
Contributeur sur de nombreux projets
Porteurs de nombreux projets

http://farm3.static.flickr.com/2713/4539295921_8e00c6e553_b.jpg

Alter Way Une offre d’accompagnement
Open Source 360°

AMOA, AMOE CRM,
E-commerce,
Audit de code,
CMS, BI, GED,
de sécurité
BPM
et de performance
Linux, Messagerie,
Urbanisation
Sécurité, IPAM

Décider Intégrer

Transmettre Sécuriser
Formation inter/intra Hébergement
entreprises à valeur ajoutée
Infogérance
Coaching/Change
Système
Management
SaaS

Expertise technologique

14 juin 2010 ALTER WAY - Présentation Corporate projets Talend
Expertise Alter Way au service des 54
54

Talend au coeur de vos données

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

Similaire à Talend au coeur de vos données

Similaire à Talend au coeur de vos données (20)

Plus de ALTER WAY

Plus de ALTER WAY (20)

Talend au coeur de vos données