Guide Talend Open Studio




                     Guide Talend Open Studio

Dans le présent guide nous détaillons les étapes de création d’un datamart ; le logiciel utilisé
est Talend open studio qui offre une gamme de fonctionnalités facilitent cette tâche. La
création d’un datamart passe par trois étapes primordiales:

       La création des métas sdonnés,

       La création du job designer

       Le mapping entre la base source (input) et la base cible (output).

En ce qui suit, une description détaillée du processus de création du méta data, la création des
jobs et le mapping entre les deux bases source et cible.

   I. Créer/importer un projet

Dans Talend Open Studio, le “projet” correspond au nœud racine stockant les différents
types de Jobs, Business model, métas données, …etc.

A partir de la fenêtre principale nous pouvons soit créer un nouveau projet soit importer un
projet existant.

       1- Créer un projet




                        Figure 1: Ecran principale de Talend Studio
Pour afficher cet écran il suffit de lancer Talend Open Studio. Lorsqu’on se connecte pour la
première fois aucun projet n’apparaît dans la liste, nous devons donc créer un. Dans la liste
                                                                                                   1
Guide Talend Open Studio



Select de la zone Project de la fenêtre login du Studio, on clique sur le bouton créer. Une
boite de dialogue apparaît en nous demandant de spécifier le nom du projet




                           Figure 2: Créer un nouveau projet Talend
Il suffit donc de remplir le champ « Nom du projet » et cliquer sur le bouton « Termier » afin
de créer notre projet. Une fois créé il suffit de le lancer.




                                  Figure 3 : Ouvrir un projet

                                                                                                 2
Guide Talend Open Studio



Une fois que le projet est ouvert on obtient l’écran suivant
                                                                                     Palette

                Le référentiel




                       Figure 4: Ecran d'accueil Talend Open Studio




                           Figure 5: Référentiel Talend Open Studio
Notre projet est maintenant ouvert on commence donc la création des métas données.



                                                                                         3
Guide Talend Open Studio




   2- Création des métas donnés
Dans Talend Open Studio, les métas donnés permettent de définir, de décrire ou de
documenter les données traitées par le logiciel.

Dans le dossier méta données du référentiel de Talend nous pouvons stoker les informations
de connexion aux fichiers (fichier délimité, fichier XML,..) et les connexions vers les bases de
données (Oracle, MySQL,…).

Nous allons commencer dans un premier lieu par la création de la connexion à la base de
données source

   2.1- Créer la connexion vers la base de données source




              Figure 6: Créer une connexion vers la base de données source
Avec un simple clic droit sur le menu data, une liste d’option est affichée, on sélectionne donc
l’option « créer une connexion »




                                                                                                   4
Guide Talend Open Studio




                           Figure 7: Spécifier le nom de la connexion
Une boite de dialogue est alors affichée en nous demandant de taper le nom de la connexion.
Il suffit juste de donner un nom quelconque à cette connexion (de préférence un nom
significatif)




                                                                                              5
Guide Talend Open Studio




                               Figure 8: Choisir un SGBD
A ce stade nous devons sélectionnez le type de base de données à laquelle nous souhaitons
nous connecter.




                     Figure 9: Préciser les identifiants de connexions

                                                                                            6
Guide Talend Open Studio



Nous devons renseigner les informations requises pour la connexion et vérifier notre
connexion à l’aide de la fonction « Vérifier ».




                              Figure 10: Tester la connexion
La connexion à notre base de données est maintenant créée et accessible depuis le Référentiel
qui contient quatre sous-dossiers :

        -   le sous dossier Requêtes pour les requêtes SQL,

        -   le sous dossier Schémas des tables qui regroupe tous les schémas des tables
            relatifs à cette connexion.

        -   Le sous dossier Schémas des vues qui regroupe l’ensemble des vues de la
            connexion

        -   Le sous dossier Schémas de synonymes qui regroupe l’ensemble des synonymes
            présent au niveau de la connexion




                                                                                                7
Guide Talend Open Studio




                             Figure 11: Source de données




                  Figure 12: Récupérer le schéma de la base de données




                                                                         8
Guide Talend Open Studio



A présent un simple clic avec le bouton droit de la souris sur la connexion précédemment
créé et on sélectionne « Récupérer le schéma » dans le menu contextuel permet de récupérer
la listes des objets de notre base (tables, vues, index,..)




                      Figure 13: Préciser les types d'objet à récupérer
Dans la zone texte « Name Filter » nous pouvons filtrer les objets de notre base de données




               Figure 14: Sélectionner les tables utiles pour notre datamart
Pour sélectionner les objets dont nous avons besoin pour la création de notre datamart il suffit
de cocher les objets dans la liste présente dans l’interface précédente.




                                                                                                   9
Guide Talend Open Studio




           Figure 15: Ajouter/modifier les contraintes ou les types de données
Modifiez les schémas (contrainte d’intégrité, type des champs,…) si nécessaire, puis cliquez
sur le bouton « Terminer » pour fermer l’assistant.




                   Figure 16: Schéma de notre base de données source




                                                                                               10
Guide Talend Open Studio




2.2- Créer connexion à la base de données cible

Même principe que la création de la connexion à la base de données source déjà présenté
précédemment.




                      Figure 17: Schéma de la base de données cible



3- Créer le job designer

Le job designer est un composant essentiel de Talend Open Studio, il permet de faire la
correspondance et la transformation entre la base de données source (base transactionnelle) et
la base de données cible (datamart). En d’autre terme il permet la mise en place des flux de
données d’une manière graphique et c’est Talend qui sera chargé de générer le code de
transformation (mapping).




                                                                                                 11
Guide Talend Open Studio




                              Figure 18: Créer un job designer



Pour créer un job designer il suffit de cliquer avec le bouton droit sur Jobs dans le référentiel
de Talend et de choisir Créer un job




                                                                                                    12
Guide Talend Open Studio




                              Figure 19: Assistant de création



Un assistant nous guide dans les étapes de définition des propriétés de notre nouveau Job.




                                                                                             13
Guide Talend Open Studio




                           Figure 20: Ouvrir le job designer




                           Figure 21: Préparer les données




                                                               14
Guide Talend Open Studio




                            Figure 22: Déposer la table catégorie
Pour commencer, il suffit de cliquer sur la table et avec un simple « drag and drop », ajouter
cette dernière dans l’espace de modélisation du Job design.




                 Figure 23: Choisir le type du composant (table catégorie)

                                                                                                 15
Guide Talend Open Studio




                           Figure 24: Déposer la table marque




                 Figure 25: Choisir le type du composant (table marque)




                                                                          16
Guide Talend Open Studio




                           Figure 26: Déposer la table produit




                 Figure 27: Choisir le type du composant (table produit)


                                                                           17
Guide Talend Open Studio




                            Figure 28: Tables source (input)




                           Figure 29: Préparer les tables cibles




                                                                   18
Guide Talend Open Studio



                                            s




                       Figure 30: Déposer la table produit (output)




             Figure 31: Choisir le type du composant (table produit output)




                                                                              19
Guide Talend Open Studio




                       Figure 32: Données sources vs données cible
4- Faire la mapping

Pour faire le mapping (transformation) des données rien de complexe ; En effet TMAP, un
composant de Talend, nous permet de gérer les flux de données d’une manière aisée.

Ce composant permet de faire la liaison entre les données sources et les données cibles et il
est capable de faire toutes les transformations




                           Figure 33: TMAP Talend Open Studio




                                                                                                20
Guide Talend Open Studio




          Figure 34: Déposer le composant TMAP dans l’espace de modélisation
De la même manière que les métas donnés un simple « drag and drop » permet de déposer le
composant TMAP dans notre espace de modélisation. La création des liaisons entre le TMAP
et les différentes sources de données se fait par clic droit sur notre source de données (table) et
suivit par le choix de l’option main dans le menu ligne.




                    Figure 35: Liaison entre la table catégorie et TMAP

                                                                                                      21
Guide Talend Open Studio




                Figure 36: Liaison établi entre la table catégorie et TMAP




                 Figure 37: Créer liaison entre la table marque et TMAP




                                                                             22
Guide Talend Open Studio




                Figure 38: Liaison établi entre la table marque et TMAP




                Figure 39: Créer liaison entre la table produit et TMAP




                                                                          23
Guide Talend Open Studio




                Figure 40: Liaison établi entre la table produit et TMAP




                 Figure 41: Créer liaison entre TMAP et la table produit




                                                                           24
Guide Talend Open Studio




                Figure 42: Liaison établi entre TMAP et la table produit




                           Figure 43: Choisir le nom de sortie




                                                                           25
Guide Talend Open Studio




                   Figure 44: Récupérer le schéma du composant cible
Par un double clic sur le composant TMAP, une fenêtre offrant la possibilité d’assurer la
liaison entre la base de données source et celle cible




                              Figure 45: Fenêtre de mapping




                                                                                            26
Guide Talend Open Studio




       Figure 46: Migrer la clé primaire de la table catégorie vers la table produit




                                                                                       27
Guide Talend Open Studio




                           Figure 47: Migration de la clé établie




       Figure 48: Migrer la clé primaire de la table marque vers la table produit
                                                                                    28
Guide Talend Open Studio




                           Figure 49: Migration de la clé établie




            Figure 50: Faire le mapping entre les noms de colonnes des tables




                                                                                29
Guide Talend Open Studio




                   Figure 51: Mapping entre les deux colonnes établies




                  Figure 52: Mapping entre la source et la cible établie




                           Figure 53: Base de données cible vide




                                                                           30
Guide Talend Open Studio




                           Figure 54: Préparer l'exécution du job




                                 Figure 55: Exécuter le job



                                                                    31
Guide Talend Open Studio




                                 Figure 56: Déboguer le job




                           Figure 57: Base de données cible remplie



II- Exporter un projet Talend




                                                                      32
Guide Talend Open Studio




                                Figure 58: Exporter le projet




                           Figure 59: Choisir le filtre d'exportation




                                                                        33
Guide Talend Open Studio




                     Figure 60: Choisir le projet à exporter




                                                               34

Guide talend

  • 1.
    Guide Talend OpenStudio Guide Talend Open Studio Dans le présent guide nous détaillons les étapes de création d’un datamart ; le logiciel utilisé est Talend open studio qui offre une gamme de fonctionnalités facilitent cette tâche. La création d’un datamart passe par trois étapes primordiales: La création des métas sdonnés, La création du job designer Le mapping entre la base source (input) et la base cible (output). En ce qui suit, une description détaillée du processus de création du méta data, la création des jobs et le mapping entre les deux bases source et cible. I. Créer/importer un projet Dans Talend Open Studio, le “projet” correspond au nœud racine stockant les différents types de Jobs, Business model, métas données, …etc. A partir de la fenêtre principale nous pouvons soit créer un nouveau projet soit importer un projet existant. 1- Créer un projet Figure 1: Ecran principale de Talend Studio Pour afficher cet écran il suffit de lancer Talend Open Studio. Lorsqu’on se connecte pour la première fois aucun projet n’apparaît dans la liste, nous devons donc créer un. Dans la liste 1
  • 2.
    Guide Talend OpenStudio Select de la zone Project de la fenêtre login du Studio, on clique sur le bouton créer. Une boite de dialogue apparaît en nous demandant de spécifier le nom du projet Figure 2: Créer un nouveau projet Talend Il suffit donc de remplir le champ « Nom du projet » et cliquer sur le bouton « Termier » afin de créer notre projet. Une fois créé il suffit de le lancer. Figure 3 : Ouvrir un projet 2
  • 3.
    Guide Talend OpenStudio Une fois que le projet est ouvert on obtient l’écran suivant Palette Le référentiel Figure 4: Ecran d'accueil Talend Open Studio Figure 5: Référentiel Talend Open Studio Notre projet est maintenant ouvert on commence donc la création des métas données. 3
  • 4.
    Guide Talend OpenStudio 2- Création des métas donnés Dans Talend Open Studio, les métas donnés permettent de définir, de décrire ou de documenter les données traitées par le logiciel. Dans le dossier méta données du référentiel de Talend nous pouvons stoker les informations de connexion aux fichiers (fichier délimité, fichier XML,..) et les connexions vers les bases de données (Oracle, MySQL,…). Nous allons commencer dans un premier lieu par la création de la connexion à la base de données source 2.1- Créer la connexion vers la base de données source Figure 6: Créer une connexion vers la base de données source Avec un simple clic droit sur le menu data, une liste d’option est affichée, on sélectionne donc l’option « créer une connexion » 4
  • 5.
    Guide Talend OpenStudio Figure 7: Spécifier le nom de la connexion Une boite de dialogue est alors affichée en nous demandant de taper le nom de la connexion. Il suffit juste de donner un nom quelconque à cette connexion (de préférence un nom significatif) 5
  • 6.
    Guide Talend OpenStudio Figure 8: Choisir un SGBD A ce stade nous devons sélectionnez le type de base de données à laquelle nous souhaitons nous connecter. Figure 9: Préciser les identifiants de connexions 6
  • 7.
    Guide Talend OpenStudio Nous devons renseigner les informations requises pour la connexion et vérifier notre connexion à l’aide de la fonction « Vérifier ». Figure 10: Tester la connexion La connexion à notre base de données est maintenant créée et accessible depuis le Référentiel qui contient quatre sous-dossiers : - le sous dossier Requêtes pour les requêtes SQL, - le sous dossier Schémas des tables qui regroupe tous les schémas des tables relatifs à cette connexion. - Le sous dossier Schémas des vues qui regroupe l’ensemble des vues de la connexion - Le sous dossier Schémas de synonymes qui regroupe l’ensemble des synonymes présent au niveau de la connexion 7
  • 8.
    Guide Talend OpenStudio Figure 11: Source de données Figure 12: Récupérer le schéma de la base de données 8
  • 9.
    Guide Talend OpenStudio A présent un simple clic avec le bouton droit de la souris sur la connexion précédemment créé et on sélectionne « Récupérer le schéma » dans le menu contextuel permet de récupérer la listes des objets de notre base (tables, vues, index,..) Figure 13: Préciser les types d'objet à récupérer Dans la zone texte « Name Filter » nous pouvons filtrer les objets de notre base de données Figure 14: Sélectionner les tables utiles pour notre datamart Pour sélectionner les objets dont nous avons besoin pour la création de notre datamart il suffit de cocher les objets dans la liste présente dans l’interface précédente. 9
  • 10.
    Guide Talend OpenStudio Figure 15: Ajouter/modifier les contraintes ou les types de données Modifiez les schémas (contrainte d’intégrité, type des champs,…) si nécessaire, puis cliquez sur le bouton « Terminer » pour fermer l’assistant. Figure 16: Schéma de notre base de données source 10
  • 11.
    Guide Talend OpenStudio 2.2- Créer connexion à la base de données cible Même principe que la création de la connexion à la base de données source déjà présenté précédemment. Figure 17: Schéma de la base de données cible 3- Créer le job designer Le job designer est un composant essentiel de Talend Open Studio, il permet de faire la correspondance et la transformation entre la base de données source (base transactionnelle) et la base de données cible (datamart). En d’autre terme il permet la mise en place des flux de données d’une manière graphique et c’est Talend qui sera chargé de générer le code de transformation (mapping). 11
  • 12.
    Guide Talend OpenStudio Figure 18: Créer un job designer Pour créer un job designer il suffit de cliquer avec le bouton droit sur Jobs dans le référentiel de Talend et de choisir Créer un job 12
  • 13.
    Guide Talend OpenStudio Figure 19: Assistant de création Un assistant nous guide dans les étapes de définition des propriétés de notre nouveau Job. 13
  • 14.
    Guide Talend OpenStudio Figure 20: Ouvrir le job designer Figure 21: Préparer les données 14
  • 15.
    Guide Talend OpenStudio Figure 22: Déposer la table catégorie Pour commencer, il suffit de cliquer sur la table et avec un simple « drag and drop », ajouter cette dernière dans l’espace de modélisation du Job design. Figure 23: Choisir le type du composant (table catégorie) 15
  • 16.
    Guide Talend OpenStudio Figure 24: Déposer la table marque Figure 25: Choisir le type du composant (table marque) 16
  • 17.
    Guide Talend OpenStudio Figure 26: Déposer la table produit Figure 27: Choisir le type du composant (table produit) 17
  • 18.
    Guide Talend OpenStudio Figure 28: Tables source (input) Figure 29: Préparer les tables cibles 18
  • 19.
    Guide Talend OpenStudio s Figure 30: Déposer la table produit (output) Figure 31: Choisir le type du composant (table produit output) 19
  • 20.
    Guide Talend OpenStudio Figure 32: Données sources vs données cible 4- Faire la mapping Pour faire le mapping (transformation) des données rien de complexe ; En effet TMAP, un composant de Talend, nous permet de gérer les flux de données d’une manière aisée. Ce composant permet de faire la liaison entre les données sources et les données cibles et il est capable de faire toutes les transformations Figure 33: TMAP Talend Open Studio 20
  • 21.
    Guide Talend OpenStudio Figure 34: Déposer le composant TMAP dans l’espace de modélisation De la même manière que les métas donnés un simple « drag and drop » permet de déposer le composant TMAP dans notre espace de modélisation. La création des liaisons entre le TMAP et les différentes sources de données se fait par clic droit sur notre source de données (table) et suivit par le choix de l’option main dans le menu ligne. Figure 35: Liaison entre la table catégorie et TMAP 21
  • 22.
    Guide Talend OpenStudio Figure 36: Liaison établi entre la table catégorie et TMAP Figure 37: Créer liaison entre la table marque et TMAP 22
  • 23.
    Guide Talend OpenStudio Figure 38: Liaison établi entre la table marque et TMAP Figure 39: Créer liaison entre la table produit et TMAP 23
  • 24.
    Guide Talend OpenStudio Figure 40: Liaison établi entre la table produit et TMAP Figure 41: Créer liaison entre TMAP et la table produit 24
  • 25.
    Guide Talend OpenStudio Figure 42: Liaison établi entre TMAP et la table produit Figure 43: Choisir le nom de sortie 25
  • 26.
    Guide Talend OpenStudio Figure 44: Récupérer le schéma du composant cible Par un double clic sur le composant TMAP, une fenêtre offrant la possibilité d’assurer la liaison entre la base de données source et celle cible Figure 45: Fenêtre de mapping 26
  • 27.
    Guide Talend OpenStudio Figure 46: Migrer la clé primaire de la table catégorie vers la table produit 27
  • 28.
    Guide Talend OpenStudio Figure 47: Migration de la clé établie Figure 48: Migrer la clé primaire de la table marque vers la table produit 28
  • 29.
    Guide Talend OpenStudio Figure 49: Migration de la clé établie Figure 50: Faire le mapping entre les noms de colonnes des tables 29
  • 30.
    Guide Talend OpenStudio Figure 51: Mapping entre les deux colonnes établies Figure 52: Mapping entre la source et la cible établie Figure 53: Base de données cible vide 30
  • 31.
    Guide Talend OpenStudio Figure 54: Préparer l'exécution du job Figure 55: Exécuter le job 31
  • 32.
    Guide Talend OpenStudio Figure 56: Déboguer le job Figure 57: Base de données cible remplie II- Exporter un projet Talend 32
  • 33.
    Guide Talend OpenStudio Figure 58: Exporter le projet Figure 59: Choisir le filtre d'exportation 33
  • 34.
    Guide Talend OpenStudio Figure 60: Choisir le projet à exporter 34