Mettez la Data Integration dans votre ESB

                                 avec Talend et Petals



                              Cédric Carbone – Talend CTO
                        Pascal Portes – Petals Link Sales Manager
                      Vincent Zurczak – Petals Link Product Manager



OW2 Consortium 2010                       www.ow2.org
Talend : les tendances


    Un taux élevé d’adoption                        Signes de reconnaissance
            1,5 million de téléchargements           forts
             du "core product"
            7 millions de "lifetime
             downloads"
            300 000 utilisateurs
             enregistrés
            Plus de 1 000 clients




           1 download de        100 nouveaux
         Talend Open Studio    clients par mois
            chaque minute


OW2 Consortium 2010                         www.ow2.org
Positionnement de Talend


                                       Qualité                                 Solutions
                                       de données          MD                  de Talend
                                                           M
                                      Profiling &          Gestion des
                                      nettoyage de         données de
           Chargement                   données             référence
           des systèmes
                                                                 Duplication &
           décisionnels
                                                                 synchronisation
      Décisionnel                                                des données
        (ETL)
                                                                Migration
                                                                d’applications
                      Migration &                                      Intégration
                      chargement                                Opérationnelle
                      de données
OW2 Consortium 2010                          www.ow2.org
                      © Talend 2010
Définition de l’Intégration de Données


                                 Analyse
                                 des données
                                                                                                          Une version unique
                                                                                                          de la vérité garantie
                                               Commerciaux                                                Gestion des données de référence




   Fichiers
   externes                                                                                                       Comptabilité
                                                                                  MDM
                                                                                  Hub
                         Finance                Production       Budget
                                                                                              Migration des
                                                                                              applications
                                                                                              existantes,
                                                                                              nettoyage des
                                                                                              données
                           Extraction, Transformation
                                                                                                                      Comptabilité
                            et Chargement de données

 Datamart




                                                                             Échange/partage de données                eExchange
                                                             EDWH               avec les clients ou les
                                                                                    fournisseurs,
 Datamart             Réplication des données dans des
                                                                               Nettoyage des données
                                 datamarts

OW2 Consortium 2010                                            www.ow2.org                                            © Talend 2010
Quelques Clients


         Finance
         & Assurances




        Services




         Distribution
         & Industrie




        Secteur Public
        & Éducation

OW2 Consortium 2010      www.ow2.org   © Talend 2010
Petals ESB : les cas d'usage


   Échanges

                                      Échanges
                                       B2B / B2C


               Intégration
                                   Intégration
                                           A2A



                                      Exposition
               SOA                    de services


                                      Exposition
                                      de services
                                     A2A / B2B / B2C



OW2 Consortium 2010          www.ow2.org               © Petals Link 2010
Références / Partenaires




OW2 Consortium 2010    www.ow2.org   © Talend 2010
Intégration Petals ESB – Talend

  • Pouvoir exposer des jobs Talend comme des services dans Petals ESB
           Exécuter des jobs Talend dans Petals ESB
           Envoyer des données depuis Petals vers un job

           Récupérer des données provenant d'un job et les renvoyer dans Petals




     Intérêt et cas d'usages
           Interactions avec une grande variété de sources de données
           Utilisation des capacités de transformation de Talend dans le bus

           Mise en œuvre possible dans des approches SOA ou d'intégration




OW2 Consortium 2010                      www.ow2.org                       © Petals Link 2010
En pratique

       • Export spécifique pour Petals dans les produits Talend

          Composant Petals pour faire tourner des jobs dans Petals
                Service-Engine « Petals-SE-Talend »
                => Monitoring des flux entrants et sortants du job exposé




          2 composants Talend pour Petals
                  tPetalsInput et tPetalsOutput




OW2 Consortium 2010                            www.ow2.org                   © Petals Link 2010
Démonstration

  • Scénario
      – Un composant Petals qui scrute un répertoire
      – Ajout d'un fichier Excel dans le répertoire
      – Ce fichier est envoyé au SE Talend
      – Le job Talend transforme le fichier Excel en un fichier XML



                           BC
                                                        SE
                      FileTransfer
                                                      Talend

                                     Petals ESB




   *.xls                BC FT            SE Talend             Job Talend         *.xml


OW2 Consortium 2010                         www.ow2.org                     © Petals Link 2010
Interactions Petals ESB – Job Talend


  Plusieurs types d'interactions possibles
                      Pas d'interaction particulière.
                      Petals ESB lance simplement le job Talend.

                      Interactions en entrée.
                      Petals ESB envoie des données ou de l'information au job

                      Interactions en sortie.
                      Le job renvoie des données ou de l'information dans Peta

                      Interactions en entrée et en sortie.
                      Le job Talend et Petals échangent dans les deux sens.

OW2 Consortium 2010                  www.ow2.org                   © Petals Link 2010
Moyens d'interactions

  Interactions en entrée
                      • Passage de contexte ( passage natif )
                      • Passage de contexte ( exposition dans l'interface du job / service )
                      • Passage de fichiers en attachements
                      • Passage de données à traiter dans le message ( tPetalsInput )

  Interactions en sortie
                      • Renvoi du résultat du job ( String[ ][ ] )
                      • Renvoi de fichiers en attachements
                      • Renvoi de données dans le message de retour ( tPetalsOutput )

  Interactions en entrée et en sortie
                      • Combinaison de tous les moyens précédents



OW2 Consortium 2010                          www.ow2.org                        © Petals Link 2010
Composants tPetals

  Exemple de job avec les composants Talend pour Petals




     1. Des données arrivent du bus et sont introduites dans le job via un tPetalsInput.
     2. Ces données sont transformées dans le composant tMap.
     3. Les données transformées sont renvoyées dans le bus via un tPetalsOutput.




OW2 Consortium 2010                     www.ow2.org                        © Petals Link 2010
Conclusion




                      Questions / Réponses




OW2 Consortium 2010           www.ow2.org    © Petals Link 2010

Talend Petals Link Solutions Linux Ow2

  • 1.
    Mettez la DataIntegration dans votre ESB avec Talend et Petals Cédric Carbone – Talend CTO Pascal Portes – Petals Link Sales Manager Vincent Zurczak – Petals Link Product Manager OW2 Consortium 2010 www.ow2.org
  • 2.
    Talend : lestendances  Un taux élevé d’adoption  Signes de reconnaissance  1,5 million de téléchargements forts du "core product"  7 millions de "lifetime downloads"  300 000 utilisateurs enregistrés  Plus de 1 000 clients 1 download de 100 nouveaux Talend Open Studio clients par mois chaque minute OW2 Consortium 2010 www.ow2.org
  • 3.
    Positionnement de Talend Qualité Solutions de données MD de Talend M Profiling & Gestion des nettoyage de données de Chargement données référence des systèmes Duplication & décisionnels synchronisation Décisionnel des données (ETL) Migration d’applications Migration & Intégration chargement Opérationnelle de données OW2 Consortium 2010 www.ow2.org © Talend 2010
  • 4.
    Définition de l’Intégrationde Données Analyse des données Une version unique de la vérité garantie Commerciaux Gestion des données de référence Fichiers externes Comptabilité MDM Hub Finance Production Budget Migration des applications existantes, nettoyage des données Extraction, Transformation Comptabilité et Chargement de données Datamart Échange/partage de données eExchange EDWH avec les clients ou les fournisseurs, Datamart Réplication des données dans des Nettoyage des données datamarts OW2 Consortium 2010 www.ow2.org © Talend 2010
  • 5.
    Quelques Clients Finance & Assurances Services Distribution & Industrie Secteur Public & Éducation OW2 Consortium 2010 www.ow2.org © Talend 2010
  • 6.
    Petals ESB :les cas d'usage Échanges Échanges B2B / B2C Intégration Intégration A2A Exposition SOA de services Exposition de services A2A / B2B / B2C OW2 Consortium 2010 www.ow2.org © Petals Link 2010
  • 7.
    Références / Partenaires OW2Consortium 2010 www.ow2.org © Talend 2010
  • 8.
    Intégration Petals ESB– Talend • Pouvoir exposer des jobs Talend comme des services dans Petals ESB  Exécuter des jobs Talend dans Petals ESB  Envoyer des données depuis Petals vers un job  Récupérer des données provenant d'un job et les renvoyer dans Petals  Intérêt et cas d'usages  Interactions avec une grande variété de sources de données  Utilisation des capacités de transformation de Talend dans le bus  Mise en œuvre possible dans des approches SOA ou d'intégration OW2 Consortium 2010 www.ow2.org © Petals Link 2010
  • 9.
    En pratique • Export spécifique pour Petals dans les produits Talend  Composant Petals pour faire tourner des jobs dans Petals  Service-Engine « Petals-SE-Talend »  => Monitoring des flux entrants et sortants du job exposé  2 composants Talend pour Petals  tPetalsInput et tPetalsOutput OW2 Consortium 2010 www.ow2.org © Petals Link 2010
  • 10.
    Démonstration •Scénario – Un composant Petals qui scrute un répertoire – Ajout d'un fichier Excel dans le répertoire – Ce fichier est envoyé au SE Talend – Le job Talend transforme le fichier Excel en un fichier XML BC SE FileTransfer Talend Petals ESB *.xls BC FT SE Talend Job Talend *.xml OW2 Consortium 2010 www.ow2.org © Petals Link 2010
  • 11.
    Interactions Petals ESB– Job Talend Plusieurs types d'interactions possibles Pas d'interaction particulière. Petals ESB lance simplement le job Talend. Interactions en entrée. Petals ESB envoie des données ou de l'information au job Interactions en sortie. Le job renvoie des données ou de l'information dans Peta Interactions en entrée et en sortie. Le job Talend et Petals échangent dans les deux sens. OW2 Consortium 2010 www.ow2.org © Petals Link 2010
  • 12.
    Moyens d'interactions Interactions en entrée • Passage de contexte ( passage natif ) • Passage de contexte ( exposition dans l'interface du job / service ) • Passage de fichiers en attachements • Passage de données à traiter dans le message ( tPetalsInput ) Interactions en sortie • Renvoi du résultat du job ( String[ ][ ] ) • Renvoi de fichiers en attachements • Renvoi de données dans le message de retour ( tPetalsOutput ) Interactions en entrée et en sortie • Combinaison de tous les moyens précédents OW2 Consortium 2010 www.ow2.org © Petals Link 2010
  • 13.
    Composants tPetals Exemple de job avec les composants Talend pour Petals 1. Des données arrivent du bus et sont introduites dans le job via un tPetalsInput. 2. Ces données sont transformées dans le composant tMap. 3. Les données transformées sont renvoyées dans le bus via un tPetalsOutput. OW2 Consortium 2010 www.ow2.org © Petals Link 2010
  • 14.
    Conclusion Questions / Réponses OW2 Consortium 2010 www.ow2.org © Petals Link 2010