SlideShare une entreprise Scribd logo
Alimentation du DataWarehouse
Sommaire Introduction Les outils ETL Les étapes
Introduction les projets de Business Intelligence Le processus général Développement Définition des besoins Définition de l’architecture  technique  Choix des outils Définition des indicateurs Modélisation dimensionnelle Définition des rapports / tableaux de bord Installation et paramétrage des outils Conception du  modèle physique Création  des « univers » Développement des rapports / tableaux de bord Déploiement Formation développement  des  alimentations
Introduction
Introduction Le processus d'alimentation des données du datawarehouse représente une part majeure des efforts de développement et nécessite une attention tout au long du cycle de vie du système Il est le garant de la qualité des données et doit superviser la gestion des rejets Il doit être pris très au sérieux le plus tôt possible Dans la pratique, il est souvent délaissé dans les phases de démarrage au détriment des aspect de restitution des données Il représente jusqu'à 40 % du budget total du projet
Introduction Le processus doit s'exécuter périodiquement, il doit donc être Optimisé Le temps du processus correspond au temps d’indisponibilité de l’entrepôt Les temps de réponse du datawarehouse dépendent principalement de la qualité des agrégats qui sont gérés par le processus Automatisé Il est nécessaire d’industrialiser le processus au maximum
Introduction Utilisation d'un outil ETL (Extraction – Transformation - Load) Non obligatoire mais recommandé car : Centralisation des scripts d'alimentation Utilisation d'un outil / langage unique et maîtrisé Suivi centralisé des exécutions Disponibilité de connecteurs => maîtrise des coûts d'évolution Outils spécialisés vs Outils généralistes Outils orientés BD vs Outils avec langage propre (standard ou propriétaire) Dans la pratique, laisser le maximum de traitements à la base de données Avantage : performances (quelquefois obligatoire) Inconvénient : spécifique à la base de données
Les outils ETL
Les outils ETL La problématique est aussi ancienne que les Systèmes d’Information Depuis toujours : le transfert de fichiers ETL  = Extraction /  Transfer (Transformation) / Load Pas   sécurisé Pas normalisé Cher à maintenir (les programmes d’extraction se sont multipliés de manière anarchique) Extraction Transfert Chargement
Les outils ETL Solution orientée Bases de données : la réplication Sécurisé Trop orienté Données Mise à jour Utilisation
Les outils ETL Outils ETL : services à valeur ajoutée Transformations <Champ1>;<Champ2>;<Champ3>;<Champ4> <Champ1>; <Champ3> <Champ2> + <Champ4> Centralisation du code de transformation Éditeur de formats Équipe d’administration des données et des flux
Les outils ETL Outils ETL : services à valeur ajoutée Connecteurs et passerelles Maintenus par les éditeurs Maîtrise des coûts d’évolution SAP Oracle Apps Oracle DB2 Websphere Web services
Les outils ETL Autres services Administration et suivi Des messages, des flux Des processus Sécurité Autorisations d’accès, habilitations, intégrité des données Montée en charge Répartition de la charge sur plusieurs processeurs, plusieurs serveurs
Les outils ETL Résumé des fonctionnalités Accès fichiers, Bases de données Transformations Connecteurs (accès natifs, ODBC, Web services, ...) Administration et suivi (processus, flux, déclencheurs) Sécurité Montée en charge
Les outils ETL TCP / IP Connecteurs ETL Référentiel Suivi des flux Administration référentiel Surveillance des processus Moteur  exécution Outil de  développement
Les outils ETL Les acteurs du marché Acteurs historiques Sunopsis : racheté par Oracle Datastage : racheté par IBM Microsoft SQL Server Integration Services, intégré dans l'offre SQL Server Cognos Data Integrator (racheté par IBM) DataExchanger Nouveaux venus (monde « open source ») Talend Pentaho
Les étapes de l'alimentation
Les étapes Extraction des données source Contrôle des données source Alimentation des tables de la staging area Alimentation des tables agrégées
Extraction des données source Analyse des tables / fichiers source, des formats de données Identification des données nécessaires Données de type référentiel => Dimensions Données de type mesures => Faits Filtrer les données pour n'extraire que les données nécessaires Ex : données ajoutées ou modifiées depuis la dernière extraction Appliquer des transformations de formats (dates, montants, codes)
Contrôle des données source Contrôle du référentiel Unicité du référentiel Transcodification des différentes sources Ex : N° de client, Matricules employés, Adresses clients Contrôle des données Contrôle des dates (ex : > 2000) Contrôle des montants (par rapport à une fourchette acceptable) Écriture des erreurs dans une table dédiée => à l'issue de l'alimentation, envoi des erreurs par mail à l'administrateur des données
Alimentation de la staging area Format des tables proche des tables sources Mise à jour des données existantes Création des nouvelles lignes Suppression des lignes  Ou modification de leur statut pour conserver l'historique Fusion de données provenant de sources différentes dans la même table (on conserve l'identification de la source) Peu de complexité
Alimentation des tables agrégées Mise au format « étoile » : dimensions / faits Dimensions (référentiel) Dénormalisation Ville – Département – Région – Pays => Ville Faits Calcul des agrégations Utilisation de vues, voire de procédures stockées ou de vues stockées (snapshots) pour améliorer les performances => délégation des traitements à la base de données Identifier les temps de traitement pour organiser l'exécution des flux d'alimentation
Organisation des flux Organiser les flux en fonction  des domaines concernés,  des fréquences d'alimentation Isoler les alimentations de référentiel (dimensions) et les alimentations de faits appeler les flux de référentiel correspondant à chaque alimentation de faits Découper au maximum les flux pour les rendre réutilisables
Des questions ? Des questions ? http://www.6it.fr [email_address] 06.24.91.02.03 04.84.25.17.94

Contenu connexe

Tendances

La BI : Qu’est-ce que c’est ? A quoi ça sert ?
La BI : Qu’est-ce que c’est ? A quoi ça sert ?La BI : Qu’est-ce que c’est ? A quoi ça sert ?
La BI : Qu’est-ce que c’est ? A quoi ça sert ?
Jean-Marc Dupont
 
DataWarehouse
DataWarehouseDataWarehouse
DataWarehouse
nzuguem
 
Tp Sql Server Integration Services 2008
Tp  Sql Server Integration Services  2008Tp  Sql Server Integration Services  2008
Tp Sql Server Integration Services 2008
Abdelouahed Abdou
 
Les outils OLAP
Les outils OLAPLes outils OLAP
Les outils OLAP
nadia sassi
 
La Business Intelligence
La Business Intelligence La Business Intelligence
La Business Intelligence
Khchaf Mouna
 
Introduction à la Business Intelligence
Introduction à la Business Intelligence Introduction à la Business Intelligence
Introduction à la Business Intelligence
Cynapsys It Hotspot
 
Conception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data WarehouseConception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data Warehouse
Abderrahmane Filali
 
Partie2BI-DW2019
Partie2BI-DW2019Partie2BI-DW2019
Partie2BI-DW2019
Aziz Darouichi
 
Chp3 - Modélisation Multidimensionnelle
Chp3 - Modélisation MultidimensionnelleChp3 - Modélisation Multidimensionnelle
Chp3 - Modélisation Multidimensionnelle
Lilia Sfaxi
 
PFE BI - INPT
PFE BI - INPTPFE BI - INPT
PFE BI - INPT
riyadadva
 
Projet décisionnel
Projet décisionnelProjet décisionnel
Projet décisionnel
Siham JABRI
 
Le processus ETL (Extraction, Transformation, Chargement)
Le processus ETL (Extraction, Transformation, Chargement)Le processus ETL (Extraction, Transformation, Chargement)
Le processus ETL (Extraction, Transformation, Chargement)
Salah Eddine BENTALBA (+15K Connections)
 
Business Intelligence
Business IntelligenceBusiness Intelligence
Business Intelligence
Lilia Sfaxi
 
Rapport de stage: mastère ISIC (Business Intelligence)
Rapport de stage: mastère ISIC (Business Intelligence)Rapport de stage: mastère ISIC (Business Intelligence)
Rapport de stage: mastère ISIC (Business Intelligence)
Ines Ben Kahla
 
Integration de donnees_etl
Integration de donnees_etlIntegration de donnees_etl
Integration de donnees_etl
horacio lassey
 
Cours Big Data Chap1
Cours Big Data Chap1Cours Big Data Chap1
Cours Big Data Chap1
Amal Abid
 

Tendances (20)

La BI : Qu’est-ce que c’est ? A quoi ça sert ?
La BI : Qu’est-ce que c’est ? A quoi ça sert ?La BI : Qu’est-ce que c’est ? A quoi ça sert ?
La BI : Qu’est-ce que c’est ? A quoi ça sert ?
 
DataWarehouse
DataWarehouseDataWarehouse
DataWarehouse
 
Tp Sql Server Integration Services 2008
Tp  Sql Server Integration Services  2008Tp  Sql Server Integration Services  2008
Tp Sql Server Integration Services 2008
 
Les outils OLAP
Les outils OLAPLes outils OLAP
Les outils OLAP
 
La Business Intelligence
La Business Intelligence La Business Intelligence
La Business Intelligence
 
Introduction à la Business Intelligence
Introduction à la Business Intelligence Introduction à la Business Intelligence
Introduction à la Business Intelligence
 
Présentation bi 1.0
Présentation bi 1.0Présentation bi 1.0
Présentation bi 1.0
 
Conception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data WarehouseConception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data Warehouse
 
Resume de BI
Resume de BIResume de BI
Resume de BI
 
Partie2BI-DW2019
Partie2BI-DW2019Partie2BI-DW2019
Partie2BI-DW2019
 
Chp3 - Modélisation Multidimensionnelle
Chp3 - Modélisation MultidimensionnelleChp3 - Modélisation Multidimensionnelle
Chp3 - Modélisation Multidimensionnelle
 
PFE BI - INPT
PFE BI - INPTPFE BI - INPT
PFE BI - INPT
 
Projet décisionnel
Projet décisionnelProjet décisionnel
Projet décisionnel
 
Le processus ETL (Extraction, Transformation, Chargement)
Le processus ETL (Extraction, Transformation, Chargement)Le processus ETL (Extraction, Transformation, Chargement)
Le processus ETL (Extraction, Transformation, Chargement)
 
Business Intelligence
Business IntelligenceBusiness Intelligence
Business Intelligence
 
Rapport de stage: mastère ISIC (Business Intelligence)
Rapport de stage: mastère ISIC (Business Intelligence)Rapport de stage: mastère ISIC (Business Intelligence)
Rapport de stage: mastère ISIC (Business Intelligence)
 
Business intelligence
Business intelligenceBusiness intelligence
Business intelligence
 
Integration de donnees_etl
Integration de donnees_etlIntegration de donnees_etl
Integration de donnees_etl
 
Cours Big Data Chap1
Cours Big Data Chap1Cours Big Data Chap1
Cours Big Data Chap1
 
Data warehouse
Data warehouseData warehouse
Data warehouse
 

En vedette

Chp1 - Introduction à l'Informatique Décisionnelle
Chp1 - Introduction à l'Informatique DécisionnelleChp1 - Introduction à l'Informatique Décisionnelle
Chp1 - Introduction à l'Informatique Décisionnelle
Lilia Sfaxi
 
exercices business intelligence
exercices business intelligence exercices business intelligence
exercices business intelligence
Yassine Badri
 
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
Ardesi Midi-Pyrénées
 
Présentation 6 IT 2016
Présentation 6 IT 2016Présentation 6 IT 2016
Présentation 6 IT 2016
Jean-Marc Dupont
 
Faites evoluer votre SI au rythme de votre entreprise
Faites evoluer votre SI au rythme de votre entrepriseFaites evoluer votre SI au rythme de votre entreprise
Faites evoluer votre SI au rythme de votre entreprise
Jean-Marc Dupont
 
Intégration des données avec Talend ETL
Intégration des données avec Talend ETLIntégration des données avec Talend ETL
Intégration des données avec Talend ETL
Lilia Sfaxi
 
Chp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de DonnéesChp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de Données
Lilia Sfaxi
 
Outils à petits prix pour la gestion de l'entreprise
Outils à petits prix pour la gestion de l'entrepriseOutils à petits prix pour la gestion de l'entreprise
Outils à petits prix pour la gestion de l'entreprise
Jean-Marc Dupont
 
Système Information - ETL et EAI - Décisionnel et Opérationnel
Système Information - ETL et EAI - Décisionnel et OpérationnelSystème Information - ETL et EAI - Décisionnel et Opérationnel
Système Information - ETL et EAI - Décisionnel et Opérationnel
Frédéric FAURE
 
Rapport Projet de fin d&rsquo;études
Rapport Projet de fin d&rsquo;étudesRapport Projet de fin d&rsquo;études
Rapport Projet de fin d&rsquo;études
Salah Eddine BENTALBA (+15K Connections)
 
Présentation Projet de fin d'études
Présentation Projet de fin d'étudesPrésentation Projet de fin d'études
Présentation Projet de fin d'études
Salah Eddine BENTALBA (+15K Connections)
 
Rapport PFE
Rapport PFERapport PFE
Rapport PFE
oussama Hafid
 
Ploegsteert - Staltolight - FR
Ploegsteert - Staltolight - FRPloegsteert - Staltolight - FR
Ploegsteert - Staltolight - FR
Architectura
 
Institut de boden
Institut de bodenInstitut de boden
Institut de boden
Isabel Marco
 
Veille 1 Rouen Octobre
Veille 1 Rouen OctobreVeille 1 Rouen Octobre
Veille 1 Rouen Octobre
veille
 
Annette BI Portfolio
Annette BI PortfolioAnnette BI Portfolio
Annette BI Portfolio
atako
 

En vedette (17)

Chp1 - Introduction à l'Informatique Décisionnelle
Chp1 - Introduction à l'Informatique DécisionnelleChp1 - Introduction à l'Informatique Décisionnelle
Chp1 - Introduction à l'Informatique Décisionnelle
 
exercices business intelligence
exercices business intelligence exercices business intelligence
exercices business intelligence
 
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
Réussir son analyse des besoins dans la conduite d'un projet informatique (2007)
 
Présentation 6 IT 2016
Présentation 6 IT 2016Présentation 6 IT 2016
Présentation 6 IT 2016
 
Faites evoluer votre SI au rythme de votre entreprise
Faites evoluer votre SI au rythme de votre entrepriseFaites evoluer votre SI au rythme de votre entreprise
Faites evoluer votre SI au rythme de votre entreprise
 
Intégration des données avec Talend ETL
Intégration des données avec Talend ETLIntégration des données avec Talend ETL
Intégration des données avec Talend ETL
 
Chp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de DonnéesChp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de Données
 
Outils à petits prix pour la gestion de l'entreprise
Outils à petits prix pour la gestion de l'entrepriseOutils à petits prix pour la gestion de l'entreprise
Outils à petits prix pour la gestion de l'entreprise
 
Système Information - ETL et EAI - Décisionnel et Opérationnel
Système Information - ETL et EAI - Décisionnel et OpérationnelSystème Information - ETL et EAI - Décisionnel et Opérationnel
Système Information - ETL et EAI - Décisionnel et Opérationnel
 
Rapport Projet de fin d&rsquo;études
Rapport Projet de fin d&rsquo;étudesRapport Projet de fin d&rsquo;études
Rapport Projet de fin d&rsquo;études
 
Présentation Projet de fin d'études
Présentation Projet de fin d'étudesPrésentation Projet de fin d'études
Présentation Projet de fin d'études
 
Rapport PFE
Rapport PFERapport PFE
Rapport PFE
 
Ploegsteert - Staltolight - FR
Ploegsteert - Staltolight - FRPloegsteert - Staltolight - FR
Ploegsteert - Staltolight - FR
 
Institut de boden
Institut de bodenInstitut de boden
Institut de boden
 
Veille 1 Rouen Octobre
Veille 1 Rouen OctobreVeille 1 Rouen Octobre
Veille 1 Rouen Octobre
 
Annette BI Portfolio
Annette BI PortfolioAnnette BI Portfolio
Annette BI Portfolio
 
Penta formation-pentaho
Penta formation-pentahoPenta formation-pentaho
Penta formation-pentaho
 

Similaire à Projet Bi - 3 - Alimentation des données

Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataAzure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Microsoft
 
2008-10-02 Paris - Administration des applications critiques avec SQL Server ...
2008-10-02 Paris - Administration des applications critiques avec SQL Server ...2008-10-02 Paris - Administration des applications critiques avec SQL Server ...
2008-10-02 Paris - Administration des applications critiques avec SQL Server ...
Patrick Guimonet
 
Talend, Leading Open Source DataIntegration plateform. Cedric Carbone
Talend, Leading Open Source DataIntegration plateform. Cedric CarboneTalend, Leading Open Source DataIntegration plateform. Cedric Carbone
Talend, Leading Open Source DataIntegration plateform. Cedric Carbone
Cedric CARBONE
 
Boostez vos applications en migrant vos bases vers SQL Server 2012 !
Boostez vos applications en migrant vos bases vers SQL Server 2012 !Boostez vos applications en migrant vos bases vers SQL Server 2012 !
Boostez vos applications en migrant vos bases vers SQL Server 2012 !
Microsoft Technet France
 
Talend
TalendTalend
Talend
Klee Group
 
Etl -
Etl -Etl -
Business intelligence pour startups
Business intelligence pour startupsBusiness intelligence pour startups
Business intelligence pour startups
Sébastien Derivaux
 
OW2 JASMINe
OW2 JASMINeOW2 JASMINe
OW2 JASMINe
Guillaume Sauthier
 
Mssis formation-ms-sql-server-integration-services
Mssis formation-ms-sql-server-integration-servicesMssis formation-ms-sql-server-integration-services
Mssis formation-ms-sql-server-integration-services
CERTyou Formation
 
Alfresco Meetup - ETL Connector & Talend
Alfresco Meetup - ETL Connector & TalendAlfresco Meetup - ETL Connector & Talend
Alfresco Meetup - ETL Connector & Talend
Marc Dutoo
 
Migration sharepoint 2013
Migration sharepoint 2013Migration sharepoint 2013
Migration sharepoint 2013
Michael Nokhamzon
 
[MAP-MEEDM] Présentation Spatial Data Integrator
[MAP-MEEDM] Présentation Spatial Data Integrator[MAP-MEEDM] Présentation Spatial Data Integrator
[MAP-MEEDM] Présentation Spatial Data Integrator
mathieuraj
 
Emna borgi mabroukachraita-datawarehouse
Emna borgi mabroukachraita-datawarehouseEmna borgi mabroukachraita-datawarehouse
Emna borgi mabroukachraita-datawarehouse
Emna Borgi
 
Drools et les moteurs de règles
Drools et les moteurs de règlesDrools et les moteurs de règles
Drools et les moteurs de règles
Publicis Sapient Engineering
 
Paris Tug - Session d'octobre
Paris Tug - Session d'octobreParis Tug - Session d'octobre
Paris Tug - Session d'octobre
Geoffrey Felix
 
20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development
LeClubQualiteLogicielle
 
Social Network Analysis Utilizing Big Data Technology
Social Network Analysis Utilizing Big Data TechnologySocial Network Analysis Utilizing Big Data Technology
Social Network Analysis Utilizing Big Data Technology
Imad ALILAT
 
SharePoint 2010 quoi de neuf pour les IT Pro par rapport à 2007 ?
SharePoint 2010 quoi de neuf pour les IT Pro par rapport à 2007 ?SharePoint 2010 quoi de neuf pour les IT Pro par rapport à 2007 ?
SharePoint 2010 quoi de neuf pour les IT Pro par rapport à 2007 ?
Nicolas Georgeault
 
SEAL Loader pour SAP DMS
SEAL Loader pour SAP DMSSEAL Loader pour SAP DMS
SEAL Loader pour SAP DMS
SEAL Systems
 
SQL Server : Tuning et Troubleshooting
SQL Server : Tuning et TroubleshootingSQL Server : Tuning et Troubleshooting
SQL Server : Tuning et Troubleshooting
Microsoft
 

Similaire à Projet Bi - 3 - Alimentation des données (20)

Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataAzure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
 
2008-10-02 Paris - Administration des applications critiques avec SQL Server ...
2008-10-02 Paris - Administration des applications critiques avec SQL Server ...2008-10-02 Paris - Administration des applications critiques avec SQL Server ...
2008-10-02 Paris - Administration des applications critiques avec SQL Server ...
 
Talend, Leading Open Source DataIntegration plateform. Cedric Carbone
Talend, Leading Open Source DataIntegration plateform. Cedric CarboneTalend, Leading Open Source DataIntegration plateform. Cedric Carbone
Talend, Leading Open Source DataIntegration plateform. Cedric Carbone
 
Boostez vos applications en migrant vos bases vers SQL Server 2012 !
Boostez vos applications en migrant vos bases vers SQL Server 2012 !Boostez vos applications en migrant vos bases vers SQL Server 2012 !
Boostez vos applications en migrant vos bases vers SQL Server 2012 !
 
Talend
TalendTalend
Talend
 
Etl -
Etl -Etl -
Etl -
 
Business intelligence pour startups
Business intelligence pour startupsBusiness intelligence pour startups
Business intelligence pour startups
 
OW2 JASMINe
OW2 JASMINeOW2 JASMINe
OW2 JASMINe
 
Mssis formation-ms-sql-server-integration-services
Mssis formation-ms-sql-server-integration-servicesMssis formation-ms-sql-server-integration-services
Mssis formation-ms-sql-server-integration-services
 
Alfresco Meetup - ETL Connector & Talend
Alfresco Meetup - ETL Connector & TalendAlfresco Meetup - ETL Connector & Talend
Alfresco Meetup - ETL Connector & Talend
 
Migration sharepoint 2013
Migration sharepoint 2013Migration sharepoint 2013
Migration sharepoint 2013
 
[MAP-MEEDM] Présentation Spatial Data Integrator
[MAP-MEEDM] Présentation Spatial Data Integrator[MAP-MEEDM] Présentation Spatial Data Integrator
[MAP-MEEDM] Présentation Spatial Data Integrator
 
Emna borgi mabroukachraita-datawarehouse
Emna borgi mabroukachraita-datawarehouseEmna borgi mabroukachraita-datawarehouse
Emna borgi mabroukachraita-datawarehouse
 
Drools et les moteurs de règles
Drools et les moteurs de règlesDrools et les moteurs de règles
Drools et les moteurs de règles
 
Paris Tug - Session d'octobre
Paris Tug - Session d'octobreParis Tug - Session d'octobre
Paris Tug - Session d'octobre
 
20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development
 
Social Network Analysis Utilizing Big Data Technology
Social Network Analysis Utilizing Big Data TechnologySocial Network Analysis Utilizing Big Data Technology
Social Network Analysis Utilizing Big Data Technology
 
SharePoint 2010 quoi de neuf pour les IT Pro par rapport à 2007 ?
SharePoint 2010 quoi de neuf pour les IT Pro par rapport à 2007 ?SharePoint 2010 quoi de neuf pour les IT Pro par rapport à 2007 ?
SharePoint 2010 quoi de neuf pour les IT Pro par rapport à 2007 ?
 
SEAL Loader pour SAP DMS
SEAL Loader pour SAP DMSSEAL Loader pour SAP DMS
SEAL Loader pour SAP DMS
 
SQL Server : Tuning et Troubleshooting
SQL Server : Tuning et TroubleshootingSQL Server : Tuning et Troubleshooting
SQL Server : Tuning et Troubleshooting
 

Dernier

La Gestion des risques selon ISO 27005.pdf
La Gestion des risques selon ISO 27005.pdfLa Gestion des risques selon ISO 27005.pdf
La Gestion des risques selon ISO 27005.pdf
SoniazghalKallel
 
Rapport Projet ERP - Plateforme Odoo 16 (PFE Licence)
Rapport Projet ERP - Plateforme Odoo 16 (PFE Licence)Rapport Projet ERP - Plateforme Odoo 16 (PFE Licence)
Rapport Projet ERP - Plateforme Odoo 16 (PFE Licence)
Chadi Kammoun
 
INTELLIGENCE ARTIFICIELLE + INFORMATIQUE QUANTIQUE = LA PLUS GRANDE RÉVOLUTIO...
INTELLIGENCE ARTIFICIELLE + INFORMATIQUE QUANTIQUE = LA PLUS GRANDE RÉVOLUTIO...INTELLIGENCE ARTIFICIELLE + INFORMATIQUE QUANTIQUE = LA PLUS GRANDE RÉVOLUTIO...
INTELLIGENCE ARTIFICIELLE + INFORMATIQUE QUANTIQUE = LA PLUS GRANDE RÉVOLUTIO...
Faga1939
 
Les Vidéoprojecteurs : Guide d'achat et Comparatif
Les Vidéoprojecteurs : Guide d'achat et ComparatifLes Vidéoprojecteurs : Guide d'achat et Comparatif
Les Vidéoprojecteurs : Guide d'achat et Comparatif
Top-plans
 
Technologie hydrostatique, innovation pour la stérilisation des aliments : HI...
Technologie hydrostatique, innovation pour la stérilisation des aliments : HI...Technologie hydrostatique, innovation pour la stérilisation des aliments : HI...
Technologie hydrostatique, innovation pour la stérilisation des aliments : HI...
InnovaSter-Trade Ltd.
 
M365 Community Days MTL 2024 - Découverte du Process Mining et du Task Mining...
M365 Community Days MTL 2024 - Découverte du Process Mining et du Task Mining...M365 Community Days MTL 2024 - Découverte du Process Mining et du Task Mining...
M365 Community Days MTL 2024 - Découverte du Process Mining et du Task Mining...
Nicolas Georgeault
 

Dernier (6)

La Gestion des risques selon ISO 27005.pdf
La Gestion des risques selon ISO 27005.pdfLa Gestion des risques selon ISO 27005.pdf
La Gestion des risques selon ISO 27005.pdf
 
Rapport Projet ERP - Plateforme Odoo 16 (PFE Licence)
Rapport Projet ERP - Plateforme Odoo 16 (PFE Licence)Rapport Projet ERP - Plateforme Odoo 16 (PFE Licence)
Rapport Projet ERP - Plateforme Odoo 16 (PFE Licence)
 
INTELLIGENCE ARTIFICIELLE + INFORMATIQUE QUANTIQUE = LA PLUS GRANDE RÉVOLUTIO...
INTELLIGENCE ARTIFICIELLE + INFORMATIQUE QUANTIQUE = LA PLUS GRANDE RÉVOLUTIO...INTELLIGENCE ARTIFICIELLE + INFORMATIQUE QUANTIQUE = LA PLUS GRANDE RÉVOLUTIO...
INTELLIGENCE ARTIFICIELLE + INFORMATIQUE QUANTIQUE = LA PLUS GRANDE RÉVOLUTIO...
 
Les Vidéoprojecteurs : Guide d'achat et Comparatif
Les Vidéoprojecteurs : Guide d'achat et ComparatifLes Vidéoprojecteurs : Guide d'achat et Comparatif
Les Vidéoprojecteurs : Guide d'achat et Comparatif
 
Technologie hydrostatique, innovation pour la stérilisation des aliments : HI...
Technologie hydrostatique, innovation pour la stérilisation des aliments : HI...Technologie hydrostatique, innovation pour la stérilisation des aliments : HI...
Technologie hydrostatique, innovation pour la stérilisation des aliments : HI...
 
M365 Community Days MTL 2024 - Découverte du Process Mining et du Task Mining...
M365 Community Days MTL 2024 - Découverte du Process Mining et du Task Mining...M365 Community Days MTL 2024 - Découverte du Process Mining et du Task Mining...
M365 Community Days MTL 2024 - Découverte du Process Mining et du Task Mining...
 

Projet Bi - 3 - Alimentation des données

  • 2. Sommaire Introduction Les outils ETL Les étapes
  • 3. Introduction les projets de Business Intelligence Le processus général Développement Définition des besoins Définition de l’architecture technique Choix des outils Définition des indicateurs Modélisation dimensionnelle Définition des rapports / tableaux de bord Installation et paramétrage des outils Conception du modèle physique Création des « univers » Développement des rapports / tableaux de bord Déploiement Formation développement des alimentations
  • 5. Introduction Le processus d'alimentation des données du datawarehouse représente une part majeure des efforts de développement et nécessite une attention tout au long du cycle de vie du système Il est le garant de la qualité des données et doit superviser la gestion des rejets Il doit être pris très au sérieux le plus tôt possible Dans la pratique, il est souvent délaissé dans les phases de démarrage au détriment des aspect de restitution des données Il représente jusqu'à 40 % du budget total du projet
  • 6. Introduction Le processus doit s'exécuter périodiquement, il doit donc être Optimisé Le temps du processus correspond au temps d’indisponibilité de l’entrepôt Les temps de réponse du datawarehouse dépendent principalement de la qualité des agrégats qui sont gérés par le processus Automatisé Il est nécessaire d’industrialiser le processus au maximum
  • 7. Introduction Utilisation d'un outil ETL (Extraction – Transformation - Load) Non obligatoire mais recommandé car : Centralisation des scripts d'alimentation Utilisation d'un outil / langage unique et maîtrisé Suivi centralisé des exécutions Disponibilité de connecteurs => maîtrise des coûts d'évolution Outils spécialisés vs Outils généralistes Outils orientés BD vs Outils avec langage propre (standard ou propriétaire) Dans la pratique, laisser le maximum de traitements à la base de données Avantage : performances (quelquefois obligatoire) Inconvénient : spécifique à la base de données
  • 9. Les outils ETL La problématique est aussi ancienne que les Systèmes d’Information Depuis toujours : le transfert de fichiers ETL = Extraction / Transfer (Transformation) / Load Pas sécurisé Pas normalisé Cher à maintenir (les programmes d’extraction se sont multipliés de manière anarchique) Extraction Transfert Chargement
  • 10. Les outils ETL Solution orientée Bases de données : la réplication Sécurisé Trop orienté Données Mise à jour Utilisation
  • 11. Les outils ETL Outils ETL : services à valeur ajoutée Transformations <Champ1>;<Champ2>;<Champ3>;<Champ4> <Champ1>; <Champ3> <Champ2> + <Champ4> Centralisation du code de transformation Éditeur de formats Équipe d’administration des données et des flux
  • 12. Les outils ETL Outils ETL : services à valeur ajoutée Connecteurs et passerelles Maintenus par les éditeurs Maîtrise des coûts d’évolution SAP Oracle Apps Oracle DB2 Websphere Web services
  • 13. Les outils ETL Autres services Administration et suivi Des messages, des flux Des processus Sécurité Autorisations d’accès, habilitations, intégrité des données Montée en charge Répartition de la charge sur plusieurs processeurs, plusieurs serveurs
  • 14. Les outils ETL Résumé des fonctionnalités Accès fichiers, Bases de données Transformations Connecteurs (accès natifs, ODBC, Web services, ...) Administration et suivi (processus, flux, déclencheurs) Sécurité Montée en charge
  • 15. Les outils ETL TCP / IP Connecteurs ETL Référentiel Suivi des flux Administration référentiel Surveillance des processus Moteur exécution Outil de développement
  • 16. Les outils ETL Les acteurs du marché Acteurs historiques Sunopsis : racheté par Oracle Datastage : racheté par IBM Microsoft SQL Server Integration Services, intégré dans l'offre SQL Server Cognos Data Integrator (racheté par IBM) DataExchanger Nouveaux venus (monde « open source ») Talend Pentaho
  • 17. Les étapes de l'alimentation
  • 18. Les étapes Extraction des données source Contrôle des données source Alimentation des tables de la staging area Alimentation des tables agrégées
  • 19. Extraction des données source Analyse des tables / fichiers source, des formats de données Identification des données nécessaires Données de type référentiel => Dimensions Données de type mesures => Faits Filtrer les données pour n'extraire que les données nécessaires Ex : données ajoutées ou modifiées depuis la dernière extraction Appliquer des transformations de formats (dates, montants, codes)
  • 20. Contrôle des données source Contrôle du référentiel Unicité du référentiel Transcodification des différentes sources Ex : N° de client, Matricules employés, Adresses clients Contrôle des données Contrôle des dates (ex : > 2000) Contrôle des montants (par rapport à une fourchette acceptable) Écriture des erreurs dans une table dédiée => à l'issue de l'alimentation, envoi des erreurs par mail à l'administrateur des données
  • 21. Alimentation de la staging area Format des tables proche des tables sources Mise à jour des données existantes Création des nouvelles lignes Suppression des lignes Ou modification de leur statut pour conserver l'historique Fusion de données provenant de sources différentes dans la même table (on conserve l'identification de la source) Peu de complexité
  • 22. Alimentation des tables agrégées Mise au format « étoile » : dimensions / faits Dimensions (référentiel) Dénormalisation Ville – Département – Région – Pays => Ville Faits Calcul des agrégations Utilisation de vues, voire de procédures stockées ou de vues stockées (snapshots) pour améliorer les performances => délégation des traitements à la base de données Identifier les temps de traitement pour organiser l'exécution des flux d'alimentation
  • 23. Organisation des flux Organiser les flux en fonction des domaines concernés, des fréquences d'alimentation Isoler les alimentations de référentiel (dimensions) et les alimentations de faits appeler les flux de référentiel correspondant à chaque alimentation de faits Découper au maximum les flux pour les rendre réutilisables
  • 24. Des questions ? Des questions ? http://www.6it.fr [email_address] 06.24.91.02.03 04.84.25.17.94

Notes de l'éditeur

  1. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  2. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  3. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  4. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  5. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  6. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  7. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  8. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  9. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  10. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  11. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  12. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  13. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  14. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  15. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  16. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  17. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.
  18. Toute la difficulté vient de la divergence croissante entre deux tendances contradictoires : La volonté croissante d&apos;évoluer au sein des entreprises : qu&apos;il s&apos;agisse de nouveaux produits, de nouvelles formes d&apos;organisation, de nouvelles approches commerciales ou de développement international. La capacité décroissante d&apos;évoluer au sein de systèmes d&apos;information qui accueillent de plus en plus d&apos;applications, ce qui les rigidifie progressivement.