SlideShare une entreprise Scribd logo
1  sur  33
Télécharger pour lire hors ligne
Institut National des Sciences Appliquées et de Technologie

Business Intelligence
Chp2 – Les Entrepôts de Données (Data Warehouses)

Dr. Lilia SFAXI
GL5 - 2013-2014
2

Plan du Chapitre



Problématique des données dans un système décisionnel



Architecture fonctionnelle d’un système décisionnel



Les entrepôts de données

Business Intelligence

22/10/12
3

Problématique
des données dans
un système
décisionnel

CHAPITRE 2:
ENTREPÔTS DE DONNÉES – DATA
WAREHOUSE

Business Intelligence

22/10/12
Systèmes
Opérationnels vs. Décisionnels
Systèmes opérationnels


Appelés OLTP (On-Line Transaction
Processing) ou systèmes de gestion



Dédiés aux métiers de l’entreprise pour
les assister dans leurs tâches de gestion
quotidiennes



Utilisation des PGI (ou ERP) pour la
gestion des données

Business Intelligence

4

Systèmes décisionnels


Appelés OLAP (On-Line Analytical
Processing)



Dédiés à la gestion de l’entreprise pour
l’aider au pilotage de l’activité pour une
vision transversale de l’entreprise



Utilisation des Entrepôts de données

22/10/12
Données
Opérationnelles vs. Décisionnelles
Données Opérationnelles

5

Données Décisionnelles



Données détaillées



Données globalisées



Données récentes



Données historiques



Structure compréhensible et optimisée pour
l’informaticien



Structure compréhensible par le décideur



Données réparties et non homogènes



Données centralisées, intégrées



Utilisateurs: Agents
opérationnels, nombreux, et concurrents



Utilisateurs: Décideurs, analystes, peu
nombreux et non concurrents

Business Intelligence

22/10/12
6

Charge du Serveur de Données

Business Intelligence

22/10/12
7

Solutions


Stockage de données : Data Warehouse
o

Base de données unique - vocabulaire unique

o

Contenu adapté aux besoins des décideurs



Niveau de détail bien étudié





Structure multidimentionnelle spéciale
Données historiques

Interrogation des données :
o

Outil interactif, convivial

o

Outil offrant des fonctions d’analyse



Roll-up, Drill-down



Calcul et comparaison



Analyse des tendances, relations et exceptions



Business Intelligence

Tri des données

Simulation
22/10/12
8

OLTP vs. OLAP


OLTP : On Line Transaction Processing
o

o



Système destiné à offrir le moyen à une application d’utiliser de façon transactionnelle un serveur
de base de données. C’est un ensemble logiciel que l’utilisateur peut employer de façon
interactive pour accéder aux données de la manière la plus rapide et simple possible.

Exemple : Le 15/01/2012 à 13h12, le client X a retiré 500dt du compte Y

OLAP : On Line Analytical Processing
o

Catégorie de technologie logicielle permettant aux analystes, managers et décideurs d’accéder
de manière rapide, consistante et interactive à une large variété d’information, transformée pour
refléter la dimension réelle d’une entreprise.

o

Exemple : Quel est le volume des ventes par produit et par région durant le deuxième trimestre de
2012?

Business Intelligence

22/10/12
OLTP vs. OLAP

9
OLTP

-

Orientée application (Application de
production, de facturation…)
Structure statique (E/R)

-

Orientée sujet (Client, produit, vendeur…)
Structure évolutive (en étoile, en flocon)

Données

-

Détaillées, non agrégées
Récentes, mises à jour
Accessibles de façon individuelle
Normalisées

-

Résumées, recalculées, agrégées
Historiques
Accessibles de façon ensembliste
Dénormalisées

Vue

-

Relationnelle

-

Multidimensionnelle

Requêtes/Utilisat
ion

-

-

-

Simples, nombreuses, régulières,
prévisibles, répétitives
Sensibles aux performances (réponses
immédiates)
Accès à beaucoup de données

-

Complexes, peu nombreuses, irrégulières,
non prévisibles
Non sensibles aux performances
(réponses moins rapides)
Accès à beaucoup d’informations

Utilisateurs

-

Agents opérationnels
Nombreux (par milliers)
Concurrents

-

Managers / Analystes
Peu (par dizaines, centaines)
Non concurrents

Accès

-

Lecture / Écriture

-

Lecture

Taille de la base

-

100 MB à 1 GB

-

100 GB à 1 TB

Conception

Business Intelligence

-

OLAP

-

-

22/10/12
10

Technologies
Stockage et Gestion
Efficace des Gros
Volumes

Entrepôt de Données
(Data Warehouse)

Traitements
Complexes sur ces
Volumes

Serveur OLAP

Application Cliente

Fouille de Données
(Data Mining)

Business Intelligence

22/10/12
Structure d’un Système Décisionnel

Business Intelligence

11

22/10/12
12

Structures de
Stockage de
Données dans un
Système
Décisionnel

Business Intelligence

CHAPITRE 2:
ENTREPÔTS DE DONNÉES – DATA
WAREHOUSE

22/10/12
Structures de Stockage de Données dans un Système Décisionnel

13

Data Mining

(Extraction de données)

Data Marts

(Magasins de données)

Synthèse

Data Warehouse

(Entrepôt de données)

Alimentation
Transformation

ODS

(Operational Data Store)

Extraction

Business Intelligence

Systèmes
Opérationnels

22/10/12
15

Définitions


ODS: Operational Data Store
o

o


Collection de données orientées sujet, volatiles, organisées pour le support d’un processus de décision ponctuel, en support à
une activité opérationnelle particulière
Donne la vision immédiate et intégrée de l’état d’un ou plusieurs systèmes opérants

Data Warehouse
o
o



Entrepôt de données spécifique au monde décisionnel, destiné principalement à analyser les leviers business potentiels
Collection de données orientées sujet, intégrées, non volatiles et historisées, organisées pour le support d’un processus d’aide à
la décision

Data Mart
o



Magasin de données orienté sujet, non volatile, mis à la disposition des utilisateurs dans un contexte décisionnel
décentralisé, ciblé pour un usage particulier

Data Mining
o

Ensemble d’outils, méthodes et technologies d’analyse mises en œuvre pour définir des tendances, pour segmenter
l’information ou pour établir des corrélations entre les données

Business Intelligence

22/10/12
16

Data Warehouse vs. ODS


Data Warehouse
o



Intégration des données hors ligne

ODS
o
o

Sauvegarde des données récentes

o



Intégration des données en ligne
Utilisé quand les données sont dispersées sur plusieurs supports de stockage, et on a besoin de les
rassembler

Exemple:
o

On veut avoir une vue unique sur un patient qu’on pourra modifier en ligne

o

Les données de ce patient sont disposées dans plusieurs bases de données (liste des
hospitalisations, liste des diagnostics, liste des achats pharmaceutiques…)

o

ODS peut être utilisé pour extraire ces données et les afficher

Business Intelligence

22/10/12
17

Data Warehouse vs. Data Mart


Data Warehouse
o

o

Combinaison de plusieurs Data Marts

o

Contient toutes les mesures et dimensions nécessaires

o



Dépôt de données au niveau entreprise

Assure l’intégrité de ces mêmes dimensions à travers tous les Data Marts

Data Mart
o
o

Utilisées pour des thèmes métier spécifiques

o



Ensemble de dimensions et mesures limitées

Construites à partir des données des entrepôts

Exemple
o

Business Intelligence

Dans une entreprise, il existe un seul entrepôt de données mais plusieurs magasins de données : Finance,
Vente…
22/10/12
18

Les Entrepôts de
Données
CHAPITRE 2:
ENTREPÔTS DE DONNÉES – DATA
WAREHOUSE

Business Intelligence

22/10/12
19

Pourquoi ne pas utiliser un SGBD?


SGBD et DW
o
o

Stockent des données différentes

o

Font l’objet de requêtes différentes



Besoin d’une organisation différente des données





Ont des objectifs différents et font des traitement différents

Doivent être physiquement séparés

SGBD


Mode de travail transactionnel (OLTP)



Permettent d’insérer, modifier, interroger des informations rapidement, efficacement et en sécurité

Objectifs:
1.

Sélectionner, ajouter, mettre à jour et supprimer des tuples

2.

Opérations rapides, faites par plusieurs utilisateurs simultanément

Business Intelligence

22/10/12
20

Entrepôt de Données : Objectifs


Regrouper, organiser des informations provenant de sources diverses



Les intégrer et les stocker pour donner à l’utilisateur une vue orientée métier



Retrouver et analyser l’information selon plusieurs critères



Transformer un système d’information qui avait une vocation de production en un SI
décisionnel



Doit contenir des informations cohérentes



Les données doivent pouvoir être séparées et combinées au moyen de toutes les mesures
possibles de l’activité



Le DW ne contient pas uniquement des données, mais aussi un ensemble d’outils de
requêtes, d’analyse et de présentation de l’information.

Business Intelligence

22/10/12
Entrepôt de Données : Définition
(Bill Inmon)

21

Le Data Warehouse est une collection de données
orientées sujet, intégrées, non volatiles et
historisées, organisées pour la prise de décision.

Business Intelligence

22/10/12
22

Caractéristiques d’un DW
Données Orientées Sujet


Le DW est orienté sujets, ce qui signifie que les données collectées doivent
être orientées métier, et donc triées par thème

Business Intelligence

Bases de données

Entrepôt de données

22/10/12
23

Caractéristiques d’un DW
Données Intégrées


Le DW est composé de données intégrées, c’est à dire qu’un « nettoyage »
préalable des données est nécessaire dans un souci de rationalisation et de
normalisation

Business Intelligence

Bases de données

Entrepôt de données

22/10/12
24

Caractéristiques d’un DW

Données Historisées et Non Volatiles


Les données du DW sont non volatiles, ce qui signifie qu’une donnée entrée
dans l’entrepôt l’est pour de bon et n’a pas vocation à être supprimée



Les données du DW doivent être historisées, donc datées

Business Intelligence

Bases de données

Entrepôt de données

22/10/12
25

Data Warehouse : ETL


BD

Outils d’alimentation pour
o

Extraire

o

Transformer

o

Charger dans un DW

les données sources

BD

BD

Extraction
Transformation

Chargement

DW
Business Intelligence

22/10/12
BD

BD

BD

Extraction

ETL : Extraction

26

Transformation

Chargement
DW



Extraction des données de leur environnement d’origine (base de données
relationnelles, fichiers plats…)



Besoin d’outils spécifiques pour accéder aux bases de production (requêtes sur des
BD hétérogènes)



Besoin d’une technique appropriée pour n’extraire que les données nécessaires
o



Données créées ou modifiées depuis la dernière opération d’extraction

Attention:
o

Business Intelligence

L’extraction ne doit pas perturber l’activité de production

22/10/12
BD

BD
Extraction

ETL : Transformation

BD

27

Transformation

Chargement
DW



Intégration des données
o

Homogénéisation du vocabulaire, structures, valeurs

o

Suppression et fusion des redondances

o

Épuration des données (suppression des données incohérentes)

o

Transformation des données dans un format cible

Business Intelligence

22/10/12
BD

ETL : Chargement

BD

BD

Extraction

28

Transformation

Chargement
DW



Opérations de calcul et d’agrégation des données
o



Mise en place de procédures de chargement (nocturne?) et de restauration (en cas de
problème)
o



Remplacement de certaines bases si aucune solution d’extraction satisfaisante n’est possible

Envisager la mise en place de systèmes redondants si la disponibilité du système ne peut être
interrompue

Prise en compte de la notion de granularité
o

Conservation des données détaillées

o

Possibilité d’agrégation des données pour la synthèse

Business Intelligence

22/10/12
BD

BD

BD

Extraction

DW : Métabase de Données

29

Transformation

Chargement
DW



Existence d’une métabase de données ou catalogue de métadonnées:
o

Contient des métadonnées du DW

o

Idéalement: Lieu de stockage unique des informations qui pilotent des processus dans
l’entrepôt

o

Détails sur :



Les processus de récupération/extraction dans les bases sources



La date du dernier chargement de l’entrepôt



Business Intelligence

Les données entreposées, leur format, leur signification, leur degré d’exactitude

L’historique des données sources et de celles de l’entrepôt

22/10/12
BD

BD
Extraction

DW : Structure (1/3)

BD

30

Transformation

Chargement
DW

1.

Directe simple :
o

Business Intelligence

On fait des mises à jour du
datawarehouse avec des laps
de temps importants.

22/10/12
BD

BD
Extraction

DW : Structure (2/3)

BD

31

Transformation

Chargement
DW

2.

Cumul simple :
o

Business Intelligence

On stocke les données de
chaque mise à jour, les mises
à jour étant fréquentes (par
exemple tous les jours) on a
un espace occupé
important, mais on ne perd
pas d’information.

22/10/12
BD

BD
Extraction

DW : Structure (3/3)

BD

32

Transformation

Chargement
DW

3.

Résumé déroulant :
o

Business Intelligence

À chaque mise à jour, on stocke des
données détaillées, et on synthétise les
anciennes données en fonction de leur
âge. Plus une donnée est vieille, moins
elle est détaillée.

22/10/12
33

Bibliographie
Supports de Cours


Karima Tekaya – « Informatique Décisionnelle » - INSAT



Fatma Baklouti – « Les entrepôts de données (Data Warehouses) » - INSAT



Hweichao Lu – « Online Analytical Processing (OLAP) » - CS157B-02 Spring 2007



Didier Donsez – « Systèmes d’information décisionnels (Data Warehouse / Data Mining) » - Université Joseph Fourier



Jacky Akoka et Isabelle Comyn-Wattiau – « Le Data Warehouse et les Systèmes Multidimentionnels » - Université de
Versailles

Livres


Ralph Kimball - « Concevoir et déployer un Data Warehouse » - Editions Eyrolles, 2000

Business Intelligence

22/10/12

Contenu connexe

Tendances

Business Intelligence
Business IntelligenceBusiness Intelligence
Business IntelligenceLilia Sfaxi
 
Conception datawarehouse
Conception datawarehouseConception datawarehouse
Conception datawarehouseHassane Dkhissi
 
BigData_Chp1: Introduction à la Big Data
BigData_Chp1: Introduction à la Big DataBigData_Chp1: Introduction à la Big Data
BigData_Chp1: Introduction à la Big DataLilia Sfaxi
 
Cours data warehouse
Cours data warehouseCours data warehouse
Cours data warehousekhlifi z
 
Business Intelligence : Transformer les données en information.
Business Intelligence : Transformer les données en information.Business Intelligence : Transformer les données en information.
Business Intelligence : Transformer les données en information.arnaudm
 
exercices business intelligence
exercices business intelligence exercices business intelligence
exercices business intelligence Yassine Badri
 
La Business Intelligence
La Business Intelligence La Business Intelligence
La Business Intelligence Khchaf Mouna
 
Business Intelligence : introduction to datawarehouse
Business Intelligence : introduction to datawarehouseBusiness Intelligence : introduction to datawarehouse
Business Intelligence : introduction to datawarehouseAlexandre Equoy
 
Etat de l’art approche et outils BI
Etat de l’art approche et outils BIEtat de l’art approche et outils BI
Etat de l’art approche et outils BISaid Sadik
 
Introduction à la Business Intelligence
Introduction à la Business Intelligence Introduction à la Business Intelligence
Introduction à la Business Intelligence Cynapsys It Hotspot
 
Business Intelligence au coeur de la décision
Business Intelligence au coeur de la décisionBusiness Intelligence au coeur de la décision
Business Intelligence au coeur de la décisionAmal Brioual
 
Intégration des données avec Talend ETL
Intégration des données avec Talend ETLIntégration des données avec Talend ETL
Intégration des données avec Talend ETLLilia Sfaxi
 
BigData_Chp4: NOSQL
BigData_Chp4: NOSQLBigData_Chp4: NOSQL
BigData_Chp4: NOSQLLilia Sfaxi
 
Cours Big Data Chap1
Cours Big Data Chap1Cours Big Data Chap1
Cours Big Data Chap1Amal Abid
 
Conception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data WarehouseConception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data WarehouseAbderrahmane Filali
 

Tendances (20)

Business intelligence
Business intelligenceBusiness intelligence
Business intelligence
 
Business Intelligence
Business IntelligenceBusiness Intelligence
Business Intelligence
 
Qu'est-ce qu'un ETL ?
Qu'est-ce qu'un ETL ?Qu'est-ce qu'un ETL ?
Qu'est-ce qu'un ETL ?
 
Conception datawarehouse
Conception datawarehouseConception datawarehouse
Conception datawarehouse
 
Td dw1
Td dw1Td dw1
Td dw1
 
BigData_Chp1: Introduction à la Big Data
BigData_Chp1: Introduction à la Big DataBigData_Chp1: Introduction à la Big Data
BigData_Chp1: Introduction à la Big Data
 
Cours data warehouse
Cours data warehouseCours data warehouse
Cours data warehouse
 
Business Intelligence : Transformer les données en information.
Business Intelligence : Transformer les données en information.Business Intelligence : Transformer les données en information.
Business Intelligence : Transformer les données en information.
 
exercices business intelligence
exercices business intelligence exercices business intelligence
exercices business intelligence
 
La Business Intelligence
La Business Intelligence La Business Intelligence
La Business Intelligence
 
Présentation bi 1.0
Présentation bi 1.0Présentation bi 1.0
Présentation bi 1.0
 
Business Intelligence : introduction to datawarehouse
Business Intelligence : introduction to datawarehouseBusiness Intelligence : introduction to datawarehouse
Business Intelligence : introduction to datawarehouse
 
Etat de l’art approche et outils BI
Etat de l’art approche et outils BIEtat de l’art approche et outils BI
Etat de l’art approche et outils BI
 
Introduction à la Business Intelligence
Introduction à la Business Intelligence Introduction à la Business Intelligence
Introduction à la Business Intelligence
 
Business Intelligence au coeur de la décision
Business Intelligence au coeur de la décisionBusiness Intelligence au coeur de la décision
Business Intelligence au coeur de la décision
 
Intégration des données avec Talend ETL
Intégration des données avec Talend ETLIntégration des données avec Talend ETL
Intégration des données avec Talend ETL
 
BigData_Chp4: NOSQL
BigData_Chp4: NOSQLBigData_Chp4: NOSQL
BigData_Chp4: NOSQL
 
Cours Big Data Chap1
Cours Big Data Chap1Cours Big Data Chap1
Cours Big Data Chap1
 
Conception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data WarehouseConception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data Warehouse
 
Le processus ETL (Extraction, Transformation, Chargement)
Le processus ETL (Extraction, Transformation, Chargement)Le processus ETL (Extraction, Transformation, Chargement)
Le processus ETL (Extraction, Transformation, Chargement)
 

En vedette

Internet mobile et réseaux sociaux : Quel rôle pour les opérateurs de télécom...
Internet mobile et réseaux sociaux : Quel rôle pour les opérateurs de télécom...Internet mobile et réseaux sociaux : Quel rôle pour les opérateurs de télécom...
Internet mobile et réseaux sociaux : Quel rôle pour les opérateurs de télécom...Benoit Hucafol
 
Quels usages pour les réseaux sociaux en entreprise ?
Quels usages pour les réseaux sociaux en entreprise ?Quels usages pour les réseaux sociaux en entreprise ?
Quels usages pour les réseaux sociaux en entreprise ?Timothée Mervillon
 
Intégrer les réseaux sociaux dans sa stratégie de communication
Intégrer les réseaux sociaux dans sa stratégie de communicationIntégrer les réseaux sociaux dans sa stratégie de communication
Intégrer les réseaux sociaux dans sa stratégie de communicationComunited
 
Modèle de plan de communication
Modèle de plan de communicationModèle de plan de communication
Modèle de plan de communicationKnitandb b
 
Plan de communication digitale
Plan de communication digitalePlan de communication digitale
Plan de communication digitaleTarik Zghinou
 

En vedette (6)

Internet mobile et réseaux sociaux : Quel rôle pour les opérateurs de télécom...
Internet mobile et réseaux sociaux : Quel rôle pour les opérateurs de télécom...Internet mobile et réseaux sociaux : Quel rôle pour les opérateurs de télécom...
Internet mobile et réseaux sociaux : Quel rôle pour les opérateurs de télécom...
 
Quels usages pour les réseaux sociaux en entreprise ?
Quels usages pour les réseaux sociaux en entreprise ?Quels usages pour les réseaux sociaux en entreprise ?
Quels usages pour les réseaux sociaux en entreprise ?
 
Intégrer les réseaux sociaux dans sa stratégie de communication
Intégrer les réseaux sociaux dans sa stratégie de communicationIntégrer les réseaux sociaux dans sa stratégie de communication
Intégrer les réseaux sociaux dans sa stratégie de communication
 
Data warehouse
Data warehouseData warehouse
Data warehouse
 
Modèle de plan de communication
Modèle de plan de communicationModèle de plan de communication
Modèle de plan de communication
 
Plan de communication digitale
Plan de communication digitalePlan de communication digitale
Plan de communication digitale
 

Similaire à Chp2 - Les Entrepôts de Données

Emna borgi mabroukachraita-datawarehouse
Emna borgi mabroukachraita-datawarehouseEmna borgi mabroukachraita-datawarehouse
Emna borgi mabroukachraita-datawarehouseEmna Borgi
 
Dwh udl 2014_2015_v0.22 - student
Dwh udl 2014_2015_v0.22 - studentDwh udl 2014_2015_v0.22 - student
Dwh udl 2014_2015_v0.22 - studentCarlos Sanin
 
Livre Blanc : comprendre les data-lakes
Livre Blanc : comprendre les data-lakesLivre Blanc : comprendre les data-lakes
Livre Blanc : comprendre les data-lakesConverteo
 
RGPD : comment la virtualisation des données vous garantit conformité, gouver...
RGPD : comment la virtualisation des données vous garantit conformité, gouver...RGPD : comment la virtualisation des données vous garantit conformité, gouver...
RGPD : comment la virtualisation des données vous garantit conformité, gouver...Denodo
 
Chapitre 1 les entrepôts de données
Chapitre 1 les entrepôts de donnéesChapitre 1 les entrepôts de données
Chapitre 1 les entrepôts de donnéesMohamed Mkaouar
 
DeciLogic, pourquoi mettre en place un SID ?
DeciLogic, pourquoi mettre en place un SID ?DeciLogic, pourquoi mettre en place un SID ?
DeciLogic, pourquoi mettre en place un SID ?Eric Mauvais
 
7 points clés à retenir pour aborder le data management de données clients...
7 points clés à retenir pour aborder le data management de données clients...7 points clés à retenir pour aborder le data management de données clients...
7 points clés à retenir pour aborder le data management de données clients...dibs-conseil
 
i-expo 2013 : présentation du Linked Enterprise Data par Antidot avec témoign...
i-expo 2013 : présentation du Linked Enterprise Data par Antidot avec témoign...i-expo 2013 : présentation du Linked Enterprise Data par Antidot avec témoign...
i-expo 2013 : présentation du Linked Enterprise Data par Antidot avec témoign...Antidot
 
Outils décisionnels : Data-Mining and Data-warehouse
Outils décisionnels : Data-Mining and Data-warehouseOutils décisionnels : Data-Mining and Data-warehouse
Outils décisionnels : Data-Mining and Data-warehouseBEL MRHAR Mohamed Amine
 
Session découverte de la Data Virtualization
Session découverte de la Data VirtualizationSession découverte de la Data Virtualization
Session découverte de la Data VirtualizationDenodo
 
La BI : Qu’est-ce que c’est ? A quoi ça sert ?
La BI : Qu’est-ce que c’est ? A quoi ça sert ?La BI : Qu’est-ce que c’est ? A quoi ça sert ?
La BI : Qu’est-ce que c’est ? A quoi ça sert ?Jean-Marc Dupont
 
Session découverte de la Data Virtualization
Session découverte de la Data VirtualizationSession découverte de la Data Virtualization
Session découverte de la Data VirtualizationDenodo
 
De la business intelligence au Big Data
De la business intelligence au Big DataDe la business intelligence au Big Data
De la business intelligence au Big DataTechnofutur TIC
 
Les systèmes d'information et tableau de bord
Les systèmes d'information et tableau de bordLes systèmes d'information et tableau de bord
Les systèmes d'information et tableau de bordTayssirLimem
 
Data Warehousing.pptx
Data Warehousing.pptxData Warehousing.pptx
Data Warehousing.pptxSamirAwad14
 
La Logical Data Fabric au secours de la connaissance client
La Logical Data Fabric au secours de la connaissance clientLa Logical Data Fabric au secours de la connaissance client
La Logical Data Fabric au secours de la connaissance clientDenodo
 
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...Denodo
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDenodo
 

Similaire à Chp2 - Les Entrepôts de Données (20)

Emna borgi mabroukachraita-datawarehouse
Emna borgi mabroukachraita-datawarehouseEmna borgi mabroukachraita-datawarehouse
Emna borgi mabroukachraita-datawarehouse
 
Dwh udl 2014_2015_v0.22 - student
Dwh udl 2014_2015_v0.22 - studentDwh udl 2014_2015_v0.22 - student
Dwh udl 2014_2015_v0.22 - student
 
Livre Blanc : comprendre les data-lakes
Livre Blanc : comprendre les data-lakesLivre Blanc : comprendre les data-lakes
Livre Blanc : comprendre les data-lakes
 
RGPD : comment la virtualisation des données vous garantit conformité, gouver...
RGPD : comment la virtualisation des données vous garantit conformité, gouver...RGPD : comment la virtualisation des données vous garantit conformité, gouver...
RGPD : comment la virtualisation des données vous garantit conformité, gouver...
 
Chapitre 1 les entrepôts de données
Chapitre 1 les entrepôts de donnéesChapitre 1 les entrepôts de données
Chapitre 1 les entrepôts de données
 
DeciLogic, pourquoi mettre en place un SID ?
DeciLogic, pourquoi mettre en place un SID ?DeciLogic, pourquoi mettre en place un SID ?
DeciLogic, pourquoi mettre en place un SID ?
 
IBM Data lake
IBM Data lakeIBM Data lake
IBM Data lake
 
7 points clés à retenir pour aborder le data management de données clients...
7 points clés à retenir pour aborder le data management de données clients...7 points clés à retenir pour aborder le data management de données clients...
7 points clés à retenir pour aborder le data management de données clients...
 
i-expo 2013 : présentation du Linked Enterprise Data par Antidot avec témoign...
i-expo 2013 : présentation du Linked Enterprise Data par Antidot avec témoign...i-expo 2013 : présentation du Linked Enterprise Data par Antidot avec témoign...
i-expo 2013 : présentation du Linked Enterprise Data par Antidot avec témoign...
 
Outils décisionnels : Data-Mining and Data-warehouse
Outils décisionnels : Data-Mining and Data-warehouseOutils décisionnels : Data-Mining and Data-warehouse
Outils décisionnels : Data-Mining and Data-warehouse
 
Session découverte de la Data Virtualization
Session découverte de la Data VirtualizationSession découverte de la Data Virtualization
Session découverte de la Data Virtualization
 
La BI : Qu’est-ce que c’est ? A quoi ça sert ?
La BI : Qu’est-ce que c’est ? A quoi ça sert ?La BI : Qu’est-ce que c’est ? A quoi ça sert ?
La BI : Qu’est-ce que c’est ? A quoi ça sert ?
 
Session découverte de la Data Virtualization
Session découverte de la Data VirtualizationSession découverte de la Data Virtualization
Session découverte de la Data Virtualization
 
De la business intelligence au Big Data
De la business intelligence au Big DataDe la business intelligence au Big Data
De la business intelligence au Big Data
 
Si décisionnel
Si décisionnelSi décisionnel
Si décisionnel
 
Les systèmes d'information et tableau de bord
Les systèmes d'information et tableau de bordLes systèmes d'information et tableau de bord
Les systèmes d'information et tableau de bord
 
Data Warehousing.pptx
Data Warehousing.pptxData Warehousing.pptx
Data Warehousing.pptx
 
La Logical Data Fabric au secours de la connaissance client
La Logical Data Fabric au secours de la connaissance clientLa Logical Data Fabric au secours de la connaissance client
La Logical Data Fabric au secours de la connaissance client
 
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data Virtualization
 

Plus de Lilia Sfaxi

chp1-Intro à l'urbanisation des SI.pdf
chp1-Intro à l'urbanisation des SI.pdfchp1-Intro à l'urbanisation des SI.pdf
chp1-Intro à l'urbanisation des SI.pdfLilia Sfaxi
 
Plan d'études_INSAT_2022_2023.pdf
Plan d'études_INSAT_2022_2023.pdfPlan d'études_INSAT_2022_2023.pdf
Plan d'études_INSAT_2022_2023.pdfLilia Sfaxi
 
Lab1-DB-Cassandra
Lab1-DB-CassandraLab1-DB-Cassandra
Lab1-DB-CassandraLilia Sfaxi
 
TP2-UML-Correction
TP2-UML-CorrectionTP2-UML-Correction
TP2-UML-CorrectionLilia Sfaxi
 
TP1-UML-Correction
TP1-UML-CorrectionTP1-UML-Correction
TP1-UML-CorrectionLilia Sfaxi
 
TP0-UML-Correction
TP0-UML-CorrectionTP0-UML-Correction
TP0-UML-CorrectionLilia Sfaxi
 
TD4-UML-Correction
TD4-UML-CorrectionTD4-UML-Correction
TD4-UML-CorrectionLilia Sfaxi
 
TD3-UML-Séquences
TD3-UML-SéquencesTD3-UML-Séquences
TD3-UML-SéquencesLilia Sfaxi
 
TD3-UML-Correction
TD3-UML-CorrectionTD3-UML-Correction
TD3-UML-CorrectionLilia Sfaxi
 
TD2 - UML - Correction
TD2 - UML - CorrectionTD2 - UML - Correction
TD2 - UML - CorrectionLilia Sfaxi
 
TD1-UML-correction
TD1-UML-correctionTD1-UML-correction
TD1-UML-correctionLilia Sfaxi
 
Android - Tp1 - installation et démarrage
Android - Tp1 -   installation et démarrageAndroid - Tp1 -   installation et démarrage
Android - Tp1 - installation et démarrageLilia Sfaxi
 
Android - Tp2 - Elements graphiques
Android - Tp2 - Elements graphiques Android - Tp2 - Elements graphiques
Android - Tp2 - Elements graphiques Lilia Sfaxi
 
Android - Tp3 - intents
Android - Tp3 -  intentsAndroid - Tp3 -  intents
Android - Tp3 - intentsLilia Sfaxi
 
Android - TPBonus - web services
Android - TPBonus - web servicesAndroid - TPBonus - web services
Android - TPBonus - web servicesLilia Sfaxi
 
Android - Tp4 - graphiques avancés
Android - Tp4 - graphiques avancésAndroid - Tp4 - graphiques avancés
Android - Tp4 - graphiques avancésLilia Sfaxi
 

Plus de Lilia Sfaxi (20)

chp1-Intro à l'urbanisation des SI.pdf
chp1-Intro à l'urbanisation des SI.pdfchp1-Intro à l'urbanisation des SI.pdf
chp1-Intro à l'urbanisation des SI.pdf
 
Plan d'études_INSAT_2022_2023.pdf
Plan d'études_INSAT_2022_2023.pdfPlan d'études_INSAT_2022_2023.pdf
Plan d'études_INSAT_2022_2023.pdf
 
Lab3-DB_Neo4j
Lab3-DB_Neo4jLab3-DB_Neo4j
Lab3-DB_Neo4j
 
Lab2-DB-Mongodb
Lab2-DB-MongodbLab2-DB-Mongodb
Lab2-DB-Mongodb
 
Lab1-DB-Cassandra
Lab1-DB-CassandraLab1-DB-Cassandra
Lab1-DB-Cassandra
 
TP2-UML-Correction
TP2-UML-CorrectionTP2-UML-Correction
TP2-UML-Correction
 
TP1-UML-Correction
TP1-UML-CorrectionTP1-UML-Correction
TP1-UML-Correction
 
TP0-UML-Correction
TP0-UML-CorrectionTP0-UML-Correction
TP0-UML-Correction
 
TD4-UML
TD4-UMLTD4-UML
TD4-UML
 
TD4-UML-Correction
TD4-UML-CorrectionTD4-UML-Correction
TD4-UML-Correction
 
TD3-UML-Séquences
TD3-UML-SéquencesTD3-UML-Séquences
TD3-UML-Séquences
 
TD3-UML-Correction
TD3-UML-CorrectionTD3-UML-Correction
TD3-UML-Correction
 
TD2 - UML - Correction
TD2 - UML - CorrectionTD2 - UML - Correction
TD2 - UML - Correction
 
TD1 - UML - DCU
TD1 - UML - DCUTD1 - UML - DCU
TD1 - UML - DCU
 
TD1-UML-correction
TD1-UML-correctionTD1-UML-correction
TD1-UML-correction
 
Android - Tp1 - installation et démarrage
Android - Tp1 -   installation et démarrageAndroid - Tp1 -   installation et démarrage
Android - Tp1 - installation et démarrage
 
Android - Tp2 - Elements graphiques
Android - Tp2 - Elements graphiques Android - Tp2 - Elements graphiques
Android - Tp2 - Elements graphiques
 
Android - Tp3 - intents
Android - Tp3 -  intentsAndroid - Tp3 -  intents
Android - Tp3 - intents
 
Android - TPBonus - web services
Android - TPBonus - web servicesAndroid - TPBonus - web services
Android - TPBonus - web services
 
Android - Tp4 - graphiques avancés
Android - Tp4 - graphiques avancésAndroid - Tp4 - graphiques avancés
Android - Tp4 - graphiques avancés
 

Chp2 - Les Entrepôts de Données

  • 1. Institut National des Sciences Appliquées et de Technologie Business Intelligence Chp2 – Les Entrepôts de Données (Data Warehouses) Dr. Lilia SFAXI GL5 - 2013-2014
  • 2. 2 Plan du Chapitre  Problématique des données dans un système décisionnel  Architecture fonctionnelle d’un système décisionnel  Les entrepôts de données Business Intelligence 22/10/12
  • 3. 3 Problématique des données dans un système décisionnel CHAPITRE 2: ENTREPÔTS DE DONNÉES – DATA WAREHOUSE Business Intelligence 22/10/12
  • 4. Systèmes Opérationnels vs. Décisionnels Systèmes opérationnels  Appelés OLTP (On-Line Transaction Processing) ou systèmes de gestion  Dédiés aux métiers de l’entreprise pour les assister dans leurs tâches de gestion quotidiennes  Utilisation des PGI (ou ERP) pour la gestion des données Business Intelligence 4 Systèmes décisionnels  Appelés OLAP (On-Line Analytical Processing)  Dédiés à la gestion de l’entreprise pour l’aider au pilotage de l’activité pour une vision transversale de l’entreprise  Utilisation des Entrepôts de données 22/10/12
  • 5. Données Opérationnelles vs. Décisionnelles Données Opérationnelles 5 Données Décisionnelles  Données détaillées  Données globalisées  Données récentes  Données historiques  Structure compréhensible et optimisée pour l’informaticien  Structure compréhensible par le décideur  Données réparties et non homogènes  Données centralisées, intégrées  Utilisateurs: Agents opérationnels, nombreux, et concurrents  Utilisateurs: Décideurs, analystes, peu nombreux et non concurrents Business Intelligence 22/10/12
  • 6. 6 Charge du Serveur de Données Business Intelligence 22/10/12
  • 7. 7 Solutions  Stockage de données : Data Warehouse o Base de données unique - vocabulaire unique o Contenu adapté aux besoins des décideurs   Niveau de détail bien étudié   Structure multidimentionnelle spéciale Données historiques Interrogation des données : o Outil interactif, convivial o Outil offrant des fonctions d’analyse   Roll-up, Drill-down  Calcul et comparaison  Analyse des tendances, relations et exceptions  Business Intelligence Tri des données Simulation 22/10/12
  • 8. 8 OLTP vs. OLAP  OLTP : On Line Transaction Processing o o  Système destiné à offrir le moyen à une application d’utiliser de façon transactionnelle un serveur de base de données. C’est un ensemble logiciel que l’utilisateur peut employer de façon interactive pour accéder aux données de la manière la plus rapide et simple possible. Exemple : Le 15/01/2012 à 13h12, le client X a retiré 500dt du compte Y OLAP : On Line Analytical Processing o Catégorie de technologie logicielle permettant aux analystes, managers et décideurs d’accéder de manière rapide, consistante et interactive à une large variété d’information, transformée pour refléter la dimension réelle d’une entreprise. o Exemple : Quel est le volume des ventes par produit et par région durant le deuxième trimestre de 2012? Business Intelligence 22/10/12
  • 9. OLTP vs. OLAP 9 OLTP - Orientée application (Application de production, de facturation…) Structure statique (E/R) - Orientée sujet (Client, produit, vendeur…) Structure évolutive (en étoile, en flocon) Données - Détaillées, non agrégées Récentes, mises à jour Accessibles de façon individuelle Normalisées - Résumées, recalculées, agrégées Historiques Accessibles de façon ensembliste Dénormalisées Vue - Relationnelle - Multidimensionnelle Requêtes/Utilisat ion - - - Simples, nombreuses, régulières, prévisibles, répétitives Sensibles aux performances (réponses immédiates) Accès à beaucoup de données - Complexes, peu nombreuses, irrégulières, non prévisibles Non sensibles aux performances (réponses moins rapides) Accès à beaucoup d’informations Utilisateurs - Agents opérationnels Nombreux (par milliers) Concurrents - Managers / Analystes Peu (par dizaines, centaines) Non concurrents Accès - Lecture / Écriture - Lecture Taille de la base - 100 MB à 1 GB - 100 GB à 1 TB Conception Business Intelligence - OLAP - - 22/10/12
  • 10. 10 Technologies Stockage et Gestion Efficace des Gros Volumes Entrepôt de Données (Data Warehouse) Traitements Complexes sur ces Volumes Serveur OLAP Application Cliente Fouille de Données (Data Mining) Business Intelligence 22/10/12
  • 11. Structure d’un Système Décisionnel Business Intelligence 11 22/10/12
  • 12. 12 Structures de Stockage de Données dans un Système Décisionnel Business Intelligence CHAPITRE 2: ENTREPÔTS DE DONNÉES – DATA WAREHOUSE 22/10/12
  • 13. Structures de Stockage de Données dans un Système Décisionnel 13 Data Mining (Extraction de données) Data Marts (Magasins de données) Synthèse Data Warehouse (Entrepôt de données) Alimentation Transformation ODS (Operational Data Store) Extraction Business Intelligence Systèmes Opérationnels 22/10/12
  • 14.
  • 15. 15 Définitions  ODS: Operational Data Store o o  Collection de données orientées sujet, volatiles, organisées pour le support d’un processus de décision ponctuel, en support à une activité opérationnelle particulière Donne la vision immédiate et intégrée de l’état d’un ou plusieurs systèmes opérants Data Warehouse o o  Entrepôt de données spécifique au monde décisionnel, destiné principalement à analyser les leviers business potentiels Collection de données orientées sujet, intégrées, non volatiles et historisées, organisées pour le support d’un processus d’aide à la décision Data Mart o  Magasin de données orienté sujet, non volatile, mis à la disposition des utilisateurs dans un contexte décisionnel décentralisé, ciblé pour un usage particulier Data Mining o Ensemble d’outils, méthodes et technologies d’analyse mises en œuvre pour définir des tendances, pour segmenter l’information ou pour établir des corrélations entre les données Business Intelligence 22/10/12
  • 16. 16 Data Warehouse vs. ODS  Data Warehouse o  Intégration des données hors ligne ODS o o Sauvegarde des données récentes o  Intégration des données en ligne Utilisé quand les données sont dispersées sur plusieurs supports de stockage, et on a besoin de les rassembler Exemple: o On veut avoir une vue unique sur un patient qu’on pourra modifier en ligne o Les données de ce patient sont disposées dans plusieurs bases de données (liste des hospitalisations, liste des diagnostics, liste des achats pharmaceutiques…) o ODS peut être utilisé pour extraire ces données et les afficher Business Intelligence 22/10/12
  • 17. 17 Data Warehouse vs. Data Mart  Data Warehouse o o Combinaison de plusieurs Data Marts o Contient toutes les mesures et dimensions nécessaires o  Dépôt de données au niveau entreprise Assure l’intégrité de ces mêmes dimensions à travers tous les Data Marts Data Mart o o Utilisées pour des thèmes métier spécifiques o  Ensemble de dimensions et mesures limitées Construites à partir des données des entrepôts Exemple o Business Intelligence Dans une entreprise, il existe un seul entrepôt de données mais plusieurs magasins de données : Finance, Vente… 22/10/12
  • 18. 18 Les Entrepôts de Données CHAPITRE 2: ENTREPÔTS DE DONNÉES – DATA WAREHOUSE Business Intelligence 22/10/12
  • 19. 19 Pourquoi ne pas utiliser un SGBD?  SGBD et DW o o Stockent des données différentes o Font l’objet de requêtes différentes  Besoin d’une organisation différente des données   Ont des objectifs différents et font des traitement différents Doivent être physiquement séparés SGBD  Mode de travail transactionnel (OLTP)  Permettent d’insérer, modifier, interroger des informations rapidement, efficacement et en sécurité Objectifs: 1. Sélectionner, ajouter, mettre à jour et supprimer des tuples 2. Opérations rapides, faites par plusieurs utilisateurs simultanément Business Intelligence 22/10/12
  • 20. 20 Entrepôt de Données : Objectifs  Regrouper, organiser des informations provenant de sources diverses  Les intégrer et les stocker pour donner à l’utilisateur une vue orientée métier  Retrouver et analyser l’information selon plusieurs critères  Transformer un système d’information qui avait une vocation de production en un SI décisionnel  Doit contenir des informations cohérentes  Les données doivent pouvoir être séparées et combinées au moyen de toutes les mesures possibles de l’activité  Le DW ne contient pas uniquement des données, mais aussi un ensemble d’outils de requêtes, d’analyse et de présentation de l’information. Business Intelligence 22/10/12
  • 21. Entrepôt de Données : Définition (Bill Inmon) 21 Le Data Warehouse est une collection de données orientées sujet, intégrées, non volatiles et historisées, organisées pour la prise de décision. Business Intelligence 22/10/12
  • 22. 22 Caractéristiques d’un DW Données Orientées Sujet  Le DW est orienté sujets, ce qui signifie que les données collectées doivent être orientées métier, et donc triées par thème Business Intelligence Bases de données Entrepôt de données 22/10/12
  • 23. 23 Caractéristiques d’un DW Données Intégrées  Le DW est composé de données intégrées, c’est à dire qu’un « nettoyage » préalable des données est nécessaire dans un souci de rationalisation et de normalisation Business Intelligence Bases de données Entrepôt de données 22/10/12
  • 24. 24 Caractéristiques d’un DW Données Historisées et Non Volatiles  Les données du DW sont non volatiles, ce qui signifie qu’une donnée entrée dans l’entrepôt l’est pour de bon et n’a pas vocation à être supprimée  Les données du DW doivent être historisées, donc datées Business Intelligence Bases de données Entrepôt de données 22/10/12
  • 25. 25 Data Warehouse : ETL  BD Outils d’alimentation pour o Extraire o Transformer o Charger dans un DW les données sources BD BD Extraction Transformation Chargement DW Business Intelligence 22/10/12
  • 26. BD BD BD Extraction ETL : Extraction 26 Transformation Chargement DW  Extraction des données de leur environnement d’origine (base de données relationnelles, fichiers plats…)  Besoin d’outils spécifiques pour accéder aux bases de production (requêtes sur des BD hétérogènes)  Besoin d’une technique appropriée pour n’extraire que les données nécessaires o  Données créées ou modifiées depuis la dernière opération d’extraction Attention: o Business Intelligence L’extraction ne doit pas perturber l’activité de production 22/10/12
  • 27. BD BD Extraction ETL : Transformation BD 27 Transformation Chargement DW  Intégration des données o Homogénéisation du vocabulaire, structures, valeurs o Suppression et fusion des redondances o Épuration des données (suppression des données incohérentes) o Transformation des données dans un format cible Business Intelligence 22/10/12
  • 28. BD ETL : Chargement BD BD Extraction 28 Transformation Chargement DW  Opérations de calcul et d’agrégation des données o  Mise en place de procédures de chargement (nocturne?) et de restauration (en cas de problème) o  Remplacement de certaines bases si aucune solution d’extraction satisfaisante n’est possible Envisager la mise en place de systèmes redondants si la disponibilité du système ne peut être interrompue Prise en compte de la notion de granularité o Conservation des données détaillées o Possibilité d’agrégation des données pour la synthèse Business Intelligence 22/10/12
  • 29. BD BD BD Extraction DW : Métabase de Données 29 Transformation Chargement DW  Existence d’une métabase de données ou catalogue de métadonnées: o Contient des métadonnées du DW o Idéalement: Lieu de stockage unique des informations qui pilotent des processus dans l’entrepôt o Détails sur :   Les processus de récupération/extraction dans les bases sources  La date du dernier chargement de l’entrepôt  Business Intelligence Les données entreposées, leur format, leur signification, leur degré d’exactitude L’historique des données sources et de celles de l’entrepôt 22/10/12
  • 30. BD BD Extraction DW : Structure (1/3) BD 30 Transformation Chargement DW 1. Directe simple : o Business Intelligence On fait des mises à jour du datawarehouse avec des laps de temps importants. 22/10/12
  • 31. BD BD Extraction DW : Structure (2/3) BD 31 Transformation Chargement DW 2. Cumul simple : o Business Intelligence On stocke les données de chaque mise à jour, les mises à jour étant fréquentes (par exemple tous les jours) on a un espace occupé important, mais on ne perd pas d’information. 22/10/12
  • 32. BD BD Extraction DW : Structure (3/3) BD 32 Transformation Chargement DW 3. Résumé déroulant : o Business Intelligence À chaque mise à jour, on stocke des données détaillées, et on synthétise les anciennes données en fonction de leur âge. Plus une donnée est vieille, moins elle est détaillée. 22/10/12
  • 33. 33 Bibliographie Supports de Cours  Karima Tekaya – « Informatique Décisionnelle » - INSAT  Fatma Baklouti – « Les entrepôts de données (Data Warehouses) » - INSAT  Hweichao Lu – « Online Analytical Processing (OLAP) » - CS157B-02 Spring 2007  Didier Donsez – « Systèmes d’information décisionnels (Data Warehouse / Data Mining) » - Université Joseph Fourier  Jacky Akoka et Isabelle Comyn-Wattiau – « Le Data Warehouse et les Systèmes Multidimentionnels » - Université de Versailles Livres  Ralph Kimball - « Concevoir et déployer un Data Warehouse » - Editions Eyrolles, 2000 Business Intelligence 22/10/12