Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Formatoion
SQL Server Integration
Services (SSIS) 2016
Noureddine DRISSI
Expert consultant bases de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Plan
• Présentation du formateur
• Mes formations sur Alphorm
• Connaissances préalables
• A propos de ce cours (objectifs)
• Publics concernés
• Plan du cours
• Les autres formations à suivre
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Le formateur
• Noureddine DRISSI
• Expertise dans le domaine des bases de données
• 16 années d’expérience sur tous les SGBD du marché (SQL Server, BI, Mysql, Oracle,
Postgresql, DB2, MongoDB, Apache Cassandra, CouchBase)
• Issue de l’environnement bancaire
• contact@ordb.fr
• Mon profil sur Alphorm : http://www.alphorm.com/auteur/noureddine-drissi
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Mes formations sur alphorm.com
MySQL, Administration
(1Z0-883)
MongoDB, administration
Oracle Database 11g DBA 1
(1Z0-052)
Administration SQL Server
2012 (70-462)
Le langage SQL
Administration PostgreSQL
PostgreSQL,
la haute disponibilité
Le langage PL/SQL
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Connaissances préalables
• Connaissances en administration de SQL Server
• Connaissances en base de données relationnelle
• Avoir suivi le cours administration SQL Server
2012
• http://www.alphorm.com/formation/formation-
administration-sql-server-2012-70-462
Administration SQL Server
2012 (70-462)
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
A propos de ce cours
• Objectifs :
• Comprendre les principes fondamentaux de la Business
Intelligence;
• Comprendre et utiliser le composant SSIS de la suite Microsoft SQL
Server 2016;
• Mettre en œuvre les outils et fonctionnalités de la technologie
SSIS;
• Maîtriser, administrer et configurer SSIS.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Publics concernés
• Chef de projet BI, développeurs et analyste, architectes et toute
personnes souhaitant apprendre à mettre en œuvre les techniques de
l’informatique décisionnelle ou de BI (Business Intelligence) avec les
outils de la suite Microsoft (SSIS, SSAS, SSRS).
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Plan du cours
• Module 01 : Présentation de la
formation
• Module 02 : Introduction à la Business
Intelligence
• Module 03 : Introduction à SSIS 2016
• Module 04 : Travailler avec SSIS
• Module 05 : Travailler avec les flux de
contrôle
• Module 06 : Travailler avec les flux de
données
• Module 07 : Travailler avec les
packages dynamiques
• Module 08 : ETL cas d'usage
• Module 09 : Travailler avec les
conteneurs
• Module 10 : Configuration des
packages
• Module 11 : Résolution de problèmes
• Module 12 : Administrer SSIS 2016
• Module 13 : Chargement d’un entrepôt
de donnée
• Module 14 : Conclusion
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Le formateur
• Noureddine DRISSI
• Expertise dans le domaine des bases de données
• 16 années d’expérience sur tous les SGBD du marché (SQL Server, BI, Mysql, Oracle,
Postgresql, DB2, MongoDB, Apache Cassandra, CouchBase)
• Issue de l’environnement bancaire
• contact@ordb.fr
• Mon profil sur Alphorm : http://www.alphorm.com/auteur/noureddine-drissi
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Présentation de la formation
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
GO
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
L’environnement
Noureddine DRISSI
Expert consultant bases de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Configurer l’environnement de travail
• Vérifier et configurer les pré-requis (système, matériel, logiciel)
• Installer le SGBDR SQL Server 2016 CTP 3.2
• Installer SSIS (SQL Server Integration Services)
• Installer SQL Server Management Studio
• Se connecter au moteur de base de données SQL Server
• Création de la base de données fact (script fact.sql)
• Se connecter au moteur SSIS
• Installer SSDT (SQL Server Data Tools)
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les prérequis matériel
• Mémoire
• Minimum :
• Éditions SQL Server 2016 CTP 3.2 : 2024 MO
• Processeur
• Minimum :
• Processeur x86 : 1,0 GHz, Processeur x64 : 1,4 GHz
• Recommandé : 2,0 GHz ou plus
• Disque
• Minimum :
• 30 GB disponible
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les prérequis logiciel
• OS
• Windows Server 2012 DataCenter ;
• .NET Framework 3.5.
• Les logiciels
• SQL Server 2016 CTP 3.2;
• SQL Server Management Studio;
• SSIS (SQL Server Integration Services);
• SSDT (SQL Server Data Tools).
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’il faut télécharger
• SQL Server 2016 Community Technology Preview 3.2
• https://www.microsoft.com/fr-fr/evalcenter/evaluate-sql-server-2016
• SQL Server Data Tools - Business Intelligence for Visual Studio 2015
• https://msdn.microsoft.com/fr-fr/mt186501
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Architecture de l’environnement
MSSQL01
IP: 192.168.1.101
OS: Windows Server 2012
C: (30 GB)
Rôle: serveur source OLTP
Réseau privé
MSSQL02
IP: 192.168.1.102
OS: Windows Server 2012
C: (30 GB)
Rôle: serveur ETL (SSIS+DQS)
MSSQL03
IP: 192.168.1.103
OS: Windows Server 2012
C: (30 GB)
Rôle: serveur cible DW (entrepôt)
- Moteur SQL SERVER 2016 CTP 3.2
- SSIS (SQL Server Integration Services)
- SSMS (SQL Server Management Studio)
- SSDT (SQL Server Data Tools)
- SSIS (SQL Server Integration Services)
- SSMS (SQL Server Management Studio)
- SSDT (SQL Server Data Tools)
- Moteur SQL SERVER 2016 CTP 3.2
- SSMS (SQL Server Management Studio)
Logiciels à
installer
Logiciels à
installer
gateway:
192.168.1.1
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Mes formations sur alphorm.com
MySQL, Administration
(1Z0-883)
MongoDB, administration
Oracle Database 11g DBA 1
(1Z0-052)
Administration SQL Server
2012 (70-462)
Le langage SQL
Administration PostgreSQL
PostgreSQL,
la haute disponibilité
Le langage PL/SQL
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Mes formations sur alphorm.com
MySQL, Administration
(1Z0-883)
MongoDB, administration
Oracle Database 11g DBA 1
(1Z0-052)
Administration SQL Server
2012 (70-462)
Le langage SQL
Administration PostgreSQL
PostgreSQL,
la haute disponibilité
Le langage PL/SQL
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Introduction à
la Business Intelligence
Noureddine DRISSI
Expert consultant bases de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Présenter les différents composants et terminologie d’une architecture
de BI
• Comprendre les raisons de la mise en place d’une solution de BI
• Comprendre la fonctionnalité de SSIS dans une architecture de BI
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Pourquoi la Business Intelligence ?
• Les systèmes transactionnels ne sont pas adaptés
• Répondre aux questions des décideurs
• Comprendre et analyser les données stockées
• Centralisation et normalisation des données
• Source unique d’information pour les décideurs
• Disposer de données déjà consolidées pour prendre des décisions
• Mesurer le résultat d’une activité ou d’une prise de décision
• Mettre à disposition des utilisateurs finaux des données facilement
exploitables
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les composants de la Business Intelligence
• SGBDR
• OLTP (OnLine Transaction Processing)
• LMD (INSERT, UPDATE, DELETE)
• OLAP ( Online Analytical Processing)
• SELECT, Language MDX, FONCTIONS ANALYTIQUES, CUBES, TABLEAUX
SSIS SSAS SSRS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Architecture de Business Intelligence
SGBDR OLTP
ETL
Back-End
Transactions
LMD
Transactions
LMD DW: Data Warehouse
Entrepôt de données
DW: Data Warehouse
Entrepôt de données
Données consolidées
normalisées/dénormalisées
Données consolidées
normalisées/dénormalisées
Front-End
SSISSSIS
Production
Clients SGBDR OLAP
Rapports SSRSRapports SSRS
Utilisateurs finauxUtilisateurs finaux
SGBDR OLTP
SGBDR OLTP
Cube multidimensionnel SSASCube multidimensionnel SSAS
1011000110
SQL Server Data
Quality Services
Microsoft PowerPivot
Microsoft Excel
• Data Mining Add-In
• PowerPivot Add-In
• MDS Add-In
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Une introduction à la Business Intelligence
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Présentation
et architecture SSIS
Introduction à SSIS 2016
Noureddine DRISSI
Expert consultant bases de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Décrire les principales fonctionnalités de SSIS
• Présenter les principaux outils SSIS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Connaissances préalables
• Connaissances en administration de SQL Server
• Connaissances en base de données relationnelle
• Avoir suivi le cours administration SQL Server
2012
• http://www.alphorm.com/formation/formation-
administration-sql-server-2012-70-462
Administration SQL Server
2012 (70-462)
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Connaissances préalables
• Connaissances en administration de SQL Server
• Connaissances en base de données relationnelle
• Avoir suivi le cours administration SQL Server
2012
• http://www.alphorm.com/formation/formation-
administration-sql-server-2012-70-462
Administration SQL Server
2012 (70-462)
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Fonctions SSIS
• Extraction de données à partir de la source
• BDD, Excel, Fichier plat, Access
• Transformation des données
• format des données, agrégation, validation,…
• Chargement des données vers une destination
• BDD, Excel, Fichier plat, Access
Source
Transformation
Source
Transformation
Cible Cible
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Terminologie SSIS
• Les packages
• unités de travail à exécuter
• Les tâches
• se chargent du travail dans les packages
• Les conteneurs
• objets qui fournissent la structure des packages
Tâche 1
Tâche 2
Tâche 3
Tâche 4
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Fonctionnement de SSIS
• Flux de contrôle
• Conteneurs
• Tâches
• Contraintes de précédences
• Flux de données
• Sources
• Transformations
• Destinations
Tâche 1
Tâche 2
Source 1
Transformation 1
Cible 1
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Architecture SSIS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
A propos de ce cours
• Objectifs :
• Comprendre les principes fondamentaux de la Business
Intelligence;
• Comprendre et utiliser le composant SSIS de la suite Microsoft SQL
Server 2016;
• Mettre en œuvre les outils et fonctionnalités de la technologie
SSIS;
• Maîtriser, administrer et configurer SSIS.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: présentation des outils
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Le fonctionnement de SSIS
• La terminologie SSIS
• Présentation des principaux outils SSIS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Assistant d’import
et d’export de données
Noureddine DRISSI
Expert consultant bases de données
Introduction à SSIS 2016
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Comprendre le fonctionnement de l’assistant
• Savoir créer un package SSIS d’exportation et d’importation de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Assistant SSIS
• Fonctions (simplet et rapide)
• Créer un package d’import/export de données
• Exporter des données à partir de
• BDD SQL Server, fichier plat, Access, feuille excel, fournisseurs OLE DB et
ADO.NET
• Importer des données
• BDD SQL Server, fichier plat, Access, feuille excel, fournisseurs OLE DB et
ADO.NET
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Assistant SSIS
• Fonctions
• Extraction/chargement simple de données (exemple: table vers Excel)
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Utilisation de l’assistant SSIS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’assistant d’import export SSIS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
L'outil de
développement SQL
Server Data Tools
(SSDT)
Noureddine DRISSI
Expert consultant bases de données
Introduction à SSIS 2016
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Publics concernés
• Chef de projet BI, développeurs et analyste, architectes et toute
personnes souhaitant apprendre à mettre en œuvre les techniques de
l’informatique décisionnelle ou de BI (Business Intelligence) avec les
outils de la suite Microsoft (SSIS, SSAS, SSRS).
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Présentation de SSDT
• Concepteur graphique pour la création de packages
• Permet de créer un flux de contrôle
• Permet de créer un flux de données
• Permet d’ajouter des gestionnaire d’événements
• Permet de gérer les connexions source et destination
• Afficher le contenu d’un package
• Exécution et le suivi de la progression de l’exécution d’un package
• Configuration des packages
• Déploiement des packages SSIS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les points forts de SSDT
• Développement rapide de scripts d’import / export
• Richesse des outils (tâches, connecteurs, transformateurs…)
• Visualisation des flux de données et utilisation de points
d’arrêts lors de l’exécution dans Visual Studio facilitant la
phase de Debug
• Facilité de déploiement et d’utilisation.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Assistant SSIS (SSDT)
Zone d’édition du
package
Flux de données
L’explorateur
de solution
Les propriétés
des objets
Le gestionnaire de
connecteurs
La Boîte à
outils SSIS
Paramètres de niveau
package
Gestionnaire
d’événements
Explorateur de
Package
Variables
Flux de contrôle
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Présentation de SSDT
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Création d’un projet SSIS avec SSDT
• Présentation et exploration de l’architecture de
développement SSDT
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Création
d’un package SSIS
avec SSDT
Travailler avec SSIS
Noureddine DRISSI
Expert consultant bases de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Plan du cours
• Module 01 : Présentation de la
formation
• Module 02 : Introduction à la Business
Intelligence
• Module 03 : Introduction à SSIS 2016
• Module 04 : Travailler avec SSIS
• Module 05 : Travailler avec les flux de
contrôle
• Module 06 : Travailler avec les flux de
données
• Module 07 : Travailler avec les
packages dynamiques
• Module 08 : ETL cas d'usage
• Module 09 : Travailler avec les
conteneurs
• Module 10 : Configuration des
packages
• Module 11 : Résolution de problèmes
• Module 12 : Administrer SSIS 2016
• Module 13 : Chargement d’un entrepôt
de donnée
• Module 14 : Conclusion
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Un package c’est quoi ?
• Description
• Constitue une unité de travail à exécuter
• Un package est constitué de tâches qui se chargent du travail
• Un package est structuré en conteneur
• Tâche : Les tâches se chargent du travail dans les packages.
SSIS comprend plusieurs tâches à l’aide desquelles on peut
exécuter diverses fonctions
• Conteneur: Les conteneurs sont les objets qui fournissent la structure des
packages. Ils prennent en charge les flux de contrôle répétitifs dans les packages et
permettent de regrouper des tâches et d’autres conteneurs en unités de travail
significatives.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Création et exécution d’un package
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Création et exécution d’un package SSIS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Mise à niveau de
packages vers SSIS
2016
Travailler avec SSIS
Noureddine DRISSI
Expert consultant bases de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Connaître les possibilités de mise à niveau des packages SSIS
• Savoir mettre à jour un package avec une version antérieure vers SSIS
2016
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Mise à niveau de packages vers SSIS 2016
• Assistant Mise à niveau de package SSIS
• Dans Outils de données SQL Server (SSDT)
• Dans SQL Server Management Studio
• À l'invite de commandes, en exécutant le fichier SSISUpgrade.exe
Sauvegarde des packages d’origine
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les mises à niveau possibles
• Pour les packages DTS SQL Server 2000:
• Pas de mise à niveau direct
• Pour les packages SSIS SQL Server 2005, 2008, 2012 ou 2014:
• En migrant vers le format SQL Server 2016
• Scripts:
• Migration automatique des scripts VSA vers VSTA
• Les scripts Microsoft ActiveX ne sont plus supportés et doivent êtres remplacés
SQL Server 2005 ou 2008
Integration Services
Assistant de migration de
package
SQL Server 2000
Package DTS
SQL Server 2005,
2008, 2012 ou 2014
Package SSIS
SQL Server 2016
Integration Services
Assistant de migration de
package
SQL Server 2016
Package SSIS
ActiveX Script Task (VBScript)
Script Task (VSTA)Script Task (VSA)
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les formations à suivre après SSIS
SQL Server Analysis Services
SQL Server Reporting Services
Le language MDX
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• La mise à niveau de package vers SSIS 2016
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Présentation de
l'architecture des
objets d'une solution
SSIS
Travailler avec les flux
de contrôle
Noureddine DRISSI
Expert consultant bases de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectif
• Comprendre et décrire la hiérarchie entre les objets d’une
solution SSIS
• Projets
• Packages
• Flux de contrôle
• Tâches / Conteneurs / Contraintes de précédence
• Gestionnaire de connexion
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Solution SSIS avec SSDT
Projet 1
Package Package
Paramètres de niveau projet
Paramètres de niveau package Paramètres de niveau package
Déploiement
Déploiement
Catalogue SSIS
Modèle de
déploiement
Gestionnaire connexion niveau projet
Gestionnaire de connexion
niveau package
Gestionnaire de connexion
niveau package
Projet 2
Projet N
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Hiérarchie des objets SSIS
Projet
Package 1
Gestionnaire connexion niveau projet
Gestionnaire de connexion de niveau package
Tâches
ConteneursConteneurs
Contraintes de précédence
Gestionnaire connexion niveau projet
Paramètres de niveau package
Paramètres de niveau projet
Package 2
…
Flux de contrôle
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Présentation et description de la hiérarchie entre les objets
d’une solution SSIS
• Projets
• Packages
• Flux de contrôle
• Tâches / Conteneurs / Contraintes de précédence
• Gestionnaire de connexion
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Qu'est-ce qu'un flux
de contrôle de
package ?
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux
de contrôle
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectif
• Expliquer et décrire comment SSIS contrôle les tâches dans
les packages au moyen d’un flux de contrôle de package
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Un flux de contrôle c’est quoi ?
• Tâches
• Les tâches se chargent du travail dans les packages.
La tâche de flux de données est la tâche la plus importante.
• Contraintes de précédences
• Les contraintes de précédence permettent de relier
les tâches entre elles
• Conteneurs
• Les conteneurs permettent de regrouper ou d’appliquer en boucle les tâches
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Expliquer et décrire comment SSIS contrôle les tâches dans les packages
au moyen d’un flux de contrôle de package
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Mise en œuvre d'un
flux de contrôle SSIS
avec SSDT
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux
de contrôle
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectif
• Créer et lier des tâches et des conteneurs avec les
contraintes de précédences dans un flux de contrôle de
package SSIS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Exemple de flux de contrôle de package
Tp_flux_controle.dtsx
Export de la table CLIENTS dans un fichier c:Export_Importtable_clients.txtExport de la table CLIENTS dans un fichier c:Export_Importtable_clients.txt
Affichage du message « Tâche 1 OK »Affichage du message « Tâche 1 OK »
Affichage du message « Tâche 1 dans le conteneur de sequence »Affichage du message « Tâche 1 dans le conteneur de sequence »
Affichage du message « Tâche 2 dans le conteneur de séquence »Affichage du message « Tâche 2 dans le conteneur de séquence »
Export de la table FOURNISSEURS dans le fichier c:Export_Importtable_fournisseurs.txtExport de la table FOURNISSEURS dans le fichier c:Export_Importtable_fournisseurs.txt
Affichage du message « Tâches du package « TP_flux_de_contrôle » terminée »Affichage du message « Tâches du package « TP_flux_de_contrôle » terminée »
Contraintes de précédence
Flux de contrôle
Package ( tp_flux_controle.dtsx )
Tâche de flux de données
Tâche de script
Conteneur de
séquence
1
2
3
1
2
4
5
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Mise en œuvre d’un flux de contrôle
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Création d’un flux de contrôle de package SSIS avec des
tâches, un conteneur et des contraintes de précédences
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Les tâches de flux de
contrôle
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux
de contrôle
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectif
• Présenter et décrire les principales tâche SSIS dans un flux
de contrôle
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les tâches d’un flux de contrôle
Tâche flux de données Tâches de bases de données
Tâches de système de fichier
et Internet
• Tâche de flux de données • Data Profiling
• Bulk Insert
• Execute SQL
• Execute T-SQL
• CDC Control
• File System
• FTP
• XML
• Web Service
• Send Mail
Tâches d’exécution de
package et de processus Tâches WMI Tâches de script personnalissé
• Execute Package
• Execute Process
• WMI Data Reader
• WMI Event Watcher
• Script
• Custom Tasks
Tâches de transfert de base
Tâches Analysis
Services
Tâches de maintenance de bases
de données
• Transfer Database
• Transfer Error Messages
• Transfer Jobs
• Transfer Logins
• Transfer Master Stored Procedures
• Transfer SQL Server Objects
• Analysis Services Execute DDL
• Analysis Services Processing
• Data Mining Query
• Back Up Database
• Check Database Integrity
• History Cleanup
• Maintenance Cleanup
• Notify Operator
• Rebuild Index
• Reorganize Index
• Shrink Database
• Update Statistics
La plus importante
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Présentation et description des principales tâches SSIS dans un flux de
contrôle
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Les contraintes de
précédence
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux
de contrôle
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Comprendre et décrire la notion de contrainte de précédence
• Comprendre et utiliser les différents types de contraintes de précédence
entre les tâches dans un package
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les contraintes de précédence
• Séquençage des tâches
• Trois résultats possibles
• Succès
• Echec
• Dernière étape
• Plusieurs contraintes
• AND logique
• OR logique
Tâche 1
Tâche 3Tâche 2
Succes
Echec
Dernière étape
Tâche 4
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Présentation de la formation
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’utilisation des contraintes de précédences dans un
package SSIS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Utiliser un conteneur de
séquence pour
organiser un package
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les
conteneurs
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectif
• Décrire, comprendre et utiliser le conteneur de séquence
dans une tâche de flux de contrôle.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les différents conteneurs
• Conteneur de séquence
• Conteneur de boucle For
• Conteneur de boucle Foreach
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Le conteneur de séquence
• Fonctionnement
• Permet d’organiser les tâches dans un flux de contrôle.
• Ne modifie pas la trame du package.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Le conteneur de séquence
Conteneur de
séquence
Conteneur de
séquence
TâchesTâchesTâchesTâches
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier : Travailler avec le conteneur de séquence
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
GO
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
GO
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectif
• Décrire, comprendre et utiliser le conteneur de boucle For
dans un package SSIS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Le conteneur de boucles For
• Fonctionnement
• Exécute une partie des tâches de flux de contrôle de
façon répétitive en testant une condition.
• Proche d’une boucle en C# ou en C.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Le conteneur de boucle For
Conteneur de
boucle For
Conteneur de
boucle For
TâchesTâches
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier : Travailler avec le conteneur de boucle For
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
L’environnement
Noureddine DRISSI
Expert consultant bases de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
L’environnement
Noureddine DRISSI
Expert consultant bases de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectif
• Décrire, comprendre et utiliser le conteneur de boucle
Foreach pour effectuer une boucle dans une collection
d’objet
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Le conteneur de boucle Foreach
• Fonctionnement
• Exécute un flux de contrôle de façon répétitive à l'aide
d'un énumérateur.
• Utilise un système d’itération pour chaque item d’une
collection.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Le conteneur de boucle Foreach
• Les collections
• Chaque fichier dans un dossier donné correspondant à un type de
fichier spécifié.
• Chaque ligne de la première table dans un recordset ADO ou un
Dataset ADO.NET.
• Chaque ligne de toutes les tables dans un dataset ADO.NET.
• Chaque élément d’une variable contenant une collection.
• Chaque nœud (node) dans une liste de nœud (nodelist) XML.
• Chaque objet dans une collection SMO (SQL Server Management
Objects).
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Le conteneur de boucle Foreach
Conteneur de
boucle Foreach
Conteneur de
boucle Foreach
TâcheTâche
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Configurer l’environnement de travail
• Vérifier et configurer les pré-requis (système, matériel, logiciel)
• Installer le SGBDR SQL Server 2016 CTP 3.2
• Installer SSIS (SQL Server Integration Services)
• Installer SQL Server Management Studio
• Se connecter au moteur de base de données SQL Server
• Création de la base de données fact (script fact.sql)
• Se connecter au moteur SSIS
• Installer SSDT (SQL Server Data Tools)
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’utilisation du conteneur de boucle Foreach pour effectuer
une boucle dans une collection d’objet.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Extraction de données
à partir d’une source
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Comprendre et décrire un flux de données
• Utiliser une tâche de flux de données pour extraire une
source
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Qu’est-ce qu’une tâche de flux de données ?
• Source
• Connexion à une source de données à partir de laquelle vous avez
chargé des données (BDD, fichier plat, Excel, Access, …)
• Transformation
• Il peut s’agir d’un simple mappage de colonnes ou d’une opération
de modification et de nettoyage complexe
• Destination
• Connexion à la destination de données dans laquelle vous avez
chargé les données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les sources de données
• Les sources de données dans un flux de données:
• Gestionnaire de connexion
• Tables, vues, ou requête (la clause where est supportée)
• ADO.NET
• OLE DB
• CDC Source
• SQL Server
• Excel
• Fichier plat
• XML
• Raw file
• Personnalisé
Bases Fichier Autre ?
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les prérequis matériel
• Mémoire
• Minimum :
• Éditions SQL Server 2016 CTP 3.2 : 2024 MO
• Processeur
• Minimum :
• Processeur x86 : 1,0 GHz, Processeur x64 : 1,4 GHz
• Recommandé : 2,0 GHz ou plus
• Disque
• Minimum :
• 30 GB disponible
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’extraction de données à partir d’une source dans un flux
de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Chargement de
données vers une
destination
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Comprendre et décrire un flux de données de chargement
• Utiliser une tâche de flux de données pour charger des
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Rappel: tâche de flux de données
• Source
• Connexion à une source de données à partir de laquelle vous avez
chargé des données (BDD, fichier plat, Excel, Access, …)
• Transformation
• Il peut s’agir d’un simple mappage de colonnes ou d’une opération
de modification et de nettoyage complexe
• Destination
• Connexion à la destination de données dans laquelle vous avez
chargé les données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Destination des données
• Destination pour un flux de données:
• Gestionnaire de connexion:
• Table
• Vue • ADO.NET
• OLE DB
• SQL Server
• SQL Server Compact
• Excel
• Fichier plat
• Raw file
• Personnalisé
Base Fichier Autre ?
• Data mining model training
• Dimension processing
• Partition processing
SSAS
• DataReader
• Recordset
Rowset
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Chargement de données vers une destination
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les prérequis logiciel
• OS
• Windows Server 2012 DataCenter ;
• .NET Framework 3.5.
• Les logiciels
• SQL Server 2016 CTP 3.2;
• SQL Server Management Studio;
• SSIS (SQL Server Integration Services);
• SSDT (SQL Server Data Tools).
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les prérequis logiciel
• OS
• Windows Server 2012 DataCenter ;
• .NET Framework 3.5.
• Les logiciels
• SQL Server 2016 CTP 3.2;
• SQL Server Management Studio;
• SSIS (SQL Server Integration Services);
• SSDT (SQL Server Data Tools).
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Décrire les opérations de transformations de lignes
• Utiliser un flux de données avec la transformation
conversion de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation de lignes
Les tâches de transformation de lignes
• Conversion de données
• Table de caractères
• Copie de colonnes
• Colonne dérivée
• Exportation de colonne
• Importation de colonne
• Commande OLE DB
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Changer le type de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Changement du type dans un flux de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Création et remplacement
de colonnes avec la
transformation de
colonnes dérivée
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’il faut télécharger
• SQL Server 2016 Community Technology Preview 3.2
• https://www.microsoft.com/fr-fr/evalcenter/evaluate-sql-server-2016
• SQL Server Data Tools - Business Intelligence for Visual Studio 2015
• https://msdn.microsoft.com/fr-fr/mt186501
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation de lignes
Les tâches de transformation de lignes
• Colonne dérivée
• Conversion de données (vu)
• Table de caractères
• Copie de colonnes
• Exportation de colonne
• Importation de colonne
• Commande OLE DB
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Colonne dérivée
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Utiliser un flux de données avec la transformation de
colonnes dérivée
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Travailler avec la
transformation de
commande OLE DB
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Décrire la transformation de commande OLE DB
• Utiliser un flux de données avec la transformation de
commande OLE DB
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Architecture de l’environnement
MSSQL01
IP: 192.168.1.101
OS: Windows Server 2012
C: (30 GB)
Rôle: serveur source OLTP
Réseau privé
MSSQL02
IP: 192.168.1.102
OS: Windows Server 2012
C: (30 GB)
Rôle: serveur ETL (SSIS+DQS)
MSSQL03
IP: 192.168.1.103
OS: Windows Server 2012
C: (30 GB)
Rôle: serveur cible DW (entrepôt)
- Moteur SQL SERVER 2016 CTP 3.2
- SSIS (SQL Server Integration Services)
- SSMS (SQL Server Management Studio)
- SSDT (SQL Server Data Tools)
- SSIS (SQL Server Integration Services)
- SSMS (SQL Server Management Studio)
- SSDT (SQL Server Data Tools)
- Moteur SQL SERVER 2016 CTP 3.2
- SSMS (SQL Server Management Studio)
Logiciels à
installer
Logiciels à
installer
gateway:
192.168.1.1
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation de commande OLE DB
• La transformation de commande OLE DB exécute une
instruction SQL pour chaque ligne d'un flux de données.
Par exemple, vous pouvez exécuter une instruction SQL
qui insère, met à jour ou supprime des lignes d'une table
de base de données.
• Cette transformation est en général utilisée pour
l'exécution de requêtes paramétrables.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
•Atelier: Transformation de commande OLE DB
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’utilisation de la transformation de commande OLE DB
dans un flux de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Travailler avec la
transformation de copie
de colonnes et table de
caractères
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Décrire la transformation de copie de colonnes et table de
caractères
• Utiliser un flux de données avec la transformation de
copie de colonnes et table de caractères
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: mise en place de l’environnement
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation de copie de colonnes
• La tâche de transformation de copie de colonne crée de
nouvelles colonnes en copiant des colonnes existantes.
Ces copies peuvent ensuite êtres utilisées pour d’autres
tâches de transformation.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation de table de caractères
• La tâche de transformation de la table de caractères
permet d’effectuer des modifications sur les colonnes
contenant des chaînes de caractères. La colonne modifiée
peut soit remplacé celle utilisé avant la transformation soit
être ajoutée en tant que nouvelle colonne.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
•Atelier: Transformation de copie de colonnes et table de caractères
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Utilisation de la transformation de copie de colonnes et
table de caractères
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Travailler avec la
transformation
d’agrégation et de tri
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Décrire la transformation d’agrégation et de tri
• Utiliser un flux de données avec la transformation
d’agrégation et de tri
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformations d’ensemble de lignes
Transformations d’ensemble de lignes
• Agrégation
• Tri
• Tableau croisé dynamique
• Echantillonnage du pourcentage
• Echantillonnage de lignes
• Pivot
• Unpivot
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Identification et installation des pré-requis
• Système, matériel et logiciel
• Installation des composants Microsoft
• MSSQL Server, SSIS, SSMS et SSDT
• Création de la base de données de travail fact
• Vérification de l’environnement
• MSSQL Server, SSIS, SSMS et SSDT
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Identification et installation des pré-requis
• Système, matériel et logiciel
• Installation des composants Microsoft
• MSSQL Server, SSIS, SSMS et SSDT
• Création de la base de données de travail fact
• Vérification de l’environnement
• MSSQL Server, SSIS, SSMS et SSDT
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Travailler avec la transformation d’agrégation et de tri
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’utilisation de la transformation d’agrégation et de tri
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Travailler avec la
transformation
échantillonnage du
pourcentage et de lignes
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Décrire la transformation échantillonnage du pourcentage
et de lignes
• Utiliser un flux de données avec la transformation
échantillonnage du pourcentage et de lignes
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformations d’ensemble de lignes
Transformations d’ensemble de lignes
• Agrégation (vu)
• Tri (vu)
• Tableau croisé dynamique
• Echantillonnage du pourcentage
• Echantillonnage de lignes
• Pivot
• Unpivot
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation échantillonnage du pourcentage
• La tâche de transformation de l’échantillonnage du
pourcentage permet de créer un échantillon d’un flux de
données.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation échantillonnage de lignes
• Similaire à la tâche de l’échantillonnage du pourcentage.
• Pour définir la taille du flux de données à échantillonné,
on détermine un nombre de lignes.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Introduction à
la Business Intelligence
Noureddine DRISSI
Expert consultant bases de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Utilisation de la transformation échantillonnage du
pourcentage et de lignes dans un flux de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Les autres tâches de
transformation d’ensemble
de lignes
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectif
• Décrire les autres tâches de transformation d’ensemble de
lignes
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformations d’ensemble de lignes
Transformations d’ensemble de lignes
• Agrégation (vu)
• Tri (vu)
• Tableau croisé dynamique
• Echantillonnage du pourcentage (vu)
• Echantillonnage de lignes (vu)
• Pivot
• Unpivot
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Décrire les autres tâches de transformation d’ensemble de
lignes
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Auditer les données avec la
transformation de calcul
du nombre de lignes
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Présenter les différents composants et terminologie d’une architecture
de BI
• Comprendre les raisons de la mise en place d’une solution de BI
• Comprendre la fonctionnalité de SSIS dans une architecture de BI
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformations d’audit
La transformation des données
• Nombre de lignes
• Audit
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation de calcul du nombre de lignes
• La transformation de calcul du nombre de lignes compte
les lignes à mesure qu'elles passent par un flux de
données et stocke le nombre final dans une variable.
• Précisions:
• Stocke la valeur de nombre de lignes dans la variable
uniquement après que la dernière ligne est passée par la
transformation
• Ne prend pas en charge de sortie d'erreur
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Travailler avec Transformation de calcul du nombre de lignes
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Utilisation de la transformation de calcul du nombre de
lignes dans un flux de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Auditer les données
avec la transformation
d’audit
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Pourquoi la Business Intelligence ?
• Les systèmes transactionnels ne sont pas adaptés
• Répondre aux questions des décideurs
• Comprendre et analyser les données stockées
• Centralisation et normalisation des données
• Source unique d’information pour les décideurs
• Disposer de données déjà consolidées pour prendre des décisions
• Mesurer le résultat d’une activité ou d’une prise de décision
• Mettre à disposition des utilisateurs finaux des données facilement
exploitables
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformations d’audit
La transformation des données
• Nombre de lignes (vu)
• Audit
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation d’audit
• La tâche de transformation d’audit permet d’ajouter des
colonnes contenant des informations sur l’exécution du
package au flux de données.
• Stockage des informations d’audit
• Table avec des colonnes d’audit ou fichier (plat/excel)
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Travailler avec Transformation d’audit
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Utilisation de la transformation d’audit dans un flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Séparer des données avec
la transformation de
fractionnement
conditionnel
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Les composants de la Business Intelligence
• SGBDR
• OLTP (OnLine Transaction Processing)
• LMD (INSERT, UPDATE, DELETE)
• OLAP ( Online Analytical Processing)
• SELECT, Language MDX, FONCTIONS ANALYTIQUES, CUBES, TABLEAUX
SSIS SSAS SSRS
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformations de fractionnement
et de jointure
La transformation des données
• Fractionnement conditionnel
• Recherche
• Union totale
• De fusion
• De jointure de fusion
• Multidiffusion
• Cache
• …
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation de fractionnement conditionnel
• La transformation de fractionnement conditionnel peut
aiguiller les lignes de données vers différentes sorties,
suivant le contenu des données.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
•Atelier: Transformation de fractionnement conditionnel
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’utilisation de la transformation de fractionnement dans
un flux de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Joindre les données avec
la transformation de
recherche
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Décrire la transformation de recherche
• Utiliser un flux de données avec la transformation de
recherche
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Architecture de Business Intelligence
SGBDR OLTP
ETL
Back-End
Transactions
LMD
Transactions
LMD DW: Data Warehouse
Entrepôt de données
DW: Data Warehouse
Entrepôt de données
Données consolidées
normalisées/dénormalisées
Données consolidées
normalisées/dénormalisées
Front-End
SSISSSIS
Production
Clients SGBDR OLAP
Rapports SSRSRapports SSRS
Utilisateurs finauxUtilisateurs finaux
SGBDR OLTP
SGBDR OLTP
Cube multidimensionnel SSASCube multidimensionnel SSAS
1011000110
SQL Server Data
Quality Services
Microsoft PowerPivot
Microsoft Excel
• Data Mining Add-In
• PowerPivot Add-In
• MDS Add-In
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Architecture de Business Intelligence
SGBDR OLTP
ETL
Back-End
Transactions
LMD
Transactions
LMD DW: Data Warehouse
Entrepôt de données
DW: Data Warehouse
Entrepôt de données
Données consolidées
normalisées/dénormalisées
Données consolidées
normalisées/dénormalisées
Front-End
SSISSSIS
Production
Clients SGBDR OLAP
Rapports SSRSRapports SSRS
Utilisateurs finauxUtilisateurs finaux
SGBDR OLTP
SGBDR OLTP
Cube multidimensionnel SSASCube multidimensionnel SSAS
1011000110
SQL Server Data
Quality Services
Microsoft PowerPivot
Microsoft Excel
• Data Mining Add-In
• PowerPivot Add-In
• MDS Add-In
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Travailler avec la transformation de recherche
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’utilisation de la transformation de recherche dans un flux
de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Combiner des données
d’entrées multiples avec
la transformation
d’union totale
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Décrire la transformation d’union totale
• Utiliser un flux de données avec la transformation d’union
totale
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformations de fractionnement
et de jointure
La transformation des données
• Fractionnement conditionnel (vu)
• Recherche (vu)
• Union totale
• De fusion
• De jointure de fusion
• Multidiffusion
• Cache
• …
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation d’union totale
• La transformation d’union totale permet de fusionner
autant de flux de données que l’on souhaite.
• Les données non pas besoin d’être triées.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Travailler avec la transformation d’union totale
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’utilisation de la transformation d’union totale dans un
flux de données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Travailler avec les
transformations de
fusion et jointure de
fusion
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Décrire les transformations de fusion et jointure de fusion
• Utiliser un flux de données avec les transformations de
fusion et jointure de fusion
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformations de fractionnement
et de jointure
La transformation des données
• Fractionnement conditionnel (vu)
• Recherche (vu)
• Union totale (vu)
• De fusion
• De jointure de fusion
• Multidiffusion
• Cache
• …
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation de fusion
• La transformation de fusion permet la fusion de deux flux
de données.
• Les flux de données doivent être triées de la même manière.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation de jointure de fusion
• La transformation de jointure de fusion permet la fusion
de deux flux de données ensemble en exécutant une
jointure INNER, LEFT ou FULL.
• Les flux de données doivent être triées de la même manière.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Travailler avec les transformations de fusion et jointure de fusion
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’utilisation des transformations de fusion et jointure de
fusion
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Travailler avec la
transformation
multidiffusion
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectifs
• Décrire la transformation multidiffusion
• Utiliser un flux de données avec la transformation
multidiffusion
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformations de fractionnement
et de jointure
La transformation des données
• Fractionnement conditionnel (vu)
• Recherche (vu)
• Union totale (vu)
• De fusion (vu)
• De jointure de fusion (vu)
• Multidiffusion
• Cache
• …
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation multidiffusion
• La transformation multidiffusion permet d’utiliser un
unique flux de données et de l’utiliser comme source pour
de nombreux autres flux de données.
• Copie les données et l’envoi vers plusieurs directions.
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Atelier: Travailler avec la transformation multidiffusion
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• L’utilisation de la transformation multidiffusion
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Site : http://www.alphorm.com
Blog : http://www.alphorm.com/blog
Les autres groupes de
transformation de
données et les tâches
associées
Noureddine DRISSI
Expert consultant bases de données
Travailler avec les flux de
données
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Objectif
• Présenter les autres groupes de transformation de
données et les tâches associées
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Transformation de lignes
Transformations d’ensemble de ligne
Transformations d’audit
Transformations
Business Intelligence
Transformations personnalisées
La transformation des données
• Audit
• Nombre de lignes
• Agrégation
• Tri
• Echantillonage du pourcentage
• Echantillonage de lignes
• Tableau dynamique croisé
• Pivot
• Unpivot
• Table caractère
• Copie de colonnes
• Conversion de données
• Colonne dérivée
• Exportation de colonne
• Importation de colonne
• Commande OLE DB
• De dimension à variation lente
• De regroupement probable
• De recherche floue
• D’extraction à terme
• De recherche à terme
• De requête d’exploration de
données
• Nettoyage de données
• Composant script
• Composant personnalisé
Transformations de fractionnement
et de jointure
• Fractionnement conditionnel
• Recherche
• Union totale
• De fusion
• De jointure de fusion
• Multidiffusion
• Cache
• CDC
Formation Microsoft SQL Server 2016 Business Intelligence (SSIS) alphorm.com™©
Ce qu’on a couvert
• Une introduction à la Business Intelligence

Alphorm.com Formation Microsoft SQL Server 2016 Business Intelligence (SSIS)

  • 1.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Formatoion SQL Server Integration Services (SSIS) 2016 Noureddine DRISSI Expert consultant bases de données
  • 2.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Plan • Présentation du formateur • Mes formations sur Alphorm • Connaissances préalables • A propos de ce cours (objectifs) • Publics concernés • Plan du cours • Les autres formations à suivre
  • 3.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Le formateur • Noureddine DRISSI • Expertise dans le domaine des bases de données • 16 années d’expérience sur tous les SGBD du marché (SQL Server, BI, Mysql, Oracle, Postgresql, DB2, MongoDB, Apache Cassandra, CouchBase) • Issue de l’environnement bancaire • contact@ordb.fr • Mon profil sur Alphorm : http://www.alphorm.com/auteur/noureddine-drissi
  • 4.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Mes formations sur alphorm.com MySQL, Administration (1Z0-883) MongoDB, administration Oracle Database 11g DBA 1 (1Z0-052) Administration SQL Server 2012 (70-462) Le langage SQL Administration PostgreSQL PostgreSQL, la haute disponibilité Le langage PL/SQL
  • 5.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Connaissances préalables • Connaissances en administration de SQL Server • Connaissances en base de données relationnelle • Avoir suivi le cours administration SQL Server 2012 • http://www.alphorm.com/formation/formation- administration-sql-server-2012-70-462 Administration SQL Server 2012 (70-462)
  • 6.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© A propos de ce cours • Objectifs : • Comprendre les principes fondamentaux de la Business Intelligence; • Comprendre et utiliser le composant SSIS de la suite Microsoft SQL Server 2016; • Mettre en œuvre les outils et fonctionnalités de la technologie SSIS; • Maîtriser, administrer et configurer SSIS.
  • 7.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Publics concernés • Chef de projet BI, développeurs et analyste, architectes et toute personnes souhaitant apprendre à mettre en œuvre les techniques de l’informatique décisionnelle ou de BI (Business Intelligence) avec les outils de la suite Microsoft (SSIS, SSAS, SSRS).
  • 8.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Plan du cours • Module 01 : Présentation de la formation • Module 02 : Introduction à la Business Intelligence • Module 03 : Introduction à SSIS 2016 • Module 04 : Travailler avec SSIS • Module 05 : Travailler avec les flux de contrôle • Module 06 : Travailler avec les flux de données • Module 07 : Travailler avec les packages dynamiques • Module 08 : ETL cas d'usage • Module 09 : Travailler avec les conteneurs • Module 10 : Configuration des packages • Module 11 : Résolution de problèmes • Module 12 : Administrer SSIS 2016 • Module 13 : Chargement d’un entrepôt de donnée • Module 14 : Conclusion
  • 9.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Le formateur • Noureddine DRISSI • Expertise dans le domaine des bases de données • 16 années d’expérience sur tous les SGBD du marché (SQL Server, BI, Mysql, Oracle, Postgresql, DB2, MongoDB, Apache Cassandra, CouchBase) • Issue de l’environnement bancaire • contact@ordb.fr • Mon profil sur Alphorm : http://www.alphorm.com/auteur/noureddine-drissi
  • 10.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Présentation de la formation
  • 11.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© GO
  • 12.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog L’environnement Noureddine DRISSI Expert consultant bases de données
  • 13.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Configurer l’environnement de travail • Vérifier et configurer les pré-requis (système, matériel, logiciel) • Installer le SGBDR SQL Server 2016 CTP 3.2 • Installer SSIS (SQL Server Integration Services) • Installer SQL Server Management Studio • Se connecter au moteur de base de données SQL Server • Création de la base de données fact (script fact.sql) • Se connecter au moteur SSIS • Installer SSDT (SQL Server Data Tools)
  • 14.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les prérequis matériel • Mémoire • Minimum : • Éditions SQL Server 2016 CTP 3.2 : 2024 MO • Processeur • Minimum : • Processeur x86 : 1,0 GHz, Processeur x64 : 1,4 GHz • Recommandé : 2,0 GHz ou plus • Disque • Minimum : • 30 GB disponible
  • 15.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les prérequis logiciel • OS • Windows Server 2012 DataCenter ; • .NET Framework 3.5. • Les logiciels • SQL Server 2016 CTP 3.2; • SQL Server Management Studio; • SSIS (SQL Server Integration Services); • SSDT (SQL Server Data Tools).
  • 16.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’il faut télécharger • SQL Server 2016 Community Technology Preview 3.2 • https://www.microsoft.com/fr-fr/evalcenter/evaluate-sql-server-2016 • SQL Server Data Tools - Business Intelligence for Visual Studio 2015 • https://msdn.microsoft.com/fr-fr/mt186501
  • 17.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Architecture de l’environnement MSSQL01 IP: 192.168.1.101 OS: Windows Server 2012 C: (30 GB) Rôle: serveur source OLTP Réseau privé MSSQL02 IP: 192.168.1.102 OS: Windows Server 2012 C: (30 GB) Rôle: serveur ETL (SSIS+DQS) MSSQL03 IP: 192.168.1.103 OS: Windows Server 2012 C: (30 GB) Rôle: serveur cible DW (entrepôt) - Moteur SQL SERVER 2016 CTP 3.2 - SSIS (SQL Server Integration Services) - SSMS (SQL Server Management Studio) - SSDT (SQL Server Data Tools) - SSIS (SQL Server Integration Services) - SSMS (SQL Server Management Studio) - SSDT (SQL Server Data Tools) - Moteur SQL SERVER 2016 CTP 3.2 - SSMS (SQL Server Management Studio) Logiciels à installer Logiciels à installer gateway: 192.168.1.1
  • 18.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Mes formations sur alphorm.com MySQL, Administration (1Z0-883) MongoDB, administration Oracle Database 11g DBA 1 (1Z0-052) Administration SQL Server 2012 (70-462) Le langage SQL Administration PostgreSQL PostgreSQL, la haute disponibilité Le langage PL/SQL
  • 19.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Mes formations sur alphorm.com MySQL, Administration (1Z0-883) MongoDB, administration Oracle Database 11g DBA 1 (1Z0-052) Administration SQL Server 2012 (70-462) Le langage SQL Administration PostgreSQL PostgreSQL, la haute disponibilité Le langage PL/SQL
  • 20.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Introduction à la Business Intelligence Noureddine DRISSI Expert consultant bases de données
  • 21.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Présenter les différents composants et terminologie d’une architecture de BI • Comprendre les raisons de la mise en place d’une solution de BI • Comprendre la fonctionnalité de SSIS dans une architecture de BI
  • 22.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Pourquoi la Business Intelligence ? • Les systèmes transactionnels ne sont pas adaptés • Répondre aux questions des décideurs • Comprendre et analyser les données stockées • Centralisation et normalisation des données • Source unique d’information pour les décideurs • Disposer de données déjà consolidées pour prendre des décisions • Mesurer le résultat d’une activité ou d’une prise de décision • Mettre à disposition des utilisateurs finaux des données facilement exploitables
  • 23.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les composants de la Business Intelligence • SGBDR • OLTP (OnLine Transaction Processing) • LMD (INSERT, UPDATE, DELETE) • OLAP ( Online Analytical Processing) • SELECT, Language MDX, FONCTIONS ANALYTIQUES, CUBES, TABLEAUX SSIS SSAS SSRS
  • 24.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Architecture de Business Intelligence SGBDR OLTP ETL Back-End Transactions LMD Transactions LMD DW: Data Warehouse Entrepôt de données DW: Data Warehouse Entrepôt de données Données consolidées normalisées/dénormalisées Données consolidées normalisées/dénormalisées Front-End SSISSSIS Production Clients SGBDR OLAP Rapports SSRSRapports SSRS Utilisateurs finauxUtilisateurs finaux SGBDR OLTP SGBDR OLTP Cube multidimensionnel SSASCube multidimensionnel SSAS 1011000110 SQL Server Data Quality Services Microsoft PowerPivot Microsoft Excel • Data Mining Add-In • PowerPivot Add-In • MDS Add-In
  • 25.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Une introduction à la Business Intelligence
  • 26.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Présentation et architecture SSIS Introduction à SSIS 2016 Noureddine DRISSI Expert consultant bases de données
  • 27.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Décrire les principales fonctionnalités de SSIS • Présenter les principaux outils SSIS
  • 28.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Connaissances préalables • Connaissances en administration de SQL Server • Connaissances en base de données relationnelle • Avoir suivi le cours administration SQL Server 2012 • http://www.alphorm.com/formation/formation- administration-sql-server-2012-70-462 Administration SQL Server 2012 (70-462)
  • 29.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Connaissances préalables • Connaissances en administration de SQL Server • Connaissances en base de données relationnelle • Avoir suivi le cours administration SQL Server 2012 • http://www.alphorm.com/formation/formation- administration-sql-server-2012-70-462 Administration SQL Server 2012 (70-462)
  • 30.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Fonctions SSIS • Extraction de données à partir de la source • BDD, Excel, Fichier plat, Access • Transformation des données • format des données, agrégation, validation,… • Chargement des données vers une destination • BDD, Excel, Fichier plat, Access Source Transformation Source Transformation Cible Cible
  • 31.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Terminologie SSIS • Les packages • unités de travail à exécuter • Les tâches • se chargent du travail dans les packages • Les conteneurs • objets qui fournissent la structure des packages Tâche 1 Tâche 2 Tâche 3 Tâche 4
  • 32.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Fonctionnement de SSIS • Flux de contrôle • Conteneurs • Tâches • Contraintes de précédences • Flux de données • Sources • Transformations • Destinations Tâche 1 Tâche 2 Source 1 Transformation 1 Cible 1
  • 33.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Architecture SSIS
  • 34.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© A propos de ce cours • Objectifs : • Comprendre les principes fondamentaux de la Business Intelligence; • Comprendre et utiliser le composant SSIS de la suite Microsoft SQL Server 2016; • Mettre en œuvre les outils et fonctionnalités de la technologie SSIS; • Maîtriser, administrer et configurer SSIS.
  • 35.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: présentation des outils
  • 36.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Le fonctionnement de SSIS • La terminologie SSIS • Présentation des principaux outils SSIS
  • 37.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Assistant d’import et d’export de données Noureddine DRISSI Expert consultant bases de données Introduction à SSIS 2016
  • 38.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Comprendre le fonctionnement de l’assistant • Savoir créer un package SSIS d’exportation et d’importation de données
  • 39.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Assistant SSIS • Fonctions (simplet et rapide) • Créer un package d’import/export de données • Exporter des données à partir de • BDD SQL Server, fichier plat, Access, feuille excel, fournisseurs OLE DB et ADO.NET • Importer des données • BDD SQL Server, fichier plat, Access, feuille excel, fournisseurs OLE DB et ADO.NET
  • 40.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Assistant SSIS • Fonctions • Extraction/chargement simple de données (exemple: table vers Excel)
  • 41.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Utilisation de l’assistant SSIS
  • 42.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’assistant d’import export SSIS
  • 43.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog L'outil de développement SQL Server Data Tools (SSDT) Noureddine DRISSI Expert consultant bases de données Introduction à SSIS 2016
  • 44.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Publics concernés • Chef de projet BI, développeurs et analyste, architectes et toute personnes souhaitant apprendre à mettre en œuvre les techniques de l’informatique décisionnelle ou de BI (Business Intelligence) avec les outils de la suite Microsoft (SSIS, SSAS, SSRS).
  • 45.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Présentation de SSDT • Concepteur graphique pour la création de packages • Permet de créer un flux de contrôle • Permet de créer un flux de données • Permet d’ajouter des gestionnaire d’événements • Permet de gérer les connexions source et destination • Afficher le contenu d’un package • Exécution et le suivi de la progression de l’exécution d’un package • Configuration des packages • Déploiement des packages SSIS
  • 46.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les points forts de SSDT • Développement rapide de scripts d’import / export • Richesse des outils (tâches, connecteurs, transformateurs…) • Visualisation des flux de données et utilisation de points d’arrêts lors de l’exécution dans Visual Studio facilitant la phase de Debug • Facilité de déploiement et d’utilisation.
  • 47.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Assistant SSIS (SSDT) Zone d’édition du package Flux de données L’explorateur de solution Les propriétés des objets Le gestionnaire de connecteurs La Boîte à outils SSIS Paramètres de niveau package Gestionnaire d’événements Explorateur de Package Variables Flux de contrôle
  • 48.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Présentation de SSDT
  • 49.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Création d’un projet SSIS avec SSDT • Présentation et exploration de l’architecture de développement SSDT
  • 50.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Création d’un package SSIS avec SSDT Travailler avec SSIS Noureddine DRISSI Expert consultant bases de données
  • 51.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Plan du cours • Module 01 : Présentation de la formation • Module 02 : Introduction à la Business Intelligence • Module 03 : Introduction à SSIS 2016 • Module 04 : Travailler avec SSIS • Module 05 : Travailler avec les flux de contrôle • Module 06 : Travailler avec les flux de données • Module 07 : Travailler avec les packages dynamiques • Module 08 : ETL cas d'usage • Module 09 : Travailler avec les conteneurs • Module 10 : Configuration des packages • Module 11 : Résolution de problèmes • Module 12 : Administrer SSIS 2016 • Module 13 : Chargement d’un entrepôt de donnée • Module 14 : Conclusion
  • 52.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Un package c’est quoi ? • Description • Constitue une unité de travail à exécuter • Un package est constitué de tâches qui se chargent du travail • Un package est structuré en conteneur • Tâche : Les tâches se chargent du travail dans les packages. SSIS comprend plusieurs tâches à l’aide desquelles on peut exécuter diverses fonctions • Conteneur: Les conteneurs sont les objets qui fournissent la structure des packages. Ils prennent en charge les flux de contrôle répétitifs dans les packages et permettent de regrouper des tâches et d’autres conteneurs en unités de travail significatives.
  • 53.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Création et exécution d’un package
  • 54.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Création et exécution d’un package SSIS
  • 55.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Mise à niveau de packages vers SSIS 2016 Travailler avec SSIS Noureddine DRISSI Expert consultant bases de données
  • 56.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Connaître les possibilités de mise à niveau des packages SSIS • Savoir mettre à jour un package avec une version antérieure vers SSIS 2016
  • 57.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Mise à niveau de packages vers SSIS 2016 • Assistant Mise à niveau de package SSIS • Dans Outils de données SQL Server (SSDT) • Dans SQL Server Management Studio • À l'invite de commandes, en exécutant le fichier SSISUpgrade.exe Sauvegarde des packages d’origine
  • 58.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les mises à niveau possibles • Pour les packages DTS SQL Server 2000: • Pas de mise à niveau direct • Pour les packages SSIS SQL Server 2005, 2008, 2012 ou 2014: • En migrant vers le format SQL Server 2016 • Scripts: • Migration automatique des scripts VSA vers VSTA • Les scripts Microsoft ActiveX ne sont plus supportés et doivent êtres remplacés SQL Server 2005 ou 2008 Integration Services Assistant de migration de package SQL Server 2000 Package DTS SQL Server 2005, 2008, 2012 ou 2014 Package SSIS SQL Server 2016 Integration Services Assistant de migration de package SQL Server 2016 Package SSIS ActiveX Script Task (VBScript) Script Task (VSTA)Script Task (VSA)
  • 59.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les formations à suivre après SSIS SQL Server Analysis Services SQL Server Reporting Services Le language MDX
  • 60.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • La mise à niveau de package vers SSIS 2016
  • 61.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Présentation de l'architecture des objets d'une solution SSIS Travailler avec les flux de contrôle Noureddine DRISSI Expert consultant bases de données
  • 62.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectif • Comprendre et décrire la hiérarchie entre les objets d’une solution SSIS • Projets • Packages • Flux de contrôle • Tâches / Conteneurs / Contraintes de précédence • Gestionnaire de connexion
  • 63.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Solution SSIS avec SSDT Projet 1 Package Package Paramètres de niveau projet Paramètres de niveau package Paramètres de niveau package Déploiement Déploiement Catalogue SSIS Modèle de déploiement Gestionnaire connexion niveau projet Gestionnaire de connexion niveau package Gestionnaire de connexion niveau package Projet 2 Projet N
  • 64.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Hiérarchie des objets SSIS Projet Package 1 Gestionnaire connexion niveau projet Gestionnaire de connexion de niveau package Tâches ConteneursConteneurs Contraintes de précédence Gestionnaire connexion niveau projet Paramètres de niveau package Paramètres de niveau projet Package 2 … Flux de contrôle
  • 65.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Présentation et description de la hiérarchie entre les objets d’une solution SSIS • Projets • Packages • Flux de contrôle • Tâches / Conteneurs / Contraintes de précédence • Gestionnaire de connexion
  • 66.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Qu'est-ce qu'un flux de contrôle de package ? Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de contrôle
  • 67.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectif • Expliquer et décrire comment SSIS contrôle les tâches dans les packages au moyen d’un flux de contrôle de package
  • 68.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Un flux de contrôle c’est quoi ? • Tâches • Les tâches se chargent du travail dans les packages. La tâche de flux de données est la tâche la plus importante. • Contraintes de précédences • Les contraintes de précédence permettent de relier les tâches entre elles • Conteneurs • Les conteneurs permettent de regrouper ou d’appliquer en boucle les tâches
  • 69.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Expliquer et décrire comment SSIS contrôle les tâches dans les packages au moyen d’un flux de contrôle de package
  • 70.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Mise en œuvre d'un flux de contrôle SSIS avec SSDT Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de contrôle
  • 71.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectif • Créer et lier des tâches et des conteneurs avec les contraintes de précédences dans un flux de contrôle de package SSIS
  • 72.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Exemple de flux de contrôle de package Tp_flux_controle.dtsx Export de la table CLIENTS dans un fichier c:Export_Importtable_clients.txtExport de la table CLIENTS dans un fichier c:Export_Importtable_clients.txt Affichage du message « Tâche 1 OK »Affichage du message « Tâche 1 OK » Affichage du message « Tâche 1 dans le conteneur de sequence »Affichage du message « Tâche 1 dans le conteneur de sequence » Affichage du message « Tâche 2 dans le conteneur de séquence »Affichage du message « Tâche 2 dans le conteneur de séquence » Export de la table FOURNISSEURS dans le fichier c:Export_Importtable_fournisseurs.txtExport de la table FOURNISSEURS dans le fichier c:Export_Importtable_fournisseurs.txt Affichage du message « Tâches du package « TP_flux_de_contrôle » terminée »Affichage du message « Tâches du package « TP_flux_de_contrôle » terminée » Contraintes de précédence Flux de contrôle Package ( tp_flux_controle.dtsx ) Tâche de flux de données Tâche de script Conteneur de séquence 1 2 3 1 2 4 5
  • 73.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Mise en œuvre d’un flux de contrôle
  • 74.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Création d’un flux de contrôle de package SSIS avec des tâches, un conteneur et des contraintes de précédences
  • 75.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Les tâches de flux de contrôle Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de contrôle
  • 76.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectif • Présenter et décrire les principales tâche SSIS dans un flux de contrôle
  • 77.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les tâches d’un flux de contrôle Tâche flux de données Tâches de bases de données Tâches de système de fichier et Internet • Tâche de flux de données • Data Profiling • Bulk Insert • Execute SQL • Execute T-SQL • CDC Control • File System • FTP • XML • Web Service • Send Mail Tâches d’exécution de package et de processus Tâches WMI Tâches de script personnalissé • Execute Package • Execute Process • WMI Data Reader • WMI Event Watcher • Script • Custom Tasks Tâches de transfert de base Tâches Analysis Services Tâches de maintenance de bases de données • Transfer Database • Transfer Error Messages • Transfer Jobs • Transfer Logins • Transfer Master Stored Procedures • Transfer SQL Server Objects • Analysis Services Execute DDL • Analysis Services Processing • Data Mining Query • Back Up Database • Check Database Integrity • History Cleanup • Maintenance Cleanup • Notify Operator • Rebuild Index • Reorganize Index • Shrink Database • Update Statistics La plus importante
  • 78.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Présentation et description des principales tâches SSIS dans un flux de contrôle
  • 79.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Les contraintes de précédence Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de contrôle
  • 80.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Comprendre et décrire la notion de contrainte de précédence • Comprendre et utiliser les différents types de contraintes de précédence entre les tâches dans un package
  • 81.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les contraintes de précédence • Séquençage des tâches • Trois résultats possibles • Succès • Echec • Dernière étape • Plusieurs contraintes • AND logique • OR logique Tâche 1 Tâche 3Tâche 2 Succes Echec Dernière étape Tâche 4
  • 82.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Présentation de la formation
  • 83.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’utilisation des contraintes de précédences dans un package SSIS
  • 84.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Utiliser un conteneur de séquence pour organiser un package Noureddine DRISSI Expert consultant bases de données Travailler avec les conteneurs
  • 85.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectif • Décrire, comprendre et utiliser le conteneur de séquence dans une tâche de flux de contrôle.
  • 86.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les différents conteneurs • Conteneur de séquence • Conteneur de boucle For • Conteneur de boucle Foreach
  • 87.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Le conteneur de séquence • Fonctionnement • Permet d’organiser les tâches dans un flux de contrôle. • Ne modifie pas la trame du package.
  • 88.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Le conteneur de séquence Conteneur de séquence Conteneur de séquence TâchesTâchesTâchesTâches
  • 89.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier : Travailler avec le conteneur de séquence
  • 90.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© GO
  • 91.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© GO
  • 92.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectif • Décrire, comprendre et utiliser le conteneur de boucle For dans un package SSIS
  • 93.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Le conteneur de boucles For • Fonctionnement • Exécute une partie des tâches de flux de contrôle de façon répétitive en testant une condition. • Proche d’une boucle en C# ou en C.
  • 94.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Le conteneur de boucle For Conteneur de boucle For Conteneur de boucle For TâchesTâches
  • 95.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier : Travailler avec le conteneur de boucle For
  • 96.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog L’environnement Noureddine DRISSI Expert consultant bases de données
  • 97.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog L’environnement Noureddine DRISSI Expert consultant bases de données
  • 98.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectif • Décrire, comprendre et utiliser le conteneur de boucle Foreach pour effectuer une boucle dans une collection d’objet
  • 99.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Le conteneur de boucle Foreach • Fonctionnement • Exécute un flux de contrôle de façon répétitive à l'aide d'un énumérateur. • Utilise un système d’itération pour chaque item d’une collection.
  • 100.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Le conteneur de boucle Foreach • Les collections • Chaque fichier dans un dossier donné correspondant à un type de fichier spécifié. • Chaque ligne de la première table dans un recordset ADO ou un Dataset ADO.NET. • Chaque ligne de toutes les tables dans un dataset ADO.NET. • Chaque élément d’une variable contenant une collection. • Chaque nœud (node) dans une liste de nœud (nodelist) XML. • Chaque objet dans une collection SMO (SQL Server Management Objects).
  • 101.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Le conteneur de boucle Foreach Conteneur de boucle Foreach Conteneur de boucle Foreach TâcheTâche
  • 102.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Configurer l’environnement de travail • Vérifier et configurer les pré-requis (système, matériel, logiciel) • Installer le SGBDR SQL Server 2016 CTP 3.2 • Installer SSIS (SQL Server Integration Services) • Installer SQL Server Management Studio • Se connecter au moteur de base de données SQL Server • Création de la base de données fact (script fact.sql) • Se connecter au moteur SSIS • Installer SSDT (SQL Server Data Tools)
  • 103.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’utilisation du conteneur de boucle Foreach pour effectuer une boucle dans une collection d’objet.
  • 104.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Extraction de données à partir d’une source Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 105.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Comprendre et décrire un flux de données • Utiliser une tâche de flux de données pour extraire une source
  • 106.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Qu’est-ce qu’une tâche de flux de données ? • Source • Connexion à une source de données à partir de laquelle vous avez chargé des données (BDD, fichier plat, Excel, Access, …) • Transformation • Il peut s’agir d’un simple mappage de colonnes ou d’une opération de modification et de nettoyage complexe • Destination • Connexion à la destination de données dans laquelle vous avez chargé les données
  • 107.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les sources de données • Les sources de données dans un flux de données: • Gestionnaire de connexion • Tables, vues, ou requête (la clause where est supportée) • ADO.NET • OLE DB • CDC Source • SQL Server • Excel • Fichier plat • XML • Raw file • Personnalisé Bases Fichier Autre ?
  • 108.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les prérequis matériel • Mémoire • Minimum : • Éditions SQL Server 2016 CTP 3.2 : 2024 MO • Processeur • Minimum : • Processeur x86 : 1,0 GHz, Processeur x64 : 1,4 GHz • Recommandé : 2,0 GHz ou plus • Disque • Minimum : • 30 GB disponible
  • 109.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’extraction de données à partir d’une source dans un flux de données
  • 110.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Chargement de données vers une destination Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 111.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Comprendre et décrire un flux de données de chargement • Utiliser une tâche de flux de données pour charger des données
  • 112.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Rappel: tâche de flux de données • Source • Connexion à une source de données à partir de laquelle vous avez chargé des données (BDD, fichier plat, Excel, Access, …) • Transformation • Il peut s’agir d’un simple mappage de colonnes ou d’une opération de modification et de nettoyage complexe • Destination • Connexion à la destination de données dans laquelle vous avez chargé les données
  • 113.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Destination des données • Destination pour un flux de données: • Gestionnaire de connexion: • Table • Vue • ADO.NET • OLE DB • SQL Server • SQL Server Compact • Excel • Fichier plat • Raw file • Personnalisé Base Fichier Autre ? • Data mining model training • Dimension processing • Partition processing SSAS • DataReader • Recordset Rowset
  • 114.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Chargement de données vers une destination
  • 115.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les prérequis logiciel • OS • Windows Server 2012 DataCenter ; • .NET Framework 3.5. • Les logiciels • SQL Server 2016 CTP 3.2; • SQL Server Management Studio; • SSIS (SQL Server Integration Services); • SSDT (SQL Server Data Tools).
  • 116.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les prérequis logiciel • OS • Windows Server 2012 DataCenter ; • .NET Framework 3.5. • Les logiciels • SQL Server 2016 CTP 3.2; • SQL Server Management Studio; • SSIS (SQL Server Integration Services); • SSDT (SQL Server Data Tools).
  • 117.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Décrire les opérations de transformations de lignes • Utiliser un flux de données avec la transformation conversion de données
  • 118.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation de lignes Les tâches de transformation de lignes • Conversion de données • Table de caractères • Copie de colonnes • Colonne dérivée • Exportation de colonne • Importation de colonne • Commande OLE DB
  • 119.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Changer le type de données
  • 120.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Changement du type dans un flux de données
  • 121.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Création et remplacement de colonnes avec la transformation de colonnes dérivée Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 122.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’il faut télécharger • SQL Server 2016 Community Technology Preview 3.2 • https://www.microsoft.com/fr-fr/evalcenter/evaluate-sql-server-2016 • SQL Server Data Tools - Business Intelligence for Visual Studio 2015 • https://msdn.microsoft.com/fr-fr/mt186501
  • 123.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation de lignes Les tâches de transformation de lignes • Colonne dérivée • Conversion de données (vu) • Table de caractères • Copie de colonnes • Exportation de colonne • Importation de colonne • Commande OLE DB
  • 124.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Colonne dérivée
  • 125.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Utiliser un flux de données avec la transformation de colonnes dérivée
  • 126.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Travailler avec la transformation de commande OLE DB Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 127.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Décrire la transformation de commande OLE DB • Utiliser un flux de données avec la transformation de commande OLE DB
  • 128.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Architecture de l’environnement MSSQL01 IP: 192.168.1.101 OS: Windows Server 2012 C: (30 GB) Rôle: serveur source OLTP Réseau privé MSSQL02 IP: 192.168.1.102 OS: Windows Server 2012 C: (30 GB) Rôle: serveur ETL (SSIS+DQS) MSSQL03 IP: 192.168.1.103 OS: Windows Server 2012 C: (30 GB) Rôle: serveur cible DW (entrepôt) - Moteur SQL SERVER 2016 CTP 3.2 - SSIS (SQL Server Integration Services) - SSMS (SQL Server Management Studio) - SSDT (SQL Server Data Tools) - SSIS (SQL Server Integration Services) - SSMS (SQL Server Management Studio) - SSDT (SQL Server Data Tools) - Moteur SQL SERVER 2016 CTP 3.2 - SSMS (SQL Server Management Studio) Logiciels à installer Logiciels à installer gateway: 192.168.1.1
  • 129.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation de commande OLE DB • La transformation de commande OLE DB exécute une instruction SQL pour chaque ligne d'un flux de données. Par exemple, vous pouvez exécuter une instruction SQL qui insère, met à jour ou supprime des lignes d'une table de base de données. • Cette transformation est en général utilisée pour l'exécution de requêtes paramétrables.
  • 130.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© •Atelier: Transformation de commande OLE DB
  • 131.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’utilisation de la transformation de commande OLE DB dans un flux de données
  • 132.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Travailler avec la transformation de copie de colonnes et table de caractères Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 133.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Décrire la transformation de copie de colonnes et table de caractères • Utiliser un flux de données avec la transformation de copie de colonnes et table de caractères
  • 134.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: mise en place de l’environnement
  • 135.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation de copie de colonnes • La tâche de transformation de copie de colonne crée de nouvelles colonnes en copiant des colonnes existantes. Ces copies peuvent ensuite êtres utilisées pour d’autres tâches de transformation.
  • 136.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation de table de caractères • La tâche de transformation de la table de caractères permet d’effectuer des modifications sur les colonnes contenant des chaînes de caractères. La colonne modifiée peut soit remplacé celle utilisé avant la transformation soit être ajoutée en tant que nouvelle colonne.
  • 137.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© •Atelier: Transformation de copie de colonnes et table de caractères
  • 138.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Utilisation de la transformation de copie de colonnes et table de caractères
  • 139.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Travailler avec la transformation d’agrégation et de tri Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 140.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Décrire la transformation d’agrégation et de tri • Utiliser un flux de données avec la transformation d’agrégation et de tri
  • 141.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformations d’ensemble de lignes Transformations d’ensemble de lignes • Agrégation • Tri • Tableau croisé dynamique • Echantillonnage du pourcentage • Echantillonnage de lignes • Pivot • Unpivot
  • 142.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Identification et installation des pré-requis • Système, matériel et logiciel • Installation des composants Microsoft • MSSQL Server, SSIS, SSMS et SSDT • Création de la base de données de travail fact • Vérification de l’environnement • MSSQL Server, SSIS, SSMS et SSDT
  • 143.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Identification et installation des pré-requis • Système, matériel et logiciel • Installation des composants Microsoft • MSSQL Server, SSIS, SSMS et SSDT • Création de la base de données de travail fact • Vérification de l’environnement • MSSQL Server, SSIS, SSMS et SSDT
  • 144.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Travailler avec la transformation d’agrégation et de tri
  • 145.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’utilisation de la transformation d’agrégation et de tri
  • 146.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Travailler avec la transformation échantillonnage du pourcentage et de lignes Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 147.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Décrire la transformation échantillonnage du pourcentage et de lignes • Utiliser un flux de données avec la transformation échantillonnage du pourcentage et de lignes
  • 148.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformations d’ensemble de lignes Transformations d’ensemble de lignes • Agrégation (vu) • Tri (vu) • Tableau croisé dynamique • Echantillonnage du pourcentage • Echantillonnage de lignes • Pivot • Unpivot
  • 149.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation échantillonnage du pourcentage • La tâche de transformation de l’échantillonnage du pourcentage permet de créer un échantillon d’un flux de données.
  • 150.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation échantillonnage de lignes • Similaire à la tâche de l’échantillonnage du pourcentage. • Pour définir la taille du flux de données à échantillonné, on détermine un nombre de lignes.
  • 151.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Introduction à la Business Intelligence Noureddine DRISSI Expert consultant bases de données
  • 152.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Utilisation de la transformation échantillonnage du pourcentage et de lignes dans un flux de données
  • 153.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Les autres tâches de transformation d’ensemble de lignes Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 154.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectif • Décrire les autres tâches de transformation d’ensemble de lignes
  • 155.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformations d’ensemble de lignes Transformations d’ensemble de lignes • Agrégation (vu) • Tri (vu) • Tableau croisé dynamique • Echantillonnage du pourcentage (vu) • Echantillonnage de lignes (vu) • Pivot • Unpivot
  • 156.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Décrire les autres tâches de transformation d’ensemble de lignes
  • 157.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Auditer les données avec la transformation de calcul du nombre de lignes Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 158.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Présenter les différents composants et terminologie d’une architecture de BI • Comprendre les raisons de la mise en place d’une solution de BI • Comprendre la fonctionnalité de SSIS dans une architecture de BI
  • 159.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformations d’audit La transformation des données • Nombre de lignes • Audit
  • 160.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation de calcul du nombre de lignes • La transformation de calcul du nombre de lignes compte les lignes à mesure qu'elles passent par un flux de données et stocke le nombre final dans une variable. • Précisions: • Stocke la valeur de nombre de lignes dans la variable uniquement après que la dernière ligne est passée par la transformation • Ne prend pas en charge de sortie d'erreur
  • 161.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Travailler avec Transformation de calcul du nombre de lignes
  • 162.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Utilisation de la transformation de calcul du nombre de lignes dans un flux de données
  • 163.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Auditer les données avec la transformation d’audit Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 164.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Pourquoi la Business Intelligence ? • Les systèmes transactionnels ne sont pas adaptés • Répondre aux questions des décideurs • Comprendre et analyser les données stockées • Centralisation et normalisation des données • Source unique d’information pour les décideurs • Disposer de données déjà consolidées pour prendre des décisions • Mesurer le résultat d’une activité ou d’une prise de décision • Mettre à disposition des utilisateurs finaux des données facilement exploitables
  • 165.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformations d’audit La transformation des données • Nombre de lignes (vu) • Audit
  • 166.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation d’audit • La tâche de transformation d’audit permet d’ajouter des colonnes contenant des informations sur l’exécution du package au flux de données. • Stockage des informations d’audit • Table avec des colonnes d’audit ou fichier (plat/excel)
  • 167.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Travailler avec Transformation d’audit
  • 168.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Utilisation de la transformation d’audit dans un flux de données
  • 169.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Séparer des données avec la transformation de fractionnement conditionnel Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 170.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Les composants de la Business Intelligence • SGBDR • OLTP (OnLine Transaction Processing) • LMD (INSERT, UPDATE, DELETE) • OLAP ( Online Analytical Processing) • SELECT, Language MDX, FONCTIONS ANALYTIQUES, CUBES, TABLEAUX SSIS SSAS SSRS
  • 171.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformations de fractionnement et de jointure La transformation des données • Fractionnement conditionnel • Recherche • Union totale • De fusion • De jointure de fusion • Multidiffusion • Cache • …
  • 172.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation de fractionnement conditionnel • La transformation de fractionnement conditionnel peut aiguiller les lignes de données vers différentes sorties, suivant le contenu des données.
  • 173.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© •Atelier: Transformation de fractionnement conditionnel
  • 174.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’utilisation de la transformation de fractionnement dans un flux de données
  • 175.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Joindre les données avec la transformation de recherche Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 176.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Décrire la transformation de recherche • Utiliser un flux de données avec la transformation de recherche
  • 177.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Architecture de Business Intelligence SGBDR OLTP ETL Back-End Transactions LMD Transactions LMD DW: Data Warehouse Entrepôt de données DW: Data Warehouse Entrepôt de données Données consolidées normalisées/dénormalisées Données consolidées normalisées/dénormalisées Front-End SSISSSIS Production Clients SGBDR OLAP Rapports SSRSRapports SSRS Utilisateurs finauxUtilisateurs finaux SGBDR OLTP SGBDR OLTP Cube multidimensionnel SSASCube multidimensionnel SSAS 1011000110 SQL Server Data Quality Services Microsoft PowerPivot Microsoft Excel • Data Mining Add-In • PowerPivot Add-In • MDS Add-In
  • 178.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Architecture de Business Intelligence SGBDR OLTP ETL Back-End Transactions LMD Transactions LMD DW: Data Warehouse Entrepôt de données DW: Data Warehouse Entrepôt de données Données consolidées normalisées/dénormalisées Données consolidées normalisées/dénormalisées Front-End SSISSSIS Production Clients SGBDR OLAP Rapports SSRSRapports SSRS Utilisateurs finauxUtilisateurs finaux SGBDR OLTP SGBDR OLTP Cube multidimensionnel SSASCube multidimensionnel SSAS 1011000110 SQL Server Data Quality Services Microsoft PowerPivot Microsoft Excel • Data Mining Add-In • PowerPivot Add-In • MDS Add-In
  • 179.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Travailler avec la transformation de recherche
  • 180.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’utilisation de la transformation de recherche dans un flux de données
  • 181.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Combiner des données d’entrées multiples avec la transformation d’union totale Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 182.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Décrire la transformation d’union totale • Utiliser un flux de données avec la transformation d’union totale
  • 183.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformations de fractionnement et de jointure La transformation des données • Fractionnement conditionnel (vu) • Recherche (vu) • Union totale • De fusion • De jointure de fusion • Multidiffusion • Cache • …
  • 184.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation d’union totale • La transformation d’union totale permet de fusionner autant de flux de données que l’on souhaite. • Les données non pas besoin d’être triées.
  • 185.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Travailler avec la transformation d’union totale
  • 186.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’utilisation de la transformation d’union totale dans un flux de données
  • 187.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Travailler avec les transformations de fusion et jointure de fusion Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 188.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Décrire les transformations de fusion et jointure de fusion • Utiliser un flux de données avec les transformations de fusion et jointure de fusion
  • 189.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformations de fractionnement et de jointure La transformation des données • Fractionnement conditionnel (vu) • Recherche (vu) • Union totale (vu) • De fusion • De jointure de fusion • Multidiffusion • Cache • …
  • 190.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation de fusion • La transformation de fusion permet la fusion de deux flux de données. • Les flux de données doivent être triées de la même manière.
  • 191.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation de jointure de fusion • La transformation de jointure de fusion permet la fusion de deux flux de données ensemble en exécutant une jointure INNER, LEFT ou FULL. • Les flux de données doivent être triées de la même manière.
  • 192.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Travailler avec les transformations de fusion et jointure de fusion
  • 193.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’utilisation des transformations de fusion et jointure de fusion
  • 194.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Travailler avec la transformation multidiffusion Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 195.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectifs • Décrire la transformation multidiffusion • Utiliser un flux de données avec la transformation multidiffusion
  • 196.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformations de fractionnement et de jointure La transformation des données • Fractionnement conditionnel (vu) • Recherche (vu) • Union totale (vu) • De fusion (vu) • De jointure de fusion (vu) • Multidiffusion • Cache • …
  • 197.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation multidiffusion • La transformation multidiffusion permet d’utiliser un unique flux de données et de l’utiliser comme source pour de nombreux autres flux de données. • Copie les données et l’envoi vers plusieurs directions.
  • 198.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Atelier: Travailler avec la transformation multidiffusion
  • 199.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • L’utilisation de la transformation multidiffusion
  • 200.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Site : http://www.alphorm.com Blog : http://www.alphorm.com/blog Les autres groupes de transformation de données et les tâches associées Noureddine DRISSI Expert consultant bases de données Travailler avec les flux de données
  • 201.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Objectif • Présenter les autres groupes de transformation de données et les tâches associées
  • 202.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Transformation de lignes Transformations d’ensemble de ligne Transformations d’audit Transformations Business Intelligence Transformations personnalisées La transformation des données • Audit • Nombre de lignes • Agrégation • Tri • Echantillonage du pourcentage • Echantillonage de lignes • Tableau dynamique croisé • Pivot • Unpivot • Table caractère • Copie de colonnes • Conversion de données • Colonne dérivée • Exportation de colonne • Importation de colonne • Commande OLE DB • De dimension à variation lente • De regroupement probable • De recherche floue • D’extraction à terme • De recherche à terme • De requête d’exploration de données • Nettoyage de données • Composant script • Composant personnalisé Transformations de fractionnement et de jointure • Fractionnement conditionnel • Recherche • Union totale • De fusion • De jointure de fusion • Multidiffusion • Cache • CDC
  • 203.
    Formation Microsoft SQLServer 2016 Business Intelligence (SSIS) alphorm.com™© Ce qu’on a couvert • Une introduction à la Business Intelligence