www.opitz-consulting.com Unsere BI-Experten Marcel Aretz und Steven Sittner beschrieben am 15.11.2016 in ihrem Vortrag bei der DOAG Konferenz in Nürnberg die Umsetzung eines Tools, das ETL-Prozesse für eine Data Vault anhand eines definierten Metadatenmodells generiert. Genutzt wird dafür ein vom ODI geliefertes SDK, das die Steuerung von außen per Java möglich macht.

1. © OPITZ CONSULTING 2016
 überraschend mehr Möglichkeiten!
© OPITZ CONSULTING 2016
Steven Sittner, Marcel Aretz
Automatisiertes ETL mit
Data Vault und ODI

2. © OPITZ CONSULTING 2016 Seite 2
Agenda
1
2
3
4
5
Motivation
Rahmen und Voraussetzungen
Anwendungsaufbau und ODI SDK
Umsetzung und Arbeitsweise
Fazit
Automatisiertes ETL mit Data Vault und ODI

3. © OPITZ CONSULTING 2016 Seite 3
Motivation
1
Automatisiertes ETL mit Data Vault und ODI

4. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 4
Motivation
 Nutzung von Automatisierungspotentialen durch
Data Vault
 Steigerung der Effizienz in der Entwicklung
 Vermeidung von Fehlern
 Stringentes Umsetzen von Architektur- und
Entwicklungsrichtlinien
 Möglichkeiten von Oracle Data Integrator eruieren

5. © OPITZ CONSULTING 2016 Seite 5
Rahmen und Voraussetzungen
Data Vault
 Hub-Tabellen
 Link-Tabellen
 Satellite-Tabellen
Umgebung
 Entwicklungsumgebung
 Produktversionen
2
Automatisiertes ETL mit Data Vault und ODI

6. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 6
Hub-Tabellen
 Jeder Business Key / Composite Key bildet eine
Hub-Tabelle
 Inhalt
 Primärschlüssel (Hashwert des Business Keys)
 Business Key / Composite Key der Quelltabelle
 Ladedatum
 Quellsystem

7. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 7
Link-Tabellen
 Bilden Beziehungen zwischen Quelltabellen ab
 Inhalt
 Primärschlüssel (Hashwert der Business Keys aller in
Beziehung stehenden Hubs)
 Ladedatum
 Quellsystem

8. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 8
Satellite-Tabellen
 Enthalten Informationen zu einer Hub-/Link-
Tabelle, die zur genaueren Beschreibung der
Entität dienen
 Inhalt
 Primärschlüssel
 Hashwert des zu beschreibenden Hubs/Links
 Ladedatum
 Beschreibende Attribute

9. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 9
Data Vault - Übersicht

10. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 10
Entwicklungsumgebung und Produktversionen
 Eclipse Mars
 Oracle DB 11g
 Java 8u77
 ODI 12.2.1

11. © OPITZ CONSULTING 2016 Seite 11
Anwendungsaufbau und ODI SDK
 Aufbau der Applikation
 Stand des ODI SDK
 Umfang hinsichtlich der steuerbaren
Funktionen
3
Automatisiertes ETL mit Data Vault und ODI

12. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 12
Aufbau der Applikation
SAT DV
 Analyse eines Quell-
Schemas (in 3NF o.ä.)
 Definition von
 Business Keys
 Foreign Keys
 Attributen
 usw.
 Generierung des
Datenmodelles als Data
Vault Modell
ODI Auto
 Anlage der ODI
Strukturelemente
 Auslesen und Prüfen der
Metainformationen
 Generierung der ODI
Mappings
 Hubs
 Links
 Satellites
ODI SDK
 API Bibliothek
ODI Server
 Repository
 Domain
Metadatenmodell

13. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 13
ODI Software Development Kit
SDK:
 In aktueller Version 12c sind alle
Funktionen steuerbar
 Struktur- oder Mappingelemente per
Java-Code ansprechbar
 Reverse-Engineering ferngesteuert
durchführen
Funktionen:
 Reverse-Engineering liefert Quell-
/Zieltabellen und –schemata
 Finderklassen für alle Arten von ODI-
Elementen
 Operatoren und Komponenten zum
Erstellen eines Mappings per Code
nutzbar
 Datenflüsse mithilfe von
InputConnectorPoints oder dem
gewohnten Bauen von Expressions für
jedes Attribut modellierbar

14. © OPITZ CONSULTING 2016 Seite 14
Umsetzung und Arbeitsweise
 Metadatenmodell
 Prozesse
4
Automatisiertes ETL mit Data Vault und ODI

15. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 15
Metadatenmodell

16. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 16
Übersicht der Anwendungsprozesse
Foreign-
Keys
Attribute
Business
PK
Hub-Mappings Link-Mappings
Satellite-
Mappings
Metadaten-
modell
Generator

17. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 17
Prozesse
Hub-Mappings Link-Mappings
 1-n Datastore anhand Quelltabellen
ermitteln
 Bei mehreren Data Stores zusammenführen
 Business Key filtern und weiterleiten
 Hash Key bilden
 Oracle Datenbank liefert Hashfunktionen in
DBMS_Crypto
 Identifizieren relevanter Beziehungen in den
Quellen
 JOIN aller Data Stores
 Nachbilden der Hash Keys zum
Referenzieren der Hub-Tabellen
 Bilden des Hash Keys für den Link aus den
Keys der Hub-Tabellen

18. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 18
Prozesse
Satellite-Prozess
 Quellschema/-system identifiziert einen
Satellite
 UNION/JOIN aller für den PK/FK nötigen
Tabellen
 Selektieren der beschreibenden Attributen
aus der Tabelle des angesprochenen
Schemas

19. © OPITZ CONSULTING 2016 Seite 19
Fazit
5
Automatisiertes ETL mit Data Vault und ODI

20. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 20
Verprobung im Projekt
 Einfacher Form der Historisierung setzt nicht alle spezifischen fachlichen
Anforderungen um
 Fehlerhandling momentan rudimentär - nicht passende Sätze werden
nicht verarbeitet
 Klassische Mappings für Staging und RAW-Vault sind gut zu
automatisieren, komplexe fachliche Ableitungen im Business Vault und
Data Mart Aufbau eher schwierig.
 Stringente Architekturvorgaben müssen eingehalten werden

21. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 21
Ausblick
 Historisierung um spezifische Lösungen erweitern
 Fehlerhandling um weitere Funktionen ergänzen
 Erweitern der Anwendung um weiter durch das SDK bereitgestellte
Fernsteuerungsmöglichkeiten
 Integration in Data Vault Generator (SAT DV) und Deployment Werkzeug
(OCSV)

22. © OPITZ CONSULTING 2016 Seite 22Automatisiertes ETL mit Data Vault und ODI
Fragen / offene Diskussion

23. © OPITZ CONSULTING 2016
 überraschend mehr Möglichkeiten!
@OC_WIRE OPITZCONSULTING opitzconsultingWWW.OPITZ-CONSULTING.COM
Seite 23
Steven Sittner
Associate Developer
Norsk-Data-Straße 3
61348 Bad Homburg vor der Höhe
steven.sittner@opitz-consulting.com
+49 151 5802 6138
Marcel Aretz
Senior Consultant
Landwehr 2
22087 Hamburg
marcel.aretz@optiz-consulting.com
+49 40 741122-1362
Automatisiertes ETL mit Data Vault und ODI