2. Vorstellung MT AG
Motivation für den MT AG Data Vault Generator
Architektur
Live Demo
Erweiterung des Generators
2
Agenda
MT AG Data Vault Generator@DDVUG
7. Aufwandsreduzierung Entwicklung
Steigerung Umsetzungsgeschwindigkeit (-> Agile BI)
Standardisierung -> Qualität / Aufwand Testing
Raw Vault legt Generierung Data Model & ETL nahe
MT AG Data Vault Generator@DDVUG 7
Motivation für den MT AG Generator für Raw Vault
8. MT AG Data Vault Generator@DDVUG 8
Designziele für den DV Generator
Flexibilität
Anpassbare
Generierungsregeln
Raw Vault
Individualisierung
Raw Vault Datenmodell
Flexible Code-Generierung ETL
Plattform-
Unabhängigkeit
Multi-DB
Multi-ETL/ELT
Java GUI
Ermöglicht durch Metadaten-getriebene Architektur
17. MT AG Data Vault Generator@DDVUG 17
Data Vault Generator – Zukünftige Architektur
18. Metadaten-Anreicherung per SQL:
PK/FK per SQL in das MDM einfügen
PK/FK in Excel & Import vom Generator
MT AG Data Vault Generator@DDVUG 18
Drei Alternativen für fehlende Metadaten
Metadatenschnittstelle
Metadaten-Funktion im DV-Generator
PKs/FKs einpflegen
Tabelle u. Spaltenauswahl per
Drop-Down Auswahl
PowerDesigner Metadaten-Export:
Einlesen vom Generator
Befüllung des MDM
19. MT AG Data Vault Generator@DDVUG 19
Synchronisierung von Quellsystemänderungen
Inkrementelle Erweiterbarkeit Raw Vault
20. Lutz Bauer
Leiter Fachbereich
Data Integration & DWH
+49 (0) 2102 – 30961 - 521
lutz.bauer@mt-ag.com
Jürgen Günter
DWH Consultant
+49 (0) 2102 – 30961 - 0
juergen.guenter@mt-ag.com
MT AG Data Vault Generator@DDVUG 20
Notes de l'éditeur
Passender Name für den 5ten Punkt?
Zu Presales-offensiv – hat bei Otto recht viel Zeit eingenommen. Hohe Deckung mit der nachfolgenden Folie. Ggf. für eine der beiden Folien entscheiden.
Zu Presales-offensiv – hat bei Otto recht viel Zeit eingenommen. Hohe Deckung mit der vorherigen Folie. Ggf. für eine der beiden Folien entscheiden.
Raw Vault : eher mechanisiertes DM ->
Durch Einsparung bei Raw Vault Erstellung, mehr Zeit übrig für händisches Anlegen der Business Vault
Oracle reingenommen – ok?
Regeln erklären
Wonach erzeugen wir es denn, Linstedt/Hultgren?
Regeln zur Ableitung zur Raw Vault in SQL implementiert und dadurch flexibel.
Reeingeneren Von Metadaten aus quelle.
Regeln an Ihre Situation anpassbar.
Generietes Modell kann individuell angepasst werdne.
- Wichtig: dies ist unsere Ist-Implementierung. Diese kann flexibel auf a) andere Technologien b) Metadatenumgebungen & Frameworks angepasst werden
Aktuell ETL – Wir können aber beides. ETL und ELT.
Hier betonen dass die nachfolgenden Punkte umgesetzt werden KÖNNEN. Nicht dass der Eindruck erwähnt wird, dass es diese Sachen bereits gibt.
ToDO: Metadatenschnittstelle in Grafik optimaler aufnehmen
Zweiter Pfad bei ETL-Mappings
Neben Talend Mappings auch noch ein Zweig zu BTEQ SQL / Otto Framework.
Schnittstelle zu Otto-Framework
Wir kennen es nicht, haben verstanden dass es metadtengesteuert ist. Würden das meta format aufgreifen und befüllen.
Für Talend anderes Vorgehen
Erste Schritte in Talend unternommen. Ein Beispiel was wir gemacht haben als Screenshot. Erfahrungen mit Talend gesammelt, aber aus lizenzgründen gegen Talend und für Pentaho.
Wie wir das mit Tlaend machen wissen wir aber.
Was ist denn wenn die Metadaten fehlen – ähnlich wie es teilweise bei den Quellsystemen der Otto Group der Fall ist. Mal da, mal nicht.
Denkbar ist der Einsatz einer Metadatenschnittstelle, wo händisch eingepflegt werden können. Näheres auf der nächsten Folie
Metadatenschnittstelle soll am Ende kommen.,
Statt Meta in Framework-Tabelle
Schreiben -> Framework ansprechen
Metadaten wie Tab/Atr Definitionen und PKs/FKs absolut obligatorisch.
Was wenn nicht vorhanden?
PowerDesigner: Modell Metadaten exportieren und vom Data Vault Generator einlesen und in das eigene Metadatenmodell aufnehmen lassen.
Valider Ansatz, PKs einzufügen?
Meta-Änderungen = Anpassung PK/FK bestehender Metadaten (wenn aus Quelle ausgelesen) um das Modell zu ändern bei der Generierung => Hub ja/nein
Im MDM sind die Metadaten der initialen Generierung
Generator zieht Metadaten der Quelle ab
Änderung wird erkannt: Drei neue Spalten an Tabelle hinzugekommen
Generator schlägt vor: Neuen Satellite mit diesen Spalten anlegen
SQL ausgeben für manuelles Deployment
Änderungen direkt vom Generator ausführen und das MDM aktualisieren
Neue Mappings entsprechend der Änderung anlegen
Vorausgesetzt man hat Metadaten in der Quelle. Aber natürlich auch händisches Einfügen möglich.