Hochperformante Datentransformation in Account-, Billing-, Logistik- und in Backoffice-Prozessen an Beispielen aus den Bereichen Handel, Banken und Telekommunikation - Ronald Körsgen (Syncsort)

1. Ronald Körsgen
Syncsort GmbH
Hochperformante Datentransformation in Account-, Billing-,
Logistik- und in Backoffice-Prozessen an Beispielen aus
den Bereichen Handel, Banken und Telekommunikation

2. © Syncsort Incorporated 2005 2
© Syncsort Incorporated 2004 2

3. © Syncsort Incorporated 2005 3
3

4. © Syncsort Incorporated 2005 4
Über Syncsort Incorporated
Performance
Topservice & Support
DMExpress
DMExpress baut auf einer soliden Basis auf
Mehr als 37 Jahre Entwicklungs-
erfahrung für High Performance Software
Etabliert bei über 12.000
Kunden
95% der Fortune 100

5. © Syncsort Incorporated 2005 5
 Gewählt von IT Benutzern als einer
der führenden Data Warehouse
Anbieter, 8 Jahre in Folge: 1998 -
2005
 Rang #15 von den of Top 100
 Auswahl basierend auf Produkt
Qualität + Marktanteil +
Kundenzufriedenheit
Über Syncsort Incorporated
Top Data Warehouse Anbieter
“Syncsort remains one of the backbones
of the data warehouse industry.”
– Bill Inmon

6. © Syncsort Incorporated 2005 6
IT Herausforderungen
Wachsendes Datenvolumen
Bedarf für Analyse und Informationen
Höhere Anforderungen an
reduziertes Personal
Kostenkontrolle bzw. -senkung

7. © Syncsort Incorporated 2005 7
Wachsende Roh-Datenmenge
 Banken, Versicherungen, Finanz
transaktionen
– Schecks, Geldautomaten, Terminals,
Kreditkarten
 Konsumer Kaufverhalten
– Supermarkt, Kassen-Scannerdaten
 Gesundheitswesen
– pharmazeutische & Patienten Daten
 Telekommunikation
– Verbindungsdaten Details
 Internet und e-Commerce
– (Web Logs, Click-Stream)

8. © Syncsort Incorporated 2005 8
Bereitstellung auftragskritischer
Anwendungen
Anwendungen
Online Daten-
speicher
Data-
Mining
Finanzwesen Vertrieb Marketing
CRM
Alternative
Speicherung
Hybrid-Strukturen OSS
Update-Transaktion
Web
Hierarchische
Speicher-
verwaltung
Statistische
Analyse
Entscheidungs-
findungs-
systeme
Data-Marts
Betriebliche Abteilungen
Regelmäßige Berichte
Ansammlung
Bereit für
Cubes
Auswahl
Berechnung
Anwendung
1
Anwendung
2
Anwendung
3
ETL-
Prozess
Bereinigen
Umformatieren
Filtern
Bearbeiten
Weblog
Editor
Weblogs
Wochen-
umsatz je
Vertr.
Monats-
umsatz nach
Produkt
Monats-
umsatz
Data-Warehouse
Detaillierter
Transaktions-
Verlauf

9. © Syncsort Incorporated 2005 9
Lösungsanforderungen
Minimierung der Verarbeitungsdauer
der Anwendung mit einem
Minimum an Ressourcen
1.
Anwenderfreundlichkeit
Skalierbarkeit und Flexibilität
Lösung in Ihrer Umgebung
getestet und bewährt
Anbieter muss für
Performance, überragende Produkt-
qualität und Kundensupport bekannt sein
2.
3.
4.
5.
Zunehmende Datenmengen
Weniger Mitarbeiter
Analyse und
Information
Kosten-
kontrolle

10. © Syncsort Incorporated 2005 10
SRC
DMExpress
Base
SRC
TGT
ADM
GUI
SERVER
DATABASE SOURCE
COMPONENT (SRC)
[SEPARATELY
LICENSED]
DATABASE TARGET
COMPONENT (TGT)
[SEPARATELY
LICENSED]
ADVANCED DATA
MANAGEMENT
COMPONENT
(ADM)
[SEPARATELY
LICENSED]
GRAPHICAL
USER
INTERFACE
(GUI)
DMExpress

11. © Syncsort Incorporated 2005 11
DMExpress
Rohdaten-
Eingang
verwertbare
INFORMATIONEN
Metadatengesteuert
Liest direkt Transformiert Daten
Transformationen ausführen
Schreibt direkt
Patentierte High Performance Algorithmen
Transformationen entwerfen
Tasks erstellen
Aufträge erstellen
Aufträge planen
Transformationen definieren
Datenbanktabellen
Flatfiles
Pipes
Puffer
Spreadsheets
Datensätze im Arbeitsspeicher
Sortieren
Zusammenführen
Verknüpfen
Aggregieren
Kopieren
Filtern
Berechnen
Überprüfen
Umformatieren
Sofort
Später
Auf Ihrem PC
Auf Servern
In Skripts
Aus Ihren Programmen
Datenbanktabellen
Flatfiles
Pipes
Puffer
Spreadsheets
Datensätze im Arbeitsseicher

12. © Syncsort Incorporated 2005 12
Hohe Leistung
Minimale "Elapsed-Times"
Minimale Computer-
ressourcen
Hohe Leistung
 Patentierte High-
Performance-
Algorithmen
 Architekturverwertung
 Modernste Parallel-
verarbeitungstechnologie
 Dynamische Optimierung

13. © Syncsort Incorporated 2005 13
Anwenderfreundliche grafische
Benutzeroberfläche

14. © Syncsort Incorporated 2005 14
Metadatenverwaltung
DMExpress ist vielseitig und flexibel
Zentralisierte und/oder dezentrale
Metadaten
Zentrales
Depot
Nur zentralisierte Metadaten
Zentrales
Depot
Aufga
ben-
Rep.
Aufga
ben-
Rep.
Aufga
ben-
Rep.
Aufga
ben-
Rep.
Aufga
ben-
Rep.
Aufga
ben-
Rep.

15. © Syncsort Incorporated 2005 15
Mühelos definierbares
Paradigma
Vorgänge auf Quellenebene
RDBMS
Einfache Dateien
Tabellen/Dateien
fest/variabel
Beispiel:
Vorgänge auf AufzeichnungsebeneCHK,35.98
CHK,83.73
CHK,62.92
SAV,834.23
CHK,182.63
SAV,834.23
Sammeln, Zusammenführen
Vereinigen, Sortieren
Filtern, Umformatieren
Beispiel:
Vorgänge auf Feldebene PERSONAL CHECK,325.25
CASH,10.00
BUSINESS CHECK,300.00
PERSONAL CHECK,375.25
CASH,10.00
BUSINESS CHECK,360.00
ADD FEES
arithmetisch, konditional,
Datum-Uhrzeit,
Zeichenkette,
Format,
Musterabgleich
Beispiel:
Aufgabentransformationen auf allen Ebenen
Datentransformationsmodell

16. © Syncsort Incorporated 2005 16
Job-Management
 Komponentenorientierter Job
Editor für Aufgabenerstellung, Integration mit
Drittanbieter- oder Benutzeranwendungen und Script-
Generierung
 Unmittelbare oder geplante Ausführung über Workstation
oder Server
 Überwachung des Ausführungsstatus,
Detailprotokollierung sowie Planung direkt auf dem PC
mittels Job Status Manager

17. © Syncsort Incorporated 2005 17
Operative Flexibilität
 Beliebige UNIX (AIX, HP-UX, Solaris) oder Linux
oder Windows Umgebung
 Läuft eigenständig oder wird in Skripting-
Umgebung oder Programmiersprache eingebunden
 In jeder beliebigen Phase des Anwendungslebenszyklus
Unmittelbarer
Nutzen
Problem-
lösung
Proaktive
Strategie
Als Beschleuniger, der nur installiert werden
muss, um die Leistung zu erhöhen
Als Ersatz für leistungskritische
Anwendungskomponenten
Als einzige Datenintegrationssoftware zur
Implementierung der gesamten Ziel-Anwendung

18. © Syncsort Incorporated 2005 18
Fallstudie: Kundenrentabilitätsanalyse
Problemstellung:
Investment-Bank benötigt drei Tage
zur Prüfung des Kundenkontos
und der Kundenrentabilität.
Ursprünglicher Ansatz:
 DataStage
 Oracle 8i
 Solaris 2.6
 Sun E10K mit 24 CPUs
Lösung:
DMExpress Technologie
Leistung:
Verarbeitungszeit um 33% reduziert
(von 72 auf 48 Stunden)
STUNDEN
0
10
20
30
40
50
60
70
80
DataStage DMExpress
Technologie
DMExpress reduzierte
Verarbeitungszeit um 33%

19. © Syncsort Incorporated 2005 19
Fallstudie: Onlinebestellwesen
Problemstellung:
Handelsunternehmen benötigte
Datenbereinigung,
Prozesse liefen zu langsam
Ursprünglicher Ansatz:
 SAP R/3
 Oracle 8i
 Solaris 2.6
 Sun Fire12K mit 20 CPUs
Lösung:
DMExpress Technologie
Leistung:
Plattenspeicherbelegung um
36% reduziert
TERA-BYTE
0
1
2
3
4
5
6
7
8
TPS DMExpress
Technologie
DMExpress reduzierte
Daten auf Plattenspeicher
um 36%

20. © Syncsort Incorporated 2005 20
Fallstudie: Onlinebestellwesen
Problemstellung:
Handelsunternehmen benötigte
Datenbereinigung,
Prozesse liefen zu langsam
Ursprünglicher Ansatz:
 SAP R/3
 Oracle 8i
 Solaris 2.6
 Sun Fire12K mit 20 CPUs
Lösung:
DMExpress Technologie
Leistung:
Laufzeit um 50% reduziert
STUNDEN
0
1
2
3
4
5
6
7
8
TPS DMExpress
Technologie
DMExpress reduzierte
Laufzeit um 50%

21. © Syncsort Incorporated 2005 21
Fallstudie: Billingsystem
Problemstellung:
Telekommunikationsunternehmen:
Beschleunigung der Billingprozesse
für das Druckmanagement
Ursprünglicher Ansatz:
 Sun Fire12K mit 24 CPUs
 30 Gigabyte Rohdaten
Lösung:
DMExpress Technologie
Leistung:
Verarbeitungszeit um 50% reduziert
(von 4 auf 2 Stunden)
STUNDEN
0
2
4
TPS DMExpress
Technologie
DMExpress reduzierte
Verarbeitungszeit um 50%

22. © Syncsort Incorporated 2005 22
Fallstudie: Invstementbank
Problemstellung:
Konvertierung sequentieller
Datenmanagement-Prozesse,
Reduzierung der Laufzeit
Ursprünglicher Ansatz:
 JAVA
 UNIX
 Windows 2000 Server mit 4
CPUs
Lösung:
DMExpress Technologie
Leistung:
Verarbeitungszeit um 90% reduziert
(von 32 auf 2 bis 3 Stunden)
STUNDEN
0
8
16
24
32
JAVA DMExpress
Technologie
DMExpress reduzierte
Verarbeitungszeit um 90%
SyncSort UNIX

23. © Syncsort Incorporated 2005 23
Fallstudie: Good Technology
Problemstellung:
Minimierung der Verarbeitungszeiten der
täglichen Transaktionsprozesse zwecks
Analyse der Daten
Ursprünglicher Ansatz:
 UNIX + SQL Plus
 Oracle 9i Data Warehouse
 SUN 420R mit 4 CPUs
Lösung:
DMExpress Technologie
Join, Append und Lookup
Leistung:
Verarbeitungszeit um 93% gekürzt
(von 8 Stunden auf 33 Minuten)
STUNDEN
0
1
2
3
4
5
6
7
8
UNIX + SQL Plus DMExpress
Technologie
DMExpress reduzierte
Verarbeitungszeit um 93%

24. © Syncsort Incorporated 2005 24
10
Fallstudie: US-Handelskonzern
Problemstellung:
Minimierung der Verarbeitungszeiten der
Datenaggregation zwecks Analyse
Ursprünglicher Ansatz:
 SUN SOLARIS UNIX
 Oracle 9i + SQL Queries
 2 SUN V880s mit 8 CPUs
 Teradata
Lösung:
DMExpress Technologie
Leistung:
Verarbeitungszeit um 40% gekürzt
(von 40 auf 24 Stunden)
STUNDEN
0
20
30
40
Oracle SQL
Queries
DMExpress
Technologie
DMExpress reduzierte
Verarbeitungszeit um 40%
40

25. © Syncsort Incorporated 2005 25
Fallstudie: GALOSI
Problemstellung:
Minimierung der Verarbeitungszeit
für die Datenaggregation
Ursprünglicher Ansatz:
 Windows 2000 Server mit
2 CPUs
 Microsoft SQL 2000
Lösung:
DMExpress Technologie
Join und Aggregation
Leistung:
Verarbeitungszeit um 75% gekürzt
Zeit
0
40
60
80
100
Microsoft SQL
2000
DMExpress
Technologie+ SQL
DMExpress reduzierte
Verarbeitungszeit um 75%

26. © Syncsort Incorporated 2005 26
Fallstudie: Telefonbestand und
Rechnungswesen
Problemstellung:
Konvertierung der Bestand- und Rechnungsdaten
benötigt sieben Tage Verarbeitungszeit
Ursprünglicher Ansatz:
 Informatica
 Oracle 8i
 HP 9000/800 mit 8 CPUs
Lösung:
Großteil der Informatica Prozesse
wurde mit DMExpress Technologie
umgestaltet
Leistung:
Verarbeitungszeit um 88% gekürzt
(von einer Woche auf 20 Stunden)
STUNDEN
0
20
40
60
80
100
120
140
160
180
Informatica + C++ DMExpress
Technologie
DMExpress reduzierte
Verarbeitungszeit um 88%

27. © Syncsort Incorporated 2005 27
Fallstudie: AC Nielsen Data-Warehouse
Problemstellung:
 Wöchentlich werden 12 Mrd.
Verkaufsfakten
in vier Dimensionen
zusammengetragen.
 3000 verschiedene Star-Schemata
– Zentrale Proof-of-Concept-
Voraussetzung
 2,7 Milliarden Fakten
bei drei Dimension und einer
Tiefe von zwei bis fünf Ebenen
aus einer Oracle 9i Datenbank
auf einem HP RP8400 mit 16
CPUs in weniger als acht
Stunden zusammentragen
 DMExpress
7 Stunden und 16 Minuten
 Erhielt den Vorzug vor
anderen
ETL Produkten
 Nach der vollständigen
Entwicklung läuft der
Sammelvorgang
nun in kürzerer Zeit auf
einigen IBM P650 mit 8
CPUs ab.
Lösung

28. © Syncsort Incorporated 2005 28
Vorteile
 Minimierung der Batchapplikations-Laufzeiten
 Reduzierung der Hardwarekosten
 Reduzierung der Personalkosten/Erhöhung der
Produktivität
 Operationale Zuverlässigkeit

29. © Syncsort Incorporated 2005 29
Syncsort Kunden

30. © Syncsort Incorporated 2005 30
Syncsort Kunden

31. © Syncsort Incorporated 2005 31
Syncsort Kunden

32. © Syncsort Incorporated 2005 32
Syncsort Kunden

33. © Syncsort Incorporated 2005 33
Syncsort Kunden

34. © Syncsort Incorporated 2005 34
Syncsort Kunden

35. © Syncsort Incorporated 2005 35
Ronald Körsgen
Vertriebsbeauftragter
rkoersgen@syncsort.de