CGAG Advisory Board Meeting 21.11.2014: Location Intelligence & Data Warehousing (Roland Pieringer)

1. explore commit .
.
perform
CGAG Advisory Board Meeting
Location Intelligence & und Integration
ins Data Warehouse
Dr. Roland Pieringer
Managing Partner
roland.pieringer@callista-group.com

2. Aspekte zu Location Intelligence
und Data Warehousing
• Location Data Integration verbindet Daten im DWH mit
Geo-Codierungen und externen Daten
• Herausforderung: Geo-Codierung
– Adress-Informationen erforderlich (z.B. Für Kunden, Objekte,
Ereignisse, Transaktionen, Touchpoints, Stores, Objekte,
Events, ...)
– Erfolgsfaktor: Vollständigkeit und Qualität der Adress-
Informationen
• Wichtige Voraussetzung: Definition von geografischen
Gebieten, die interessant sind, z.B.
– Allgemein definierte Gebiete wie Kantone, Gemeinden, Bezirke etc.
– Organisatorische Gebiete des Unternehmens wie
Vertriebsregionen, Einzugsgebiete, Schadenregionen
– Häufig kann durch saubere Definition von möglichst kleinen
Regionen (z.B. Hektarzellen) eine Hierarchie aufgebaut werden,
die dann unterschiedlich strukturiert werden kann
è Basis ist nutzbar für Vertriebsregionen und Schadenregionen
è bietet Vergleichsmöglichkeiten für Auswertungen
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
2

3. Integration ins DWH
• Es gibt verschiedene Ansätze, mit geografischen
Informationen im DWH zu arbeiten.
• Die Ansätze unterscheiden sich darin,
– wo die Geodaten gehostet werden,
– wie Geo-Codierungen erfolgen und
– wo die Auswertungen mit Geo-Bezug vorgenommen werden
• Externe Daten können sowohl im GIS als auch im DWH
gespeichert und genutzt werden
• Wichtig ist die Geo-Codierung von grossen Datenmengen
(z.B. Adressinformationen von Kunden, versicherten
Objekten etc.)
• Anmerkung: insbesondere im Kontext von Open Data gibt
es auch nutzbare Webservices für die Geo-Codierung und
als Datengrundlage für geographische Auswertungen.
è Hinweis Nutzbarkeit im DWH: Intensive Bewertung der
Themen Performance, Security und Verfügbarkeit nötig!
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
3

4. Referenzarchitektur
File
SO
AP
DB
XML
Staging ODS Enrichment
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
4
Data
Sources
Staging Area Data Marts Analysis
Services
Presen-tation
Front
End
Historization I Historization II
Applications:
Data Entry,
Event Detection,
Reusable Entities Integration, Aggregation, Calculation
Reporting
OLAP
Mining
Web/App
Servers GUI
Legend:
Metadata Management
Table
structure
in DB
ETL Logic File MDDB
Application
Logic
(no ETL)
Analysis
Data Layer
File
Enrichment Layer
DB
GIS
DB
Data
Warehouse
Referenzarchitektur
GIS
Architektur
(vereinfacht)

5. Variante 1: Koexistenz von GIS
und DWH
• Auswertungen werden im GIS durchgeführt, Datenbereitstellung
als Export DWH à GIS
• Sehr komplexe Spezialauswertungen, z.B. Räumliche Logiken und
Strukturen sind möglich
• Darstellung in Karten durch GIS
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
5

6. Variante 2: GIS als Komponente des
DWH
• Geo-Codierung kann durch Komponente innerhalb des DWH oder
über einen Service erfolgen (muss im DWH allerdings
“massentauglich” sein)
• Auswertungen können direkt auf dem DWH durchgeführt werden
Analysis
Staging ODS Enrichment
Staging Area Data Marts Analysis
DB
File
SO
AP
DB
XML
Data
Sources
Services
Presen-tation
Front
End
Data Layer
Historization I Historization II
File
Enrichment Layer
Applications:
Data Entry,
Event Detection,
Reusable Entities Integration, Aggregation, Calculation
Reporting
OLAP
Mining
Web/App
Servers GUI
Legend:
Metadata Management
Table
structure
in DB
ETL Logic File MDDB
Application
Logic
(no ETL)
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
6

7. Variante 3: Redundanz von GIS und
DWH
• Geo-Codierungen können im GIS vorgenommen werden
• Daten werden an GIS exportiert, Ergebnisse in DWH importiert
(Closed Loop)
• Geo-Auswertungen im DWH und im GIS möglich
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
7

8. Use Case Versicherung: Risikogebiete -
Schadengebiete – Kunden/Vertriebs-gebiete
• Herausforderung: Reporting in Kombination von 3 geocodierten
Entitäten
– Kunden
– Schäden (Objekte)
– Risiken (Gebiete)
• Intelligence im DWH
– Kunden / Schäden
• Intelligence im GIS
– Risikogebiete
– Schäden
• Externe Daten: Wetterdaten für Risikogebiete und Gefahrenzonen
• Location Intelligence in Bezug auf die Kombination von Schäden /
Risikogebieten bzw. Gefahrenzonen
– Spatial Queries (Proximity Logik)
– Wetterdaten (externe Daten)
– Risikobewertung anhand möglicher betroffener Objekte (Spatial Queries
über Positionen und Polygonen)
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
8

9. Diskussion
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
9

10. Backup
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
10

11. Variante 1: Koexistenz von GIS und
DWH
Analysis
Staging ODS Enrichment
Staging Area Data Marts Analysis
DB
File
SO
AP
DB
XML
Data
Sources
Services
Presen-tation
Front
End
Data Layer
Historization I Historization II
File
Enrichment Layer
Applications:
Data Entry,
Event Detection,
Reusable Entities Integration, Aggregation, Calculation
Reporting
OLAP
Mining
Web/App
Servers GUI
Legend:
Metadata Management
Table
structure
in DB
ETL Logic File MDDB
Application
Logic
(no ETL)
GIS
DB
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
11

12. Variante 3: Redundanz von GIS und
DWH
Analysis
Staging ODS Enrichment
Staging Area Data Marts Analysis
DB
File
SO
AP
DB
XML
Data
Sources
Services
Closed
Loop
Presen-tation
Front
End
Data Layer
Historization I Historization II
File
Enrichment Layer
Applications:
Data Entry,
Event Detection,
Reusable Entities Integration, Aggregation, Calculation
Reporting
OLAP
Mining
Web/App
Servers GUI
Legend:
Metadata Management
Table
structure
in DB
ETL Logic File MDDB
Application
Logic
(no ETL)
GIS
DB
20.11.14
CGAG
Advisory
Board
Mee5ng
-­‐
DWH
&
GIS
12