2. Agenda
• Prague Data Management Meetup
• Gartner Magic Quadrant for Magic Quadrant for Data Management
Solutions for Analytics 2018
• Základy modelování DW #2
3. Prague Data Management Meetup
• Open professional group
• Everyone is welcomed
• There are no bad topics☺
• Since September 2015
Data Management
Data Acquisition
Data Storing
Data Integration
Data Analytics
Data Usage
4. History
# Date Topics
1 10. 9. 2015 Data Management
2 14. 10. 2015 Data Lake
3 23. 11. 2015 Dark Data (without Dark Energy and Dark Force)
4 12. 1. 2016 Data Lake
5 7. 3. 2016 Sad Stories About DW Modeling (sad stories only)
6 23. 3. 2016 Self-service BI Street Battle
7 27. 4. 2016 Let's explore the new Microsoft PowerBI!
8 22. 9. 2016 Data Management pro začátečníky
Data Management for Beginners
9 17. 10. 2016 Small Big Data
10 22. 11. 2016 Základy modelování DW
DW Modeling Basics
11 23.1.2017 Komponenty datových skladů
Data Warehouse Components
# Date Topics
12 28.2.2017 Operational Data Store
13 28.3.2017 Metadata v DW/BI
DW/BI Metadata
14 25.4.2017 Jak se stát DW/BI konzultantem
Be DW/BI Consultant
15 16.5.2017 SQL
16 29.5.2017 From IoT to AI: Applications of time series data
17 26.9.2017 Aktuální trendy v data managementu
Actual trends in data management
18 24.10.2017 Datové platformy na technologiích Oracle
Data platforms based on Oracle
19 21.11.2017 Big Data rychle a zběsile
Big Data Fast and Furious
20 30.1.2018 Jak se staví velké datové sklady
How to build huge data warehouse
21 27.2.2018 Základy modelování DW #2
DW Modeling Basics
7. Business Process
Analysis #2
Analysis #1
Application Integration
vs.
Data Integration
Some data are lost…
Some data unusable…
Some data unused…
Operations
Analytics
8.
9.
10. Data Warehouse
• Konsolidovat data z nejrůznějších
zdrojů v požadované kvalitě a čase
• Poskytovat srozumitelné informace
různým účelům a skupinám uživatelů
• Poskytovat možnosti, které zajistí
flexibilní a účinný ad-hoc reporting a
analýzu
• Orientace na subjekt
• Integrace
• Nízká proměnlivost
• Historizace
• Hlavní perspektivy
• Datová integrace
• Datová úložiště
• Datové zdroje
• Datová analytika
• Rozšíření
• Zpracování událostí (Complex Event
Processing) pro zpracování událostí
v reálném čase
• Aplikační integraci zejména pro integraci
v pokud možno reálném čase a podporu
provozních procesů
• Operational Data Store pro uložení
aktuálních dat, které jsou potřeba pro
podporu provozních procesů
• Big Data
EDW, DW, DSS, ADS, ADW, DP…
11. Typy Data Warehouse
Fyzická Data Warehouse
• Klasická relační databáze.
• Výhody:
• Reálné uložení dat snižuje nároky na
governance
• Stabilita a možnost transformací pro
mandatorní reporting.
• Snadnější standardní metody data
miningu
• Nevýhody:
• železo – Hardware, při fyzickém uložení
resp. přeuložení
• máme data vícekrát.
Logický Data Warehouse
• Data neukládám do konsolidované
struktury, ale říkám jak je jednotně číst.
• Nový trend – Big Data, Query Engine.
• Výhody:
• Data mám pouze jednou a to v podobě
primárního systému.
• Neztrácím informace fyzickými
transformacemi do jednotné struktury.
• Nevýhody:
• Náročná Governance
15
14. Data Copy vs. Reference
Performance
issues
Faster local data access
Load distribution (Operational and Reporting)
Time issues Less granularity of secondary system
History
Availability
issues
e.g. primary 10x5, secondary 24x7
Consolidation
issues
e.g. Consolidated client, product
Security
issues
19
15. Proč modelovat/normalizovat data?
Update anomaly Delete anomalyInsert anomaly
Dr. Newsome nejde uložit
bez kurzu…
Zaměstnance 519 má 2 různé
adresy…
Smazáním kurzu ENG-206 zmizí i
Dr. Giddens…