InGeoForum 2015, Darmstadt Dr. Fritz Schinkel, Program Manager Big Data Innovations, Fujitsu

1. Big Data
Anwendungen und
Infrastrukturen
InGeoForum 2015, Darmstadt
Dr. Fritz Schinkel
Program Manager Big Data Innovations

2. 1 © 2015 FUJITSU
Eine neu entstehende Welt mit
zunehmender Vernetzung von
Menschen, Informationen, Dingen und
Infrastrukturen und grundlegenden
Veränderungen der Lebens- und
Arbeitszusammenhänge.
Menschen
Enorme Anzahl
individueller
Teilnehmer
Information Big Data Methoden
für neue Werte
Infrastruktur
Anbindung und
zentrale Speicherung
und Verarbeitung
Fujitsus Vision der “Hyperconnected World”

3. 2 © 2015 FUJITSU
Information: Verstehen der gesammelten Daten
!
Demographie-
vorhersage
!
Verkehrstrends
! ! Windmessungen
& Wettertrends
Risikobewertung
des Wetters
!
Selbststeuerndes
Auto: 3.6 TB/h
#
Smart-Meters für 80% der
Stromverbraucher in der EU 2020
#
PBs an Daten von über
100 Wettersatelliten#
Mehr als 50 Milliarden verbundene Dinge#
?
Ist unsere
Energieversorgung
zukunftsfähig?
?
Sollten wir in
Windenergie
investieren?

4. 3 © 2015 FUJITSU
Die 3 Dimensionen gemeinsam erzeugen geschäftlichen und gesellschaftlichen Nutzen
Erwartungen an eine Big Data Lösung
Gesellschaft & Wirtschaft
Kommunikation & Schaffung
informationsbasierter Geschäftsideen
Kreative Intelligenz
Schnell wachsendes Wissen
aus Daten und Informationen
Verbundene Infrastruktur
Umfassende Verbindung, Speicherung
und zeitnahe Verarbeitung

5. 4 © 2015 FUJITSU
Big Data Infrastruktur Referenz Architektur:
Plattform passend zur Geschäftsidee
Konsolidierte Daten Destillierte Essenz Angewandtes WissenVielfältige Data
Extrahieren, Sammeln Bereinigung, Transformation Entscheiden, HandelnAnalyse, Visualisierung
Datenquellen Analyseplattform Zugriff
Batch-
Verarbeitung
Ereignis-
Verarbeitung
Dialog-
Verarbeitung
Datenbanken
Applikation-
server
Web-
Inhalte
Sensor-
daten
Apps
Dienste
Abfragen
Visualisierung
Reporting
Mitteilungen

6. 5 © 2015 FUJITSU
Big Data Wertschöpfungskette
Big Data
Extrahieren
Sammeln
Strukturierte &
unstrukturierte Daten
Geräte,
Sensoren,
Internet der Dinge
Bereinigen
Transformieren
Analysieren
Entdecken
Entscheiden
Handeln
Forschung &
Entwicklung,
Wissenschaft
Betrieb,
Automatisierung,
Produktion
Interaktive
Berichte,
Werbung
Strukturierter Ansatz in drei Schritten.
Soziale Medien,
offene Daten,
verknüpfte Daten

7. 6 © 2015 FUJITSU
Import, Analyse, Visualisierung
Big Data
Extract
Collect
Structured &
unstructured data
Devices,
sensors,
Internet of Things
Cleanse
Transform
Analyze
Find
Decide
Act
Research &
development,
science
Operation,
automation,
production
Interactive
reporting,
advertising
Social media, open
data,
linked data
Integriertes Werkzeug macht Big Data so einfach wie Excel und PowerPoint
Extrahieren
Sammeln
Bereinigen
Transformieren
Analysieren
Entdecken
Entscheiden
Handeln

8. 7 © 2015 FUJITSU
Big Data Beratung und Dienstleistungen
Big Data Assessment Workshop
Verständnis für die Möglichkeiten, Big Data gewinnbringend in der eigenen
Organisation einzusetzen; Begutachtung der strategischen Ziele, Prozesse,
und technischen Stärken.
Strategie Beratung
Entwicklung eines umfassenden Strategieplans und des optimalen
Vorgehens zur effizienten Einführung von Big Data in Ihr Geschäft.
Analyse-Service
Fujitsu Big Data Analyse-Services helfen unseren Kunden bei der schnellen
Implementierung neuer Big Data Analysen und Abläufe ausgehend von
erprobten Use Cases
Hadoop-Service
Pragmatische, effiziente und gesicherte Services zur Integration von
Hadoop in Ihre Geschäftsprozesse.
Integrations-Service
Bereitstellung der Lösung in Ihrer Umgebung mit bestehenden IT-Services.
• Fujitsu Big Data Assessment Workshop
• Fujitsu Big Data Strategy Consulting
• Fujitsu Big Data Analytics Services
Big Data Consulting Services
Fujitsu Services for Hadoop
Fujitsu Integration Services

9. 8 © 2015 FUJITSU
Plattform: PRIMEFLEX for Hadoop
Hadoop platform sourcing options
On-premise: Entry oder Rack
Storage / Compute intensiv
Off-premise: Cloud Angebot
Verbundene Infrastruktur
Entry Rack Cloud
Software-Stack
Hadoop-Kern: Map Reduce / HDFS
Analyse-Framework
Kreative Intelligenz
Big Data
Management
Analyse
Software
Service und Beratung
Integrations-Service
Tool-unterstütztes Sizing
Hadoop- und Analyse-Service
Gesellschaft & Wirtschaft
Analyse-
Services
Integrations-Service
und
Sizing

10. 9 © 2015 FUJITSU
Big Data Anwendung:
Wetter- und Klimatrend-Vorhersagen
Einsatzfälle:
Erneuerbare Energiegewinnung (Solar,
Wind)
Planung in der Landwirtschaft
(Hochwasser, Schädlingsbekämpfung)
Planung von Ski-Gebieten
Versicherungen / Investment
Betrieb von Kraftwerken
Verkehr: e-Mobility, Flugverkehr,
Schiffsverkehr, Segeln
Industrie, Handel, Dienstleistungen
Fernsehanstalten
Benötigt: Historische Wetterdaten für Trend-Analysen.

11. 10 © 2015 FUJITSU
Historische Wetterdaten für Trend-Analysen
European Centre for
Medium-Range Weather Forecasts (ECMWF)
Analyse der Wetterentwicklung
Globale Wetterdaten seit 1979
Zeitreihen von Wetterkarten
Einsetzbar für Klimaforschung und lokale Trend-
Analyse
Wettermodell ERA Interim
ECMWF Re-Analysis; Interim (höchste Auflösung)
Modellauflösung
Zeitintervall 6h
Zeitraster: 0:00, 6:00, 12:00, 18:00 GMT
Gitterabstand 0,25°(4 Punkte pro Grad)
128 meteorologische Parameter
~25 TB an Daten
Zeitreihe von Wetterkarten

12. 11 © 2015 FUJITSU
Plattform erfüllt Herausforderung
Laden der ECMWF Daten im HDFS
MapReduce zur Invertierung …
… von Zeitreihen weltweiter Wetterkarten
… zu gitterpunktbasierten Zeitreihen einzelner
meteorologischer Parameter
Sortierte Key-Value-Paare
Key = Geokoordinaten + Zeit
Value = Meteorologische Werte
Java Service
Ermittlung nächstliegender Zeitreihen
Interpolation der benötigten lokalen Zeitreihe
Webseite
Benutzer-Interaktionen
Visualisierung der Ergebnisse
Inkrementeller Update durch kurze MR Jobs
Offen für neue Korrelationen zu Wetterdaten
Import der
Wetterhistorie
Invertieren der
Zeitreihen
Ermittlung nächstliegender Zeitreihen,
Interpolation der benötigten lokalen
Zeitreihe
Visualisierung
der Ergebnisse
Weitere Fragen und
Antworten zum Wetter

13. 12 Copyright 2014 FUJITSU
Showcase

14. 13 © 2015 FUJITSU
PRIMEFLEX for Hadoop Highlights
Integriertes System
Verbindet den Komfort vorkonfigurierter und vorgetesteter Hardware
mit den ökonomischen Vorteilen von Open Source Software
Analytische Fähigkeiten
Self-service Big Data Analysen, Benchmarking, Historische
Vergleiche, Korrelationen, Vorhersage-Funktionen
Visualisierung
Mächtige dynamische Visualisierung von Big Data Szenarien mit
vielfältigen Datenquellen und hoher Produktivität
Ergänzung durch passende Services
Flexible Roadmap zu Big Data Strategie, Anwendungen und Werten

15. 14 © 2015 FUJITSU
Big Data & Geoinformation
VisualisierungVisualisierungVisualisierungVisualisierung von raumbezogenen Daten mit zusätzlichen Kontexten - die überwiegende
Anzahl an heutigen Informationen haben einen Raumbezug und stehen somit direkt im Kontext
zu Big Data
DatenmengenDatenmengenDatenmengenDatenmengen –––– Geoinformation stehen für riesige Datenmengen - per se ein Big Data Thema
(der Datenmenge, der Verarbeitung, ...)
VerknüpfungenVerknüpfungenVerknüpfungenVerknüpfungen von relativ statischen Bestandsdaten mit dynamischen Daten in Echtzeit mit
dem Raumbezug als Ordnungselement.
Schnelle VisualisierungSchnelle VisualisierungSchnelle VisualisierungSchnelle Visualisierung von bis dato nur als reine Zahlen verfügbares Datenmaterial (u. a.
Sensorik).
Einbeziehung nutzergenerierter Geoinformationennutzergenerierter Geoinformationennutzergenerierter Geoinformationennutzergenerierter Geoinformationen (Crowd Scouring).
Qualifizierung und Validierung der DatenqualitätQualifizierung und Validierung der DatenqualitätQualifizierung und Validierung der DatenqualitätQualifizierung und Validierung der Datenqualität (Hinreichende Verprobung von Plausibiltäten in
Echtzeit über räumliche Strukturierungen).
Zielgruppenorientierte BereitstellungZielgruppenorientierte BereitstellungZielgruppenorientierte BereitstellungZielgruppenorientierte Bereitstellung von Geodaten.

16. 15 © 2015 FUJITSU
Kontakte
Fujitsu Germany
Dr. Fritz Schinkel
Program Manager Big Data Innovations
fritz.schinkel@ts.fujitsu.com
Meteomatics GmbH
Dr. Martin J. Fengler
Geschäftsführer
mfengler@meteomatics.com
Besuchen Sie auch
http://www.fujitsu.com/de/solutions/business-
technology/bigdata/
http://www.fujitsu.com/de/solutions/infrastructure/integra
ted-system/primeflex/

17. 16 © 2015 FUJITSU