Big Data is transforming the way enterprises interact with information, but that’s only half the story. The real innovations are happening at the intersection of Fast Data and Big Data. This presentation shown how to build a Fast Data Platform using VoltDB, Hortonworks and Vertica.

1. Fast Data Platforms
@HUG_Italy Meetup (17/4/2015)
@andrea_gioia

2. Un po’ di storia
VoltDB e i Fast Data
Utilizzo di VoltDB in una Enterprise
Data Platform

3. Un po’ di storia
VoltDB e i Fast Data
Utilizzo di VoltDB in una Enterprise
Data Platform

4. FASE 1: ONE SIZE FIT ALL

5. FASE 2: OLAP vs OLTP

6. FASE 2: ARCHITETTURA DATI

7. …MA I VOLUMI CRESCONO VELOCEMENTE

8. PROBLEMA: SCALABILITA’ SOLO VERTICALE

9. SOLUZIONE: CODE + SHARDING

10. SOLUZIONE: CODE + SHARDING
Partition-1 Partition-2 Partition-3 Partition-4 Partition-5 Partition-6

11. …MA I VOLUMI CRESCONO VELOCEMENTE

12. Problemi
PROBLEMI
1. Gestione dei
fault
2. Gestione
applicativa
del cluster
3. Ricalcolo
massivo

13. FASE 3: HADOOP 1.0
Componenti
1. Dati distribuiti (HDFS)
2. Computazione distribuita (Map-Reduce)
Vantaggi
1. Maschera la complessità della gestione
del cluster
2. Minimizza gli spostamenti dei dati
3. Scala orizzontalmente su commodity
hardware

14. FASE 3: ARCHITETTURA

15. FASE 3: DATA LAKE
Caratteristiche
1. Tutti i dati al massimo livello di
dettaglio (Volume)
2. Dati strutturati e non (Varietà)
3. Dati aggiunti appena disponibili
(Velocità)
4. Dati processabili in modalità
distribuita (Valore)

16. DATA LAKE != DWH

17. PROBLEMA: BIG MA NON FAST
COLLECT EXPLORE
ANALYZEACT
RISULTATI
1. Scoperta
2. Interrogazione
3. Ottimizzazione

18. FASE 4: SQL on HADOOP

19. FASE 4: ARCHITETTURA

20. PROBLEMA: VELOCE MA NON ABBASTANZA

21. …PERCHE’ I DATI CRESCONO IN VOLUME E IN VELOCITA’

22. FASE 5: SPECIALIZZAZIONE

23. FASE 5: LAMBDA ARCHITECTURE
Marged View
(QUERY)

24. LAMBDA ARCHITECTURE: PAIN POINTS
Problematiche
1. Duplicazione della logica di calcolo
2. Integrazione viste effettuata a livello
applicativo
3. Molte componenti software da
gestire
4. Molte componenti hardware
esposte a possibili fault
5. Velocità del fast layer limitata dal
sistema di storage dello stato
utilizzato

25. FAST LAYER SEMPLIFICATO

26. Un po’ di storia
VoltDB e i Fast Data
Utilizzo di VoltDB in una Enterprise
Data Platform

27. VoltDB è un database…
1. In memory
2. Partitioned
3. Single-threaded
4. Distributed
5. ACID compliant
COS’E’?

28. A tutte quelle applicazioni che
hanno bisogno di processare
grosse quantità di dati in
modo affidabile e veloce (fast
data)
Requisiti chiave per queste
applicazioni sono…
1. Altissimo throughput
2. Scalabilità
3. Affidabilità
4. High Availability
A CHI SERVE

29. A CHI NON SERVE
A tutte quelle applicazioni che
hanno bisogno di immagazzinare e
confrontare grosse quantità di dati
storici suddivisi su più tabelle (dwh
e bi)

30. DATA PARTITIONING

31. DATA REPLICATION

32. DISTRIBUTED PROCESSING

33. Garantita per mezzo di …
1. Replica delle partizioni
(K-SAFETY)
HIGH AVAILABILITY

34. DURABILITY
Garantita per mezzo di …
1. Snapshots periodici
2. Command logging (sincrono o
asincrono)
3. Replication (business continuity)

35. Un po’ di storia
VoltDB e i Fast Data
Utilizzo di VoltDB in una Enterprise
Data Platform

36. DATA PLATFORM 1

37. DATA PLATFORM 2

38. DATA PLATFORM 2

39. DATA PLATFORM 2

40. DATA PLATFORM 2
APP APP

41. GRAZIE!

42. DOMANDE?

43. BIBLIOGRAFIA
1. How to beat the CAP (Nathan Marz)
2. Questioning the Lambda Architecture (Jay Kreps)
3. The Log: What every software engineer should know about real-
time data's unifying abstraction (Jay Kreps)
4. Polyglot Persistence (Martin Fowler)
5. Fast Data and the New Enterprise Data Architecture (Scott Jarr)
6. Simplifying the (complex) Lambda architecture (John Piekos)

44. @andrea_gioia
andrea.gioia@quantyca.it
@quantycabi
www.quantyca.it