Big Data više ne predstavlja novost. Usled ekspanzije podataka koji dolaze sa različitih izvora javlja se potreba za novim alatima koji su u mogućnosti da obrade velike količine podataka. Kako kompanije već poseduju tradicionalnu infrastrukturu, veoma je bitno da razvoj Big Data rešenja bude usmeren ka tome da se integriše u postojeći sistem i da donese nove vrednosti.

1. Big Data i Arhitektura
Big Data aplikacije
Darko Marjanovic
CEO & Co-Founder @ Things Solver
darko@thingsolver.com

2. • Implementacija Big Data rešenja
• Big Data consulting
• Big Data treninzi
Partneri

3. Agenda
• Big Data
• Big Data primeri
• Arhitektura Big Data aplikacije
• Primeri

4. Šta je to Big Data?
• Big Data predstavlja podatke koji pristižu velikom
brzinom i one su količine koja prevazilazu
mogućnosti tradicionalnog softvera za skladištenje,
obradu i upravljanje podacima.
• Big Data je sve ono što ne može da stane u Excel.

5. Big Data - Dimenzije

6. Big Data - Izvori podataka
• Društvene mreže (Twitter, Facebook…)
• Email, HTML, Click Stream
• Slike, Video, Logovi, Senzorski podaci
• Relacione Baze podataka

8. Big Data - Primeri
• Šta se najviše kupuje uz pivo?
• U kojoj vezi su kiša i integralna peciva?
• House of Cards i Big Data?

11. Big Data - Korisnici

12. Male i srednje kompanije?
• Cena
• Benefiti
• Budućnost

13. Aplikacije - Šta treba uzeti u
obzir
• Sadašnje i potencijalne izvore
• Brzinu rasta podataka
• Biznis potrebe
• Resursi? Cloud je jeftin, Hadoop je besplatan
• Cena

14. Arhitektura Big Data Aplikacije

15. Big Data Aplikacija - Cloud
VS Bare Metal
• Cena
• Fleksibilnost
• Administracija
• Performanse
• Kontrola

16. Big Data alati - Ingestion
• Unos podataka u storage sloj
• Unošenje samo validnih podataka
• Unos podataka u realnom vremenu ili ne
• Korišćenje gotovih alata

17. Big Data alati - Ingestion
• Flume
• Sqoop
• Kafka
• Storm
• Kinesis
• …

18. Big Data alati - Storage
• Hadoop HDFS - velika brzina upisa, write once
read many…
• NoSQL Baza - brzo čitanje, operativna baza…

19. Hadoop
• Hadoop Common
• HDFS
• MapReduce
• YARN

20. Big Data alati - Analytics
• MapReduce (Java, Python, C#…)
• Pig (ETL…)
• Hive, Tajo (Hadoop DWH alat)
• Spark (10x brži MapReduce)
• Storm (Streaming)
• Python, R
• Flink

23. Big Data greške!
• Prebacivanje relacionih baza u Hadoop za potrebe
obrade Hive-om (Hadoop nije zamena za RDBMS).
• Parčanje podataka u više “Data Lake”-ova.
• SQL orijentacija (Big Data analiza je moćnija ako se
kombinuje više alata, Hive(SQL), R, Pig,
MapReduce…)
• …

24. Korisni linkovi
• Hadoop Srbija
• Meetup grupa
• Hortonworks
• Big Data Application Architecture Q&A

25. Big Data i Arhitektura
Big Data aplikacije
Darko Marjanovic
CEO & Co-Founder @ Things Solver
darko@thingsolver.com
25