Ankara Spark Meetup olarak ilk buluşmamızda 'Big Data Ekosistemi ve Apache Spark Mimarisi' hakkında genel bilgiler verdik

1. Big Data && Apache Spark

2. Hakkımda
§ İstanbul Ünv . Bilgisayar Müh
§ 9+ Java , Java EE
§ 3+ Hadoop,Spark,Pig,Hive,Oozie
§ Big Data Developer - Comodo
§ Blogger/Trainer - buyukveri.co

3. İçerik
• Büyük Veri(Big Data) Nedir ?
• Hadoop Nedir ve Temel Bileşenleri (HDFS , MapReduce)?
• Kullanım Senaryoları
• Apache Spark
• Apache Spark Bileşenleri
• Apache Spark Mimarisi
• RDD,DataFrame,DataSet
• Spark Streaming
• Mlib

4. Büyük Veri Nedir?
●
Big data(büyük veri) genel olarak yüksek hacimlerdeki veriler için kullanılan bir terimdir.

5. Volume(Veri Hacmi)
●
Bu özellik verinin yüksek hacimli olduğunu belirtir

6. Velocity(Veri hızı)
●
Veriler o kadar hızlı üretilmektedir ki , bir dakika içerisinde 200+ milyon e-mail , 4+ milyon
Facebook like , 1+ milyon Instagram like işlemi yapılmaktadır

7. Variety(Veri çeşitliliği)
●
Verilerin belirli bir yapısı yoktur, genellikle değişkendir.Resimler, ses dosyaları, text dosyaları

8. Hadoop Nedir ?
Hadoop , büyük veri kümeleri ile birden fazla makinada paralel olarak işlem yapmamızı
sağlayan Java ile yazılmış açık kaynak kodlu kütüphanedir

9. Hadoop Hdfs Nedir ?
Hadoop içerisinde büyük verileri sakladığımız bileşene HDFS (Hadoop Distributed File System)
denir

10. Hadoop MapReduce Nedir?
Hadoop içerisinde büyük verileri paralel olarak işleyebileceğimiz bileşene MapReduce denir .

11. Kullanım Senaryoları

12. Örnek Analizler
●
Son bir saat içerisinde 50 den fazla reklama tıklayan kullanıcılar
●
Referer_url bilgisinden arama yapılan anahtar kelimelerin bulunması
●
Tavsiye motoru (Müzik siteleri , sinema siteleri , alışveriş siteleri)
●
Network üzerinde anormal durumlar ( fraud , anomaly detection )
●
Reklam gösterimleri (Ad-network)

13. Apache Spark
Apache Spark büyük verileri dağıtık makinalarda işlemek için kullanılan bir kütüphanedir

14. Apache Spark
●
2009 yılında UC Berkeley ' de geliştiriliyor
●
Hadoop ile karşılaştırıldığında
10(x) disk ve 100(x) memory hızlı
●
Java, Scala, Python, R
●
Şu an Apache Software Foundation altında geliştiriliyor
●
2014 yılında TLP(Top Level Project) olarak duyuruluyor

15. Apache Spark Bileşenleri

16. Apache Spark Mimarisi

17. RDD, DataFrame, DataSet
●
Verileri cluster üzerinde saklayarak paralel olarak işlemler yapmamızı sağlar

18. RDD
●
Dağıtık(Distributed) JVM nesneleridir
●
map,reduce,count,groupBy,filter,join,saveAsTextFile .. gibi metodlar sağlar

19. DataFrame
●
Spark 1.3 ile gelmiştir
●
RDD ye göre performansı daha iyidir . SQL benzeri sorgular çalıştırılabilir.

20. DataSet
●
Spark 1.6 ile gelmiştir
●
Type-safe sağlar ,
hataları compile time da gösterir
●
Memory üzerinde daha az yer kaplar
●
RDD ' ye göre hızlıdır
●
Encoder yapısı değişmiştir

21. Spark Streaming
●
Gelen verileri anlık olarak(real time) analiz etmemizi sağlar
●
Topladığı verileri parametrik olarak window lara ayırır (window1,window2...)

22. MLib
●
Ölçeklenebilir machine learning kütüphaneleri mevcuttur
●
Java, Scala, Python ve R ile geliştirilebilir
●
Logistic regression
Gelen e-mailler içerisinde spam olanlar belirlenebilir
●
Clustering
K-means ile network verileri üzerinde anormal atakların(anomaly detection) bulunması
●
Recomendation
ALS ile bireylerin davranışlarının birbirlerine benzetilerek film,müzik.. önerisi

23. K-means

24. ALS

25. Teşekkürler