This document provides an overview of big data, Hadoop ecosystem, and data science. It discusses key concepts like what big data is, different types of big data, evolution of big data technologies, components of Hadoop ecosystem like MapReduce, HDFS, HBase, components for data ingestion and analytics. It also summarizes common techniques used in data science like descriptive analytics, predictive analytics, prescriptive analytics, and provides examples of exploratory data analysis and data mining.

1. Büyük Veri, Hadoop Ekosistemi ve Veri Bilimi
Dr. M. Umut DEMİREZEN
STM Büyük Veri ve Veri Bilimi Grup Lideri
udemirezen@stm.com.tr | @udmrzn
UNCLASSIFIED

2. HİZMETE ÖZEL UNCLASSIFIED
2/95
Big Data Kavramı
2
« Big Data is the realizaOon of greater
business intelligence by storing,
processing, and analyzing data that was
previously ignored due to the limitaOons
of tradiOonal data management
technologies »
«Big Data is a collecOon of data sets,
which are enormously large and complex
that convenOonal database
systems cannot process within desired
Ome.»

3. HİZMETE ÖZEL UNCLASSIFIED
3/95
Big Data Kavramı
3

4. HİZMETE ÖZEL UNCLASSIFIED
4/95
Big Data Veri Türleri
4
ü Duran Veri (Data at Rest)
ü Akışkan Veri (Data in Mo@on)
ü Bağlı Data (Linked Data)
ü Zaman Serisi (Time Series)

5. HİZMETE ÖZEL UNCLASSIFIED
5/95
ETL
Real Time
Streams
Unstructured Data (HDFS)
Real Time
Structured
Database
(hBase, Gemfire,
Cassandra)
Big SQL
(Greenplum,
AsterData,
Etc…)
Batch
Processing
Real-Time
Processing(s4, storm)
Analytics
Günümüzde Kullanılan Büyük Veri İşleme Teknikleri
DiM
DaR

6. HİZMETE ÖZEL UNCLASSIFIED
6/95
Big Data’nın Evrimi
6

7. HİZMETE ÖZEL UNCLASSIFIED
7/95
Big Data’nın Evrimi
7

8. HİZMETE ÖZEL UNCLASSIFIED
8/95
Big Data’nın Evrimi
8
CAP theorem reveals that a shared data system can only choose
at most two of three proper@es: consistency, availability, and
tolerance to par@@ons.

9. HİZMETE ÖZEL UNCLASSIFIED
9/95
Big Data’nın Evrimi
9

10. HİZMETE ÖZEL UNCLASSIFIED
10/95
Hadoop Ekosistemi
10

11. HİZMETE ÖZEL UNCLASSIFIED
11/95
Hadoop Ekosistemi
11

12. HİZMETE ÖZEL UNCLASSIFIED
12/95
Map Reduce V1 – YARN MapReduce V2
12

13. HİZMETE ÖZEL UNCLASSIFIED
13/95
Hadoop Ekosistemi
13

14. HİZMETE ÖZEL UNCLASSIFIED
14/95
Map Reduce
14

15. HİZMETE ÖZEL UNCLASSIFIED
15/95
Map Reduce
15

16. HİZMETE ÖZEL UNCLASSIFIED
16/95
Map Reduce
16

17. HİZMETE ÖZEL UNCLASSIFIED
17/95
Map Reduce
17

18. HİZMETE ÖZEL UNCLASSIFIED
18/95
Hadoop Ekosistemi
18

19. HİZMETE ÖZEL UNCLASSIFIED
19/95
Apache Sqoop
19

20. HİZMETE ÖZEL UNCLASSIFIED
20/95
Apache Flume
20

21. HİZMETE ÖZEL UNCLASSIFIED
21/95
Apache ZooKeeper
21

22. HİZMETE ÖZEL UNCLASSIFIED
22/95
Apache Kafa
22

23. HİZMETE ÖZEL UNCLASSIFIED
23/95
Apache Oozie
23

24. HİZMETE ÖZEL UNCLASSIFIED
24/95
Apache Pig
24

25. HİZMETE ÖZEL UNCLASSIFIED
25/95
Apache Hive
25

26. HİZMETE ÖZEL UNCLASSIFIED
26/95
Apache Mahout
26

27. HİZMETE ÖZEL UNCLASSIFIED
27/95
Apache Mahout
27

28. HİZMETE ÖZEL UNCLASSIFIED
28/95
Apache HBase
28

29. HİZMETE ÖZEL UNCLASSIFIED
29/95
Apache Storm
29

30. HİZMETE ÖZEL UNCLASSIFIED
30/95
Apache Spark
30

31. HİZMETE ÖZEL UNCLASSIFIED
31/95
Apache Spark
31

32. HİZMETE ÖZEL UNCLASSIFIED
32/95
Lambda Architecture
32
• Tutarlılık ve hataya karşı dayanıklı olabilme
• Düşük gecikmeli (Low Latency) okuma ve yazma
• Ölçeklenebilir olma
• GenelleşKrilebilme
• GenişleKlebilme
• Anlık sorgulanabilme (ad-hoc)
• Minimum idame çabası gerekKrme
• Hata ayıklanabilme

33. HİZMETE ÖZEL UNCLASSIFIED
33/95
Lambda Architecture
33

34. HİZMETE ÖZEL UNCLASSIFIED
34/95
Lambda Architecture
34

35. HİZMETE ÖZEL UNCLASSIFIED
35/95
Lambda Architecture
35

36. HİZMETE ÖZEL UNCLASSIFIED
36/95
Lambda Architecture
36

37. HİZMETE ÖZEL UNCLASSIFIED
37/95
Lambda Architecture Normal Kapasitede Çalışma

38. HİZMETE ÖZEL UNCLASSIFIED
38/95
Akademik Yayınlar
IEEE COMPSAC 2016 (Yayın Aşamasında) USMOS 2015 (Yayınlandı)

39. HİZMETE ÖZEL UNCLASSIFIED
39/95
Data IngesOon
39
IoT / IoE
Cloud
CompuKng
Fog
CompuKng

40. HİZMETE ÖZEL UNCLASSIFIED
40/95
Veri Bilimi Nedir?
• Data Science is the science which uses
computer science, staOsOcs and machine,
learning, visualizaOon and human -
computer interacOons to collect, clean,
integrate, analyze, visualize, interact with
data to create data products

41. HİZMETE ÖZEL UNCLASSIFIED
41/95
Data Product GeneraOon
41

42. HİZMETE ÖZEL UNCLASSIFIED
42/95
Veri Bilimi Nedir?

43. HİZMETE ÖZEL UNCLASSIFIED
43/95
Veri Bilimi Nedir?

44. HİZMETE ÖZEL UNCLASSIFIED
44/95
Big Data ve Veri Biliminin Kullanımı

45. HİZMETE ÖZEL UNCLASSIFIED
45/95
Big Data ve Veri Biliminin Kullanımı
Ø Descrip@ve Analy@cs: exploits historical data to describe what occurred.
Ø Predic@ve Analy@cs: focuses on predicKng future probabiliKes and trends.
Ø Prescrip@ve Analy@cs: addresses decision making and efficiency.
q For example, simulaKon is used to analyze complex systems to gain insight
into system behavior and idenKfy issues and opKmizaKon techniques are
used to analyze opKmal soluKons under given constraints.

46. HİZMETE ÖZEL UNCLASSIFIED
46/95
Explatory Data Analysis
Örnek: Amerika’da 1997-2008 arasında uçak kalkış iniş, rötar verisi: 120 GB

47. HİZMETE ÖZEL UNCLASSIFIED
47/95
Explatory Data Analysis
Örnek: Amerika’da 1997-2008 arasında uçak kalkış iniş, rötar verisi: 120 GB

48. HİZMETE ÖZEL UNCLASSIFIED
48/95
Data Mining : Dynamic Time Warping - Algoritma

49. HİZMETE ÖZEL UNCLASSIFIED
49/95
Dynamic Time Warping - Algoritma

50. HİZMETE ÖZEL UNCLASSIFIED
50/95
Dynamic Time Warping – Sensör 12 ve 314

51. HİZMETE ÖZEL UNCLASSIFIED
51/95
Dynamic Time Warping – Sensör 12 ve 314

52. HİZMETE ÖZEL TASNİF DIŞI
52/95
Kariyer.Net ve Linked.in üzerinden Açık Pozisyonlarımıza
Başvurabilirsiniz….
Bizimle Çalışmak İster misiniz?
• Data Engineering
• Data Science
Alanlarında Kariyer Yapmak
İster misiniz?

53. Bu doküman ve içerdiği tüm bilgiler STM ’nin fikri mülkiyeKdir. Bu dokümanın
dağıgmı veya sunumu ile bu haklar ortadan kalkmış olmaz. STM ’nin yazılı izni
olmadan bu dokümanın ve içerdiği bilgilerin üçüncü kişilere aktarımı, çoğalgmı
ve dağıgmı yapılamaz. Bu doküman ve içeriği hazırlanma amacının dışında
kullanılamaz.
STM SAVUNMA TEKNOLOJİLERİ MÜHENDİSLİK VE TİC. A.Ş.
ANKARA TEKNOLOJİ GELİŞTİRME BÖLGESİ,
BİLKENT CYBERPARK, ÜNİVERSİTELER MAHALLESİ,
1605. CADDE, NO:3A BİLKENT – ÇANKAYA TÜRKİYE
t : 0 312 266 35 50 f : 0 312 266 35 51
www.stm.com.tr
© STM 2015
All Rights Reserved
This document and all informaKon contained herein is the sole property of STM.
No intellectual property rights are granted by the delivery of this document or
disclosure of its content. This document shall not be reproduced or disclosed to
a third party without the express wripen consent of STM. This document and its
content shall not be used for any other purpose other than for which it is
supplied.