Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Büyük Veri, Hadoop Ekosistemi ve Veri Bilimi

1 151 vues

Publié le

Büyük veri kavramı, Hadoop ekosistemi ve veri bilimi üzerine Ankara Big Data Meetup etkinliğinde yapılan sunum içeriğidir.

Publié dans : Données & analyses
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Büyük Veri, Hadoop Ekosistemi ve Veri Bilimi

  1. 1. Büyük Veri, Hadoop Ekosistemi ve Veri Bilimi Dr. M. Umut DEMİREZEN STM Büyük Veri ve Veri Bilimi Grup Lideri udemirezen@stm.com.tr | @udmrzn UNCLASSIFIED
  2. 2. HİZMETE ÖZEL UNCLASSIFIED 2/95 Big Data Kavramı 2 « Big Data is the realizaOon of greater business intelligence by storing, processing, and analyzing data that was previously ignored due to the limitaOons of tradiOonal data management technologies » «Big Data is a collecOon of data sets, which are enormously large and complex that convenOonal database systems cannot process within desired Ome.»
  3. 3. HİZMETE ÖZEL UNCLASSIFIED 3/95 Big Data Kavramı 3
  4. 4. HİZMETE ÖZEL UNCLASSIFIED 4/95 Big Data Veri Türleri 4 ü Duran Veri (Data at Rest) ü Akışkan Veri (Data in Mo@on) ü Bağlı Data (Linked Data) ü Zaman Serisi (Time Series)
  5. 5. HİZMETE ÖZEL UNCLASSIFIED 5/95 ETL Real Time Streams Unstructured Data (HDFS) Real Time Structured Database (hBase, Gemfire, Cassandra) Big SQL (Greenplum, AsterData, Etc…) Batch Processing Real-Time Processing(s4, storm) Analytics Günümüzde Kullanılan Büyük Veri İşleme Teknikleri DiM DaR
  6. 6. HİZMETE ÖZEL UNCLASSIFIED 6/95 Big Data’nın Evrimi 6
  7. 7. HİZMETE ÖZEL UNCLASSIFIED 7/95 Big Data’nın Evrimi 7
  8. 8. HİZMETE ÖZEL UNCLASSIFIED 8/95 Big Data’nın Evrimi 8 CAP theorem reveals that a shared data system can only choose at most two of three proper@es: consistency, availability, and tolerance to par@@ons.
  9. 9. HİZMETE ÖZEL UNCLASSIFIED 9/95 Big Data’nın Evrimi 9
  10. 10. HİZMETE ÖZEL UNCLASSIFIED 10/95 Hadoop Ekosistemi 10
  11. 11. HİZMETE ÖZEL UNCLASSIFIED 11/95 Hadoop Ekosistemi 11
  12. 12. HİZMETE ÖZEL UNCLASSIFIED 12/95 Map Reduce V1 – YARN MapReduce V2 12
  13. 13. HİZMETE ÖZEL UNCLASSIFIED 13/95 Hadoop Ekosistemi 13
  14. 14. HİZMETE ÖZEL UNCLASSIFIED 14/95 Map Reduce 14
  15. 15. HİZMETE ÖZEL UNCLASSIFIED 15/95 Map Reduce 15
  16. 16. HİZMETE ÖZEL UNCLASSIFIED 16/95 Map Reduce 16
  17. 17. HİZMETE ÖZEL UNCLASSIFIED 17/95 Map Reduce 17
  18. 18. HİZMETE ÖZEL UNCLASSIFIED 18/95 Hadoop Ekosistemi 18
  19. 19. HİZMETE ÖZEL UNCLASSIFIED 19/95 Apache Sqoop 19
  20. 20. HİZMETE ÖZEL UNCLASSIFIED 20/95 Apache Flume 20
  21. 21. HİZMETE ÖZEL UNCLASSIFIED 21/95 Apache ZooKeeper 21
  22. 22. HİZMETE ÖZEL UNCLASSIFIED 22/95 Apache Kafa 22
  23. 23. HİZMETE ÖZEL UNCLASSIFIED 23/95 Apache Oozie 23
  24. 24. HİZMETE ÖZEL UNCLASSIFIED 24/95 Apache Pig 24
  25. 25. HİZMETE ÖZEL UNCLASSIFIED 25/95 Apache Hive 25
  26. 26. HİZMETE ÖZEL UNCLASSIFIED 26/95 Apache Mahout 26
  27. 27. HİZMETE ÖZEL UNCLASSIFIED 27/95 Apache Mahout 27
  28. 28. HİZMETE ÖZEL UNCLASSIFIED 28/95 Apache HBase 28
  29. 29. HİZMETE ÖZEL UNCLASSIFIED 29/95 Apache Storm 29
  30. 30. HİZMETE ÖZEL UNCLASSIFIED 30/95 Apache Spark 30
  31. 31. HİZMETE ÖZEL UNCLASSIFIED 31/95 Apache Spark 31
  32. 32. HİZMETE ÖZEL UNCLASSIFIED 32/95 Lambda Architecture 32 • Tutarlılık ve hataya karşı dayanıklı olabilme • Düşük gecikmeli (Low Latency) okuma ve yazma • Ölçeklenebilir olma • GenelleşKrilebilme • GenişleKlebilme • Anlık sorgulanabilme (ad-hoc) • Minimum idame çabası gerekKrme • Hata ayıklanabilme
  33. 33. HİZMETE ÖZEL UNCLASSIFIED 33/95 Lambda Architecture 33
  34. 34. HİZMETE ÖZEL UNCLASSIFIED 34/95 Lambda Architecture 34
  35. 35. HİZMETE ÖZEL UNCLASSIFIED 35/95 Lambda Architecture 35
  36. 36. HİZMETE ÖZEL UNCLASSIFIED 36/95 Lambda Architecture 36
  37. 37. HİZMETE ÖZEL UNCLASSIFIED 37/95 Lambda Architecture Normal Kapasitede Çalışma
  38. 38. HİZMETE ÖZEL UNCLASSIFIED 38/95 Akademik Yayınlar IEEE COMPSAC 2016 (Yayın Aşamasında) USMOS 2015 (Yayınlandı)
  39. 39. HİZMETE ÖZEL UNCLASSIFIED 39/95 Data IngesOon 39 IoT / IoE Cloud CompuKng Fog CompuKng
  40. 40. HİZMETE ÖZEL UNCLASSIFIED 40/95 Veri Bilimi Nedir? • Data Science is the science which uses computer science, staOsOcs and machine, learning, visualizaOon and human - computer interacOons to collect, clean, integrate, analyze, visualize, interact with data to create data products
  41. 41. HİZMETE ÖZEL UNCLASSIFIED 41/95 Data Product GeneraOon 41
  42. 42. HİZMETE ÖZEL UNCLASSIFIED 42/95 Veri Bilimi Nedir?
  43. 43. HİZMETE ÖZEL UNCLASSIFIED 43/95 Veri Bilimi Nedir?
  44. 44. HİZMETE ÖZEL UNCLASSIFIED 44/95 Big Data ve Veri Biliminin Kullanımı
  45. 45. HİZMETE ÖZEL UNCLASSIFIED 45/95 Big Data ve Veri Biliminin Kullanımı Ø Descrip@ve Analy@cs: exploits historical data to describe what occurred. Ø Predic@ve Analy@cs: focuses on predicKng future probabiliKes and trends. Ø Prescrip@ve Analy@cs: addresses decision making and efficiency. q For example, simulaKon is used to analyze complex systems to gain insight into system behavior and idenKfy issues and opKmizaKon techniques are used to analyze opKmal soluKons under given constraints.
  46. 46. HİZMETE ÖZEL UNCLASSIFIED 46/95 Explatory Data Analysis Örnek: Amerika’da 1997-2008 arasında uçak kalkış iniş, rötar verisi: 120 GB
  47. 47. HİZMETE ÖZEL UNCLASSIFIED 47/95 Explatory Data Analysis Örnek: Amerika’da 1997-2008 arasında uçak kalkış iniş, rötar verisi: 120 GB
  48. 48. HİZMETE ÖZEL UNCLASSIFIED 48/95 Data Mining : Dynamic Time Warping - Algoritma
  49. 49. HİZMETE ÖZEL UNCLASSIFIED 49/95 Dynamic Time Warping - Algoritma
  50. 50. HİZMETE ÖZEL UNCLASSIFIED 50/95 Dynamic Time Warping – Sensör 12 ve 314
  51. 51. HİZMETE ÖZEL UNCLASSIFIED 51/95 Dynamic Time Warping – Sensör 12 ve 314
  52. 52. HİZMETE ÖZEL TASNİF DIŞI 52/95 Kariyer.Net ve Linked.in üzerinden Açık Pozisyonlarımıza Başvurabilirsiniz…. Bizimle Çalışmak İster misiniz? •  Data Engineering •  Data Science Alanlarında Kariyer Yapmak İster misiniz?
  53. 53. Bu doküman ve içerdiği tüm bilgiler STM ’nin fikri mülkiyeKdir. Bu dokümanın dağıgmı veya sunumu ile bu haklar ortadan kalkmış olmaz. STM ’nin yazılı izni olmadan bu dokümanın ve içerdiği bilgilerin üçüncü kişilere aktarımı, çoğalgmı ve dağıgmı yapılamaz. Bu doküman ve içeriği hazırlanma amacının dışında kullanılamaz. STM SAVUNMA TEKNOLOJİLERİ MÜHENDİSLİK VE TİC. A.Ş. ANKARA TEKNOLOJİ GELİŞTİRME BÖLGESİ, BİLKENT CYBERPARK, ÜNİVERSİTELER MAHALLESİ, 1605. CADDE, NO:3A BİLKENT – ÇANKAYA TÜRKİYE t : 0 312 266 35 50 f : 0 312 266 35 51 www.stm.com.tr © STM 2015 All Rights Reserved This document and all informaKon contained herein is the sole property of STM. No intellectual property rights are granted by the delivery of this document or disclosure of its content. This document shall not be reproduced or disclosed to a third party without the express wripen consent of STM. This document and its content shall not be used for any other purpose other than for which it is supplied.

×