Big data kavramı hakkında en temel bilgiler ve örnek big data senaryolarının yer aldığı bir sunumdur. Büyük verinin hangi sektörlerde ve nasıl kullanılabileceğine dair ipuçları da yer alan sunumda 4 adet dikkat çekici video da yer almaktadır.
Yazılarıma göz atmak için: velibahceci.com 'u ziyaret edebilirsiniz.
1. Big Data / BüyükVeri Nedir?
Önemli olan verinin büyüklüğü mü?Yoksa bu veriyi nasıl
kullandığınız mı? Veli Bahçeci
velibahceci.com
2. Veri (data) nedir?
İngilizce ve Latincede datum kelimesinin çoğuluna verilen ad; datadır.
Ham (işlenmemiş) gerçek enformasyon parçacığına verilen addır.
Yapılandırılmış veri:
Faturalar, banka ödemeleri,
sınav sonuçları, e-devlet kayıtları vb.
Yapılandırılmamış veri:
Sosyal medya, web gezinmeleri,
reklam tıklamaları vb.
3. Büyük veri nedir? Ne kadar büyük?
Büyük veri terimi teknik olarak 100 terabayt ile 1 petabayt arasındaki yelpazeyi
kapsar ama sizin için verilerin miktarı değil, onu nasıl analiz ettiğiniz önemlidir.
4. Dünyadaki bütün verinin
%90’ı son iki yılda
oluşturulmuştur.
2013’de 2.712.239.573
internet kullanıcısı,
Google’da yaklaşık
olarak 1,2 trilyon arama
yapmıştır.
Günün her dakikasında
570’in üzerinde yeni web
sitesi kurulmaktadır.
5. Aylık 271 milyon aktif
kullanıcıya sahip olan
Twitter’da günde 500 milyon
tweet atılmaktadır.
200 milyon aktif aylık kullanıcısı
olan Instagram’da günde
60 milyon fotoğraf paylaşılıyor.
LinkedIn, 200’ün üzerinde
ülkeden 300 milyondan
fazla üyeyi ve 3 milyondan
fazla firmayı barındırıyor.
6. Büyük veri ve geleneksel analitik
BüyükVeri GelenekselAnalitik
Veri tipi Yapılandırılmamış format Satır – sütun şeklinde yapılandırılmış format
Veri hacmi 100 terabayt’tan 1 petabayt’a
kadar
100 terabayt’tan daha az
Veri akışı Sürekli Statik veri havuzu
Analiz
yöntemi
Makine öğrenmesi Hipoteze dayalı
Birincil amaç Veriye dayalı ürünler İç karar desteği ve
hizmetler
7. Büyük veri bileşenleri [V (3 + 2) Kuralı]
Büyük veri projelerinde üçV şöyledir;
Volume: hacim
Variety: çeşitlilik
Velocity: hız
Eğer odaklı düşünmek mümkünse
bunlara ikiV daha eklenmelidir;
Veracity: doğruluk
Value: değer
8. Büyük veri bileşenleri (I/II)
1. Miktar (Volume):Veri büyüklüğü artık, terabyte ve petabytedan daha büyük
hale geldiğinden, depolama ve analiz süreçleri için geleneksel yaklaşımlar
yetersiz kalmaktadır.
2. Hız (Velocity): Daha hızlı üreyen veri, o veriye muhtaç olan işlem sayısının ve
çeşitliliğinin de aynı hızda artması sonucunu doğurmaktadır.
3. Çeşitlilik (Variety): Üretilen verinin yüzde 80’i yapısal değildir ve her yeni
teknoloji, farklı formatlarda veri üretmektedir. Telefonlardan, tabletlerden,
bütünleşik devrelerden gelen çeşitli veri tipi ile uğraşılması ve birbirlerine
dönüşmeleri gerekmektedir.
9. Büyük veri bileşenleri (II/II)
4. Doğrulama (Verification): Bu bilgi yoğunluğu içinde verinin akışı sırasında
güvenli olması da bir diğer bileşendir.
Akış sırasında, doğru katmandan, olması gerektiği güvenlik seviyesinde
izlenmesi, doğru kişiler tarafından görünebilir veya gizli kalması gerekmektedir.
5. Değer (Value): Büyük verinin veri üretim ve işleme katmanlarından sonra
kurum içinbir artı değer yaratıyor olması, karar veriş süreçlerine anlık olarak etki
etmesi, doğru kararı vermede hemen el altında olması gerekmektedir.
10. Büyük veri; verilerin
dijitalleşmesi ve farklı
boyutlarda alınan verilerin
toplanıp, düzenlenmesiyle
insan davranışlarını anlama,
tahminler yapma ve
işletmelerin sahip olduğu
verilerden yola çıkarak akıllı
yönetim imkânı sağlamaktadır.
11. Büyük veri hedef ve aşamaları
Büyük veri projelerinde ana hedefler
• Maliyet tasarrufu
• Zaman tasarrufu
• Yeni teklifler geliştirmek
• İş kararlarını desteklemek
Proje aşamaları
• Keşif: Elinizdeki verilerin tanımlanması, içeriğinin belirlenmesi, size ne gibi
faydalar sağlayabileceği
• Üretim: Uygulamaları ölçeklendirerek üretim süreçlerine dahil etmek
12. Veri kullanımı ve analizi terminolojisi
Terim Zaman aralığı Özel anlam
Karar desteği 1970 – 1985 Karar vermeyi destekleme için veri analizi kullanımı
Yönetici desteği 1980 – 1990 Üst düzey yönetici kararları için veri analizi kullanımı
Online analitik işlem 1990 – 2000 Çok boyutlu veri tablolarının analizi için kullanılan yazılımlar
İş zekası 1989 – 2005 Veri odaklı karar vermeyi desteklemek için kullanılan raporlama ağırlıklı
araçlar
Analitik 2005 – 2010 İstatistiki ve matematiksel analiz odaklı karar verme
Büyük veri 2010 – günümüz Çok büyük, yapılandırılmamış, hızlı hareket eden veri kullanımı
13. Büyük verinin sektörlere katkıları (I/II)
1. İşletme: Müşteri kişiselleştirme, müşteri kaybı sebeplerini belirleme,
dağıtım ve lojistik optimizasyonu
2. Teknoloji: İşlem süresini azaltma, gerçek zamanlı analiz, kriz
dönemlerinde hızlı cevap üretme, riskleri azaltmak için otomatik sistemler ile
karar verme
3. Sağlık: Hastalık tespiti, seyrinin takibi ve sağlığı
güçlendirmek için kişisel DNA analizi yapma
4. Kamu Sektörü:Verilere erişilebilirlik sağlayarak şeffaflık oluşturma, uygun
ürün ve hizmetler için eylemlerin uyarlanması
15. Büyük veri ve Analitik 3.0
Analitik 1.0 Analitik 2.0 Analitik 3.0
Şirket tipleri Büyük kurumlar Online ve startup firmalar Hepsi – «veri ekonomisi»
Analitik hedef İç kararlar Yeni ürünler Karar ve ürünler
Veri tipi Küçük, yapılandırılmış Büyük, yapılandırılmamış Karışık
Yaratılış yaklaşımı Uzun – döngü toplu işlem Kısa döngü, çevik Kısa döngü, çevik
Esas teknoloji Yazılım paketleri Açık kaynaklı Kapsamlı portföy
Esas analitik tipi Açıklayıcı Açıklayıcı, öngörücü Normatif
İş ilişkisi Geri hizmet «Köprüde» İşbirlikçi
16. Analitik 3.0 özellikleri (I/II)
• Genellikle birleştirilen çoklu veri tipleri
• Dış ve iç veri kaynakları
• Yapılandırılmış ve yapılandırılmamış
veri formatları
• Öngörücü ve normatif modellemeler
• Çok daha hızlı teknoloji ve yöntemler
• Hadoop/MapReduce
• Machine learning
• Entegre ve dahili modeller
17. Analitik 3.0 özellikleri (II/II)
• Yeni ve hibrid teknoloji ortamları
• Apache kafka
• Storm (gerçek zamanlı mesajlaşma ve işleme araçları)
• Veri bilimi /Analitik / BT takımları
• Güvenilir hackerlar
• Veri bilimcisi mesleği
• Analitik genel müdürleri ve denkleri (CAO)
• Chief science officer / chier analytics officers
• Normatif analitiğin artan kullanımı
• Açıklayıcı, öngörücü yerine normatif yani; optimal davranış ve aksiyonların
belirlenmesi
18. Bonus – Dizi ve Film Önerilerim
• Çizgi film: Jetgiller
• Film: Moneyball (Brad Pitt)
• Dizi: Black Mirror (3 Sezon)
• Dizi: Person of Interest (Video analiz)
• TEDTalks: Kenneth Cukier - Big data is better data
• PDF: At the Big Data Crossroads: turning towards a smarter travel
experience (Amadeus)
Dönercilerin telefonları veri tabanına eklemesi ve sipariş için aradığımızda ismimizi söylerek telefonu açmaları
LinkedIn profiline bakanlar
Facebook tanıyor olabileceğin kişiler
Google görsel tanıma teknolojisi (your face is big data)
Nike + Apple sağlık/spor verilerinin analizi
Analitik 1.0 – 1954’ten 2005’e kadar. 1954’te UPS Amerika’daki ilk kurumsal analitik grubunu kurdu.
Analitik 2.0 – Ticaret dünyası 2003 civarında büyük veriyi dikkate almaya başladı. 2000’lerin başlangıcında Analitik 2.0’ı ilk kullananlar Google, Yahoo! ve eBay gibi online firmalardı.
Analitik 3.0 – Geçiş aşamasındayız. Öncekilerin en iyi özelliklerini toplayan bir dal. Çok hızlı veri işleme, hibrid teknoloji ve normatif analiz.