Apache Kafka nedir? Neden kullanılır? Nasıl çalışır? Neye yarar? Kullanım alanları nelerdir?

1. Dağıtık Akış Platformu
- Apache Kafka -
Emre Baykal
/misterbykl
@misterbykl

2. İçerik
• Apache Kafka
• Neden kullanalım?
• Nedir?
• Nasıl çalışır?
• Neye yarar?
• Kafka Connect
• Kafka Streams
• ?!?!?!

3. • Büyük Veri
• Gerçek Zamanlı Veri - data streams
• Olaylar - alarm, press, tick gibi tetikleme sonucu
• Sensörler
• IoT
• Dağıtık Sistemler - ölçeklenebilir
Neden Kullanalım?

4. • Açık kaynak - Apache, Confluent
• Mesajlaşma sistemi, mq, akan veri, gerçek zamanlı
• Dağıtık (distributed)
• Parçalanabilen (partitioned)
• Çoklanabilen (replicated)
• Pub-sub
• Kümelenebilir (cluster): >= 1 sunucu
• Fault-tolerant
• Kayıtları ‘topic’ler halinde tutar
Nedir?
kafka.apache.org

5. • Topic: Producer tarafından yayınlanan mesajlar ( key, value, timestamp)
• Producer: Kayıtlandığı ‘topic’ için mesaj üretir
• Consumer: Kayıtlandığı ‘topic’den mesaj okur
• Broker: Kafka kümesini oluşturan kafka sunucuları ( >=1 )
• Partition: Sıralı, değişmez (immutable), sona eklemeli kayıtlar dizisi.
İçerisindeki her kayıt bir ‘offset’ değerine sahip. (Paralelleme,
ölçeklendirme)
• Replica: Partition kopyası
Nedir?

6. Nedir?
michael-noll.com

7. Nedir?
confluent.io

8. Nasıl Çalışır?
• Zookeeper
• Broker’lar arası koordinasyon
• Lider seçimi
• Offset takibi

9. Nasıl Çalışır?
michael-noll.com

10. Nasıl Çalışır?
• Retention (alı koyma, saklama)
• Offset: Geçmiş Şimdi
• Consumer
• Consumer group
kafka.apache.org kafka.apache.org

11. Yani?
• Mesajlaşma && depolama && gerçek zamanlı (streaming) veri
• DFS, geçmişe ait veri (historical data)
• ‘subscribe’, gelecek veri (future data)
• (Streaming data pipeline)

12. • Diğer sistemler ile entegrasyon
• Veri akışına yeni sistemler ekleme
• i) Confluent. ii) Certified. iii) Community.
KafkaConnect
Data
Source
K
C
o
n
n
e
c
t
Kafka
Cluster
Data
Sink
K
C
o
n
n
e
c
t
App

13. KafkaConnect
• Source Connectors = import
RDBMS. Couchbase. Blockchain. Cassandra. FTP.
Kinesis. MongoDB. MQTT. RabbitMQ. Solr. Redis.
Twitter…
• Sink Connectors = export
Elasticsearch. S3(A). HDFS. BigQuery(G). PubSub(G).
Hazelcast. DocumentDB. HBase…

14. • Akış üzerinde işlemler
yapabilmeyi ve gerçek zamanlı
uygulamalar (stream-
processing-applications)
geliştirmeyi sağlar
• Kafka kümesine bağlı; üzerinde
çalışır
• Bir kütüphanedir (Kafka Streams
API)
• Dağıtık. Ölçeklenebilir. Hata
toleranslı.
KafkaStreams
confluent.io

15. KafkaStreams
Data
Source
K
C
o
n
n
e
c
t
Kafka
Cluster
Data
Sink
K
C
o
n
n
e
c
t
App

16. KafkaStreams
Data
Source
K
C
o
n
n
e
c
t
Kafka
Cluster
Data
Sink
K
C
o
n
n
e
c
t
App
KStreams

17. KafkaStreams
Data
Source
K
C
o
n
n
e
c
t
Kafka
Cluster
Data
Sink
K
C
o
n
n
e
c
t
App
KStreams
App
KStreams
App
KStreams

18. • Stream processor
• 1 in > op > 1 (veya daha fazla) out
• map, filter, join, aggregation
• Join: in1 + in2 = out1
• Aggregation: comb(in[1…n]) = out1
• Stateful (join, agg) vs Stateless (filter)
KafkaStreams
confluent.io

19. KafkaStreams
• Time
• Event-time: Oluşturulma zamanı
• Processing-time: İşlenme zamanı
Kai Wähner,

20. KafkaStreams
• Grouping: Aynı anahtara (key) sahip kayıtların gruplanması (partitioned-
keyed)
• Windowing: Gruplanan kayıtların kontrolü (sub-grouping)
ör. geç mesajlar
• join, aggregation
Kai Wähner,

21. KafkaStreams + (Machine Learning || Deep Learning)
map
filter filter
map
ML with H20.ai DL with deeplearning4j

22. –Peter Sondergaard, Gartner Research
“Information is the oil of the 21st century,
and analytics is the combustion engine.”

23. Teşekkürler