아파치 카프카 입문과 활용 강의자료

•

6 j'aime•3,548 vues

원

https://github.com/AndersonChoi/tacademy-kafka Apache Kafka는 대용량 실시간 로그처리에 특화된 분산 메시징 시스템으로, 대용량/대규모의 스트리밍 메시지 데이터를 빠르게 처리하도록 개발되었습니다. 이번 강의에서는 Kafka Producer/Consumer 등 기본 개념을 익히고, 설치부터 기본적인 애플리케이션 개발 실습을 통해 빅데이터 파이프라인에서 Kafka가 어떤 핵심적인 역할을 수행하는 지 알아보는 시간을 갖습니다.

Technologie

Contenu connexe

Tendances

Airflow를 이용한 데이터 Workflow 관리

YoungHeon (Roy) Kim

[234]멀티테넌트 하둡 클러스터 운영 경험기

NAVER D2

Exactly-once Stream Processing with Kafka Streams

Guozhang Wang

Apache Pulsar Development 101 with Python

Timothy Spann

Apache Kafak의 성능이 특정환경(데이터 유실일 발생하지 않고, 데이터 전송순서를 반드시 보장)에서 어느정도 제공하는지 확인하기 위한 테스트 결과 공유 데이터 전송순서를 보장하기 위해서는 Apache Kafka cluster로 partition을 분산할 수 없게되므로, 성능향상을 위한 장점을 사용하지 못하게 된다. 이번 테스트에서는 Apache Kafka의 단위 성능, 즉 partition 1개에 대한 성능만을 측정하게 된다. 향후, partition을 증가할 경우 본 테스트의 1개 partition 단위 성능을 기준으로 예측이 가능할 것 같다.

Apache kafka performance(throughput) - without data loss and guaranteeing dat...

SANG WON PARK

Apache BigtopによるHadoopエコシステムのパッケージング（Open Source Conference 2021 Online/Osaka...

NTT DATA Technology & Innovation

Elastic Stack & Data pipeline

Jongho Woo

[MeetUp][1st] 오리뎅이의_쿠버네티스_네트워킹

InfraEngineer

[236] 카카오의데이터파이프라인 윤도영

NAVER D2

SPRYTNIEJSZE TESTOWANIE KODU JAVA ZE SPOCK FRAMEWORK (ZAAWANSOWANE TECHNIKI) Spock Framework jest coraz częściej wykorzystywany do pisania testów automatycznych dla kodu produkcyjnego napisanego w Javie. Dzięki zastosowaniu DSLa opartego o język Groovy umożliwia tworzenie bardziej zwartych konstrukcji charakteryzujących się dużą czytelnością. W czasie prezentacji pokażę szereg bardziej zaawansowanych i często mało znanych mechanizmów, których zastosowanie może jeszcze bardziej ułatwić i uprościć testowanie naszego kodu. Przedstawię również kilka nowych funkcji, które stały się dostępne wraz z wydaniem wersji 1.0. O podstawach Spocka mówić nie będę, ale dzięki jego naturalnej klarowności nawet osoby wcześniej go nieużywające na pewno nie będą miały trudności, aby się odnaleźć.

Sprytniejsze testowanie kodu java ze spock framework (zaawansowane techniki) ...

PROIDEA

Apache Kafak의 빅데이터 아키텍처에서 역할이 점차 커지고, 중요한 비중을 차지하게 되면서, 성능에 대한 고민도 늘어나고 있다. 다양한 프로젝트를 진행하면서 Apache Kafka를 모니터링 하기 위해 필요한 Metrics들을 이해하고, 이를 최적화 하기 위한 Configruation 설정을 정리해 보았다. [Apache kafka 모니터링을 위한 Metrics 이해 및 최적화 방안] Apache Kafka 성능 모니터링에 필요한 metrics에 대해 이해하고, 4가지 관점(처리량, 지연, Durability, 가용성)에서 성능을 최적화 하는 방안을 정리함. Kafka를 구성하는 3개 모듈(Producer, Broker, Consumer)별로 성능 최적화를 위한 … [Apache Kafka 모니터링을 위한 Metrics 이해] Apache Kafka의 상태를 모니터링 하기 위해서는 4개(System(OS), Producer, Broker, Consumer)에서 발생하는 metrics들을 살펴봐야 한다. 이번 글에서는 JVM에서 제공하는 JMX metrics를 중심으로 producer/broker/consumer의 지표를 정리하였다. 모든 지표를 정리하진 않았고, 내 관점에서 유의미한 지표들을 중심으로 이해한 내용임 [Apache Kafka 성능 Configuration 최적화] 성능목표를 4개로 구분(Throughtput, Latency, Durability, Avalibility)하고, 각 목표에 따라 어떤 Kafka configuration의 조정을 어떻게 해야하는지 정리하였다. 튜닝한 파라미터를 적용한 후, 성능테스트를 수행하면서 추출된 Metrics를 모니터링하여 현재 업무에 최적화 되도록 최적화를 수행하는 것이 필요하다.

Apache kafka 모니터링을 위한 Metrics 이해 및 최적화 방안

SANG WON PARK

Openstack zun,virtual kubelet

Chanyeol yoon

XECon+PHPFest2014 발표자료 - ElasticSearch를 이용한 통합검색 구축방법 - 김훈민

XpressEngine

OpenStack Trove 技術解説

Toru Makabe

Message Queue 가용성, 신뢰성을 위한 RabbitMQ Server, Client 구성

Yoonjeong Kwon

Presentation at Strata Data Conference 2018, New York The controller is the brain of Apache Kafka. A big part of what the controller does is to maintain the consistency of the replicas and determine which replica can be used to serve the clients, especially during individual broker failure. Jun Rao outlines the main data flow in the controller—in particular, when a broker fails, how the controller automatically promotes another replica as the leader to serve the clients, and when a broker is started, how the controller resumes the replication pipeline in the restarted broker. Jun then describes recent improvements to the controller that allow it to handle certain edge cases correctly and increase its performance, which allows for more partitions in a Kafka cluster.

A Deep Dive into Kafka Controller

confluent

코딩 테스트 및 알고리즘 문제해결 공부 방법 (고려대학교 KUCC, 2022년 4월)

Suhyun Park

kube-system落としてみました

Shuntaro Saiba

超高速処理とスケーラビリティを両立するApache GEODE

Masaki Yamakawa

Apache Kafka를 이용하여 이미지 데이터를 얼마나 빠르게(with low latency) 전달 가능한지 성능 테스트. 최종 목적은 AI(ML/DL) 모델의 입력으로 대량의 실시간 영상/이미지 데이터를 전달하는 메세지 큐로 사용하기 위하여, Drone/제조공정 등의 장비에서 전송된 이미지를 얼마나 빨리 AI Model로 전달 할 수 있는지 확인하기 위함. 그래서 Kafka에서 이미지를 전송하는 간단한 테스트를 진행하였고, 이 과정에서 latency를 얼마나 줄여주는지를 확인해 보았다.(HTTP 프로토콜/Socket과 비교하여) [현재 까지 결론] - Apache Kafka는 대량의 요청 처리를 위한 throughtput에 최적화 된 솔루션임. - 현재는 producer의 몇가지 옵션만 조정하여 테스트한 결과이므로, - 잠정적인 결과이지만, kafka의 latency를 향상을 위해서는 많은 시도가 필요할 것 같음. - 즉, 단일 요청의 latency는 확실히 느리지만, - 대량의 처리를 기준으로 평균 latency를 비교하면 평균적인 latency는 많이 낮아짐. Test Code : https://github.com/freepsw/kafka-latency-test

Apache kafka performance(latency)_benchmark_v0.3

SANG WON PARK

Tendances (20)

Airflow를 이용한 데이터 Workflow 관리

[234]멀티테넌트 하둡 클러스터 운영 경험기

Exactly-once Stream Processing with Kafka Streams

Apache Pulsar Development 101 with Python

Apache kafka performance(throughput) - without data loss and guaranteeing dat...

Apache BigtopによるHadoopエコシステムのパッケージング（Open Source Conference 2021 Online/Osaka...

Elastic Stack & Data pipeline

[MeetUp][1st] 오리뎅이의_쿠버네티스_네트워킹

[236] 카카오의데이터파이프라인 윤도영

Sprytniejsze testowanie kodu java ze spock framework (zaawansowane techniki) ...

Apache kafka 모니터링을 위한 Metrics 이해 및 최적화 방안

Openstack zun,virtual kubelet

XECon+PHPFest2014 발표자료 - ElasticSearch를 이용한 통합검색 구축방법 - 김훈민

OpenStack Trove 技術解説

Message Queue 가용성, 신뢰성을 위한 RabbitMQ Server, Client 구성

A Deep Dive into Kafka Controller

코딩 테스트 및 알고리즘 문제해결 공부 방법 (고려대학교 KUCC, 2022년 4월)

kube-system落としてみました

超高速処理とスケーラビリティを両立するApache GEODE

Apache kafka performance(latency)_benchmark_v0.3

Dernier

Continual Active Learning for Efficient Adaptation of Machine LearningModels ...

Kim Daeun

Console API (Kitworks Team Study 백혜인 발표자료)

Wonjun Hwang

Merge (Kitworks Team Study 이성수 발표자료 240426)

Wonjun Hwang

■ 디지털 제조 & 뿌리산업 컨퍼런스, 제조산업 혁신 및 성장 전략 소개 ■ 빌드스마트포럼 2024, AEC와 Al·메타버스의 시너지 탐구 ■ 알테어, 제품 개발을 위한 AI 기술 본격화 추진 ■ 유니티 뮤즈의 AI 활용 및 모델 훈련 ■ 아레스 캐드 2025의 새로운 기능 ■ 1D 시뮬레이션을 위한 카티아 다이몰라 ■ PyMAPDL의 기초부터 활용까지

캐드앤그래픽스 2024년 5월호 목차

캐드앤그래픽스

MOODv2 : Masked Image Modeling for Out-of-Distribution Detection

Kim Daeun

Presentation material from the IT graduate school joint event - Korea University Graduate School of Computer Information and Communication - Sogang University Graduate School of Information and Communication - Sungkyunkwan University Graduate School of Information and Communication - Yonsei University Graduate School of Engineering - Hanyang University Graduate School of Artificial Intelligence Convergence

A future that integrates LLMs and LAMs (Symposium)

Tae Young Lee

Dernier (6)

Continual Active Learning for Efficient Adaptation of Machine LearningModels ...

Console API (Kitworks Team Study 백혜인 발표자료)

Merge (Kitworks Team Study 이성수 발표자료 240426)

캐드앤그래픽스 2024년 5월호 목차

MOODv2 : Masked Image Modeling for Out-of-Distribution Detection

A future that integrates LLMs and LAMs (Symposium)

아파치 카프카 입문과 활용 강의자료

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Dernier

Dernier (6)