1. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent
(Jupil Hwang)
C O N F L U E N T
Solutions Engineer
Confluent Korea

2. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Data-in-Motion

3. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Real-time &
Historical
Data
A Sale
A shipment
A Trade
A Customer Experience
Data in Motion을 위한 새로운 패러다임이 필요합니다.
모든 데이터를모든 활용영역으로..
“우리는 정지된 모든 것에서 움직이는 모든것으로 생각을
전환할 필요가 있었다.” —
Real-TimeStreamProcessing
RichFront-EndCustomer
Experiences
Real-TimeBackendOperations

4. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
.
Kafka .
1:1
- - -
1:N
- - -

5. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
.
. .
" .
.
10
."
● Architecture planning
● Cluster sizing
● Cluster provisioning
● Broker settings
● Zookeeper management
● Partition placement & data durability
● Source/sink connectors development
& maintenance
● Monitoring & reporting tools setup
● Software patches and upgrades
● Security controls and integrations
● Failover design & planning
● Mirroring & geo-replication
● Streaming data governance
● Load rebalancing & monitoring
● Expansion planning & execution
● Utilization optimization & visibility
● Cluster migrations
● Infrastructure & performance
upgrades / enhancements
I N V E S T M E N T & T I M E
V
A
L
U
E
1
2
3
4
5
Experimentation /
Early Interest
Central Nervous
System
Mission critical,
disparate LOBs
Identify a
Project
Mission-critical,
connected LOBs
Key challenges:

6. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent Cloud
AWS Apache Kafka
Stream Processing/ ksqlDB
Stream Governance
AWS PrivateLink ready partner
Marketplace Integration
Certified ready on AWS Outpost
Cluster Linking
130+ Pre-built Connectors
Flexible Payment Term
AWS
TCO
, , AWS AWS Marketplace
, ,
build. connect. integrate.
75% TCO 60% .
Multi-language Development
Monitoring with CloudWatch by fully
managed connectors
Infinite storage

7. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS
AWS
AWS Native Services
Kinesis
Redshift
DynamoDB
SQS
Cloudwatch
S3
Top-5 Global ISV for S3 Data Volume
3rd-Party ISV Services AWS
AWS
AWS PrivateLink AWS
CloudWatch Confluent

8. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent Cloud:
Cloud-native, Connect, Everywhere

9. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent
Everywhere
Cloud-Native
Kafka
Complete
개발
,

10. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Cloud-Native: 완전 관리형으로 재설계 된 Apache Kafka©
Confluent에 데이터를 무제한
으로 저장하여 더 광범위한 데
이터 세트로 실시간 앱과 사용
사례를 개선한다
모든 요청을 충족하기 위해 즉
시 확장하고 인프라 과잉 프로
비저닝을 피하기 위해 축소할
수 있어야 한다
다양한 환경의 클러스터를 연
결하여 조직 전체에서 일관된
데이터 패브릭을 생성한다.
Elastic Global Infinite

11. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Complete: 데이터 스트리밍 플랫폼을 위한 모든 필수 도구 제공
Enterprise-grade Security
RBAC | Audit Logs | Encryption |
BYOK | Private Networking
Stream Governance
Schema Registry | Schema
Validation | Stream Lineage |
Stream Catalog
Complete Engagement Model
Data in Motion Blueprint
Business Case Justification
TCO | ROI | Risk
Management & Monitoring
Cloud UI | Metrics API |
Control Center | Health+
Flexible DevOps Automation
Admin REST APIs | Terraform APIs |
Confluent for K8s | Ansible
Playbooks
규모에따른효율적인운영 운영을염두에둔전제조건 비즈니스성공을위한파트너십
Rich Pre-built Ecosystem
Connectors | Non-Java Clients |
REST Proxy | MQTT Proxy
Stream Processing
ksqlDB, Flink
제한없는개발자생산성
High Availability
99.99% SLA | Multi-AZ Clusters | Multi-Region Clusters
Infinite Storage
Infinite Storage | Tiered Storage
Elastic Scalability
Expand | Shrink | Self-Balancing Clusters
Cloud Native: 클
라
우
드
의
기
능
을
최
대
한
잘
활
용
하
기
위
한
완
전
관
리
형
으
로
재
설
계
된
Apache Kafka©
Hybrid and Multicloud
Cluster Linking | Replicator
Self-managed software
Kubernetes | VMs | Bare Metal
Fully managed cloud service
AWS | Azure | GCP
Com m itter-driven
Expertise Training Partners
Professional
Services
Enterprise
Support
운영자
개발자 아키텍트 경영진
Com plete: 완전한데이터스트리밍플랫폼을위한모든필수도구를사용하여Kafka 에코시스템구축
Everyw here: 온프레미스에서클라우드및클라우드전반에걸친플랫폼으로데이터를실시간으로연결

12. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Everywhere: 모든 환경을 아우르는 배포 유연성을 제공
SELF-MANAGED SOFTWARE
Confluent Platform
Apache Kafka 의 엔터프라이즈 배포판
On-Prem, Private / Public Cloud에 배포
VM
FULLY MANAGED SERVICE
Confluent Cloud
Apache Kafka를 위한 Cloud-native 서비스
주요 퍼블릭 클라우드에서 사용 가능
Cloud Provider

13. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent Cloud

14. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
1. 연결
Cluster Linking, 커넥터

15. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Cluster Linking
on-prem(anyplace)에서 클라우드로 손쉽게 미러링하기
Cluster Link
미러링된 토픽
바이트(byte) 단위 복사
동일한 오프셋
동일한 설정
동일한 이름
읽기 전용
Source
Topics
Consumer Group
Offsets
Filter by name
ACLs
Filter by name
Destination
Mirror Topics
Consumer Group
Offsets
(optional)
ACLs
(optional)
몇 분안에 시작
CLI 또는 API 호출로 연결 및 미러
링
안정성과 성능
카프카의 브로커 간 프로
토콜 사용
(Optional)
양방향 “active-
active” 를 위한 두 번
째 링크
Link
AK 2.4+ CP 5.4+ Confluent
Cloud
connection
(today)

16. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Web Services
On-Prem
Oracle HDFS Teradata,
Netezza
Mainframe
Kinesis
Redshift
S3
Glue
Studio
Lambda
SageMaker
DynamoDB
Amazon
EMR
Fargate
KSQL
App
Confluent Platform Confluent Cluster Linking
OSS Kafka Confluent Cluster Linking
Oracle HDFS Teradata,
Netezza
Mainframe
App
Cloud Apps
3rd party data
기타 CSPs
Confluent Cluster Linking
: AWS
?
QuickSight

17. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
다양한 소프트웨어 시스템을 사용하는 기업
Data Diode

18. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
다양한 소프트웨어 시스템을 사용하는 기업

19. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent Cloud
완전 관리형 커넥터
• 수 많은 커넥터의 중요 커넥터
일부
• 별도의 인프라 관리 없이 탄력
적인 확장 가능
• 클러스터 네트워킹에 따라 달라
지는 커넥터 네트워킹 구성
• 제한된 구성 옵션 제공
• 특정 커넥터에 안정적인 소스
IP 사용 가능

20. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
70
fully
managed
connectors
Amazon S3
Amazon Redshift
Amazon
DynamoDB
AWS Lambda
Amazon SQS
Amazon Kinesis
Azure Service Bus
Azure Event Hubs
Azure Blob
Storage
Azure Functions Azure Data Lake
70 + BYOC(Bring Your Own Connector)
Custom Connector
BYOC(Bring Your Own
Connector)
Connect
, Confluent
, OSS
Single Message Transforms Data Output Preview Connect Log Events

21. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
2. 프로세스
ksqlDB, Flink

22. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent를 사용한 3가지 스트림 프로세싱 방식
Kafka clients Kafka Streams ksqlDB
ConsumerRecords<String, String> records = consumer.poll(100);
Map<String, Integer> counts = new DefaultMap<String, Integer>();
for (ConsumerRecord<String, Integer> record : records) {
String key = record.key();
int c = counts.get(key)
c += record.value()
counts.put(key, c)
}
for (Map.Entry<String, Integer> entry : counts.entrySet()) {
int stateCount;
int attempts;
while (attempts++ < MAX_RETRIES) {
try {
stateCount = stateStore.getValue(entry.getKey())
stateStore.setValue(entry.getKey(), entry.getValue() + stateCount)
break;
} catch (StateStoreException e) {
RetryUtils.backoff(attempts);
}
}
}
builder
.stream("input-stream",
Consumed.with(Serdes.String(), Serdes.String()))
.groupBy((key, value) -> value)
.count()
.toStream()
.to("counts", Produced.with(Serdes.String(), Serdes.Long()));
SELECT x, count(*) FROM stream GROUP BY x EMIT CHANGES;
유연성 단순성 Low Code

23. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ksqlDB 개요
What is it?
ksqlDB : 스트림과 데이터 테이블
작업을 위한 이벤트 스트리밍 처리
엔진
최신 스트리밍 솔루션의 모든 주요 기능
Compute Storage
ksqlDB Kafka
Aggregations Joins
Windowing
Event-Time
Dual Query
Support
Exactly-Once
Semantics
Out-of-Order
Handling
User-Defined
Functions
CREATE TABLE activePromotions AS
SELECT rideId,
qualifyPromotion(distanceToDst) AS promotion
FROM locations
WINDOW HOPPING (size 30 seconds)
GROUP BY rideId
EMIT CHANGES
어떻게 동작하나?
컴퓨팅과 스토리지를 분리하고 내결함성 방식으로 탄력적
으로 확장할 수 있는 완전 관리형 클라우드 서비스
서버 중 하나가 장애가 발생하더라도 중단 없이 높은 가용
성을 유지
클러스터,확장,업그레이드,운영,모니터링 부담없이 바로 사
용가능

24. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.

25. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent
Flink Kafka Streams ksqlDB
Fully managed on Confluent Cloud
Self-managed on Confluent Cloud and
Confluent Platform
Fully managed on Confluent Cloud, Self-
managed on Confluent Platform
SQL at GA, Java and Python to follow Java SQL
Simple Secure Scalable

26. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
3. 거버넌스
Stream Governance

27. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
스트림 거버넌스는 Confluent Cloud 에서 제공하는 완벽 관리형 거버넌스 서비스다
Stream Quality
신뢰할 수 있는 고품질 데이터 스트림을 비즈
니스에 전달
Stream Catalog
데이터 검색을 위한 셀프서비스로 협업 및 생산
성 향상
Stream Lineage
복잡한 데이터 관계 이해 및 더 많은 인사이트
발견
(Schema Registry & Validation)
Apache Kafka®를 위한 업계 유일의 완전 관리형 거버넌스 제품군으로
데이터 스트림을 확인하고 이해하며 신뢰할 수 있도록 한다.

28. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- Stream Designer
Easy. Extensible. Extra-fast.

29. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Cloud-native, Complete, Everywhere
Kafka 기반의 완전 관리형 서비스 Confluent
무제한 데이터 보관
보안 &
데이터 거버넌스
ksqlDB & Flink
스트림 프로세싱, 분석, ML
커넥터
APIs, UIs, CLIs
Cloud 에서 사용할 수 있는
완전 관리형 ‘NoOps’
30

30. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent Cloud 무료체험 신청하세요!
Confluent Cloud
confluent.io/ko-kr/get-started
신규 계정 생성시
60일간 $400 무료 크레딧 사용 가능

31. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent에 대해 자세히 알고 싶으신가요?
Contact us!
confluent.io/ko-kr
Confluent로부터 관련 자료를 받고 무료 상담을 받으시기 바랍니다!

32. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Thank you!
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Jhwang@confluent.io
@jupil_hwang
github.com/jupilhwang