Soumettre la recherche
Mettre en ligne
Redis edu 5
•
54 j'aime
•
3,406 vues
DaeMyung Kang
Suivre
Signaler
Partager
Signaler
Partager
1 sur 36
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Elastic webservice
Elastic webservice
DaeMyung Kang
Webservice cache strategy
Webservice cache strategy
DaeMyung Kang
Data Engineering 101
Data Engineering 101
DaeMyung Kang
webservice scaling for newbie
webservice scaling for newbie
DaeMyung Kang
Why GUID is needed
Why GUID is needed
DaeMyung Kang
How to name a cache key
How to name a cache key
DaeMyung Kang
Bloomfilter
Bloomfilter
DaeMyung Kang
Scalable webservice
Scalable webservice
DaeMyung Kang
Recommandé
Elastic webservice
Elastic webservice
DaeMyung Kang
Webservice cache strategy
Webservice cache strategy
DaeMyung Kang
Data Engineering 101
Data Engineering 101
DaeMyung Kang
webservice scaling for newbie
webservice scaling for newbie
DaeMyung Kang
Why GUID is needed
Why GUID is needed
DaeMyung Kang
How to name a cache key
How to name a cache key
DaeMyung Kang
Bloomfilter
Bloomfilter
DaeMyung Kang
Scalable webservice
Scalable webservice
DaeMyung Kang
Massive service basic
Massive service basic
DaeMyung Kang
How to build massive service for advance
How to build massive service for advance
DaeMyung Kang
AWS를 통한 신뢰성 높은 지속적 배포 및 통합(CD/CI) 사례 - AWS Summit Seoul 2017
AWS를 통한 신뢰성 높은 지속적 배포 및 통합(CD/CI) 사례 - AWS Summit Seoul 2017
Amazon Web Services Korea
Amazon cf day sesseion2
Amazon cf day sesseion2
GS Neotek
Hanghae99 FinalProject Moyeora!
Hanghae99 FinalProject Moyeora!
Young Woo Lee
How to use redis well
How to use redis well
DaeMyung Kang
메모리 할당에 관한 기초
메모리 할당에 관한 기초
Changyol BAEK
Apache kafka performance(throughput) - without data loss and guaranteeing dat...
Apache kafka performance(throughput) - without data loss and guaranteeing dat...
SANG WON PARK
카프카(kafka) 성능 테스트 환경 구축 (JMeter, ELK)
카프카(kafka) 성능 테스트 환경 구축 (JMeter, ELK)
Hyunmin Lee
Optane DC Persistent Memory(DCPMM) 성능 테스트
Optane DC Persistent Memory(DCPMM) 성능 테스트
SANG WON PARK
추천서비스고군분투기 On Aws - 박진우 (레코벨)
추천서비스고군분투기 On Aws - 박진우 (레코벨)
AWSKRUG - AWS한국사용자모임
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
SANG WON PARK
대용량 로그분석 Bigquery로 간단히 사용하기 (20170215 T아카데미)
대용량 로그분석 Bigquery로 간단히 사용하기 (20170215 T아카데미)
Jaikwang Lee
AWS EMR Cost optimization
AWS EMR Cost optimization
SANG WON PARK
비디가 제시하는 AWS Migration 주요 factor - BD 홍성준 이사:: AWS Cloud Track 1 Intro
비디가 제시하는 AWS Migration 주요 factor - BD 홍성준 이사:: AWS Cloud Track 1 Intro
Amazon Web Services Korea
AWS Summit Seoul 2015 - 게임 서비스 혁신을 위한 데이터 분석
AWS Summit Seoul 2015 - 게임 서비스 혁신을 위한 데이터 분석
Amazon Web Services Korea
아마존 닷컴의 클라우드 활용 사례 - AWS Summit Seoul 2017
아마존 닷컴의 클라우드 활용 사례 - AWS Summit Seoul 2017
Amazon Web Services Korea
20140806 AWS Meister BlackBelt - Amazon Redshift (Korean)
20140806 AWS Meister BlackBelt - Amazon Redshift (Korean)
Amazon Web Services Korea
Amazon Redshift의 이해와 활용 (김용우) - AWS DB Day
Amazon Redshift의 이해와 활용 (김용우) - AWS DB Day
Amazon Web Services Korea
DevOps with AWS Edge
DevOps with AWS Edge
GS Neotek
Count min sketch
Count min sketch
DaeMyung Kang
Redis
Redis
DaeMyung Kang
Contenu connexe
Tendances
Massive service basic
Massive service basic
DaeMyung Kang
How to build massive service for advance
How to build massive service for advance
DaeMyung Kang
AWS를 통한 신뢰성 높은 지속적 배포 및 통합(CD/CI) 사례 - AWS Summit Seoul 2017
AWS를 통한 신뢰성 높은 지속적 배포 및 통합(CD/CI) 사례 - AWS Summit Seoul 2017
Amazon Web Services Korea
Amazon cf day sesseion2
Amazon cf day sesseion2
GS Neotek
Hanghae99 FinalProject Moyeora!
Hanghae99 FinalProject Moyeora!
Young Woo Lee
How to use redis well
How to use redis well
DaeMyung Kang
메모리 할당에 관한 기초
메모리 할당에 관한 기초
Changyol BAEK
Apache kafka performance(throughput) - without data loss and guaranteeing dat...
Apache kafka performance(throughput) - without data loss and guaranteeing dat...
SANG WON PARK
카프카(kafka) 성능 테스트 환경 구축 (JMeter, ELK)
카프카(kafka) 성능 테스트 환경 구축 (JMeter, ELK)
Hyunmin Lee
Optane DC Persistent Memory(DCPMM) 성능 테스트
Optane DC Persistent Memory(DCPMM) 성능 테스트
SANG WON PARK
추천서비스고군분투기 On Aws - 박진우 (레코벨)
추천서비스고군분투기 On Aws - 박진우 (레코벨)
AWSKRUG - AWS한국사용자모임
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
SANG WON PARK
대용량 로그분석 Bigquery로 간단히 사용하기 (20170215 T아카데미)
대용량 로그분석 Bigquery로 간단히 사용하기 (20170215 T아카데미)
Jaikwang Lee
AWS EMR Cost optimization
AWS EMR Cost optimization
SANG WON PARK
비디가 제시하는 AWS Migration 주요 factor - BD 홍성준 이사:: AWS Cloud Track 1 Intro
비디가 제시하는 AWS Migration 주요 factor - BD 홍성준 이사:: AWS Cloud Track 1 Intro
Amazon Web Services Korea
AWS Summit Seoul 2015 - 게임 서비스 혁신을 위한 데이터 분석
AWS Summit Seoul 2015 - 게임 서비스 혁신을 위한 데이터 분석
Amazon Web Services Korea
아마존 닷컴의 클라우드 활용 사례 - AWS Summit Seoul 2017
아마존 닷컴의 클라우드 활용 사례 - AWS Summit Seoul 2017
Amazon Web Services Korea
20140806 AWS Meister BlackBelt - Amazon Redshift (Korean)
20140806 AWS Meister BlackBelt - Amazon Redshift (Korean)
Amazon Web Services Korea
Amazon Redshift의 이해와 활용 (김용우) - AWS DB Day
Amazon Redshift의 이해와 활용 (김용우) - AWS DB Day
Amazon Web Services Korea
DevOps with AWS Edge
DevOps with AWS Edge
GS Neotek
Tendances
(20)
Massive service basic
Massive service basic
How to build massive service for advance
How to build massive service for advance
AWS를 통한 신뢰성 높은 지속적 배포 및 통합(CD/CI) 사례 - AWS Summit Seoul 2017
AWS를 통한 신뢰성 높은 지속적 배포 및 통합(CD/CI) 사례 - AWS Summit Seoul 2017
Amazon cf day sesseion2
Amazon cf day sesseion2
Hanghae99 FinalProject Moyeora!
Hanghae99 FinalProject Moyeora!
How to use redis well
How to use redis well
메모리 할당에 관한 기초
메모리 할당에 관한 기초
Apache kafka performance(throughput) - without data loss and guaranteeing dat...
Apache kafka performance(throughput) - without data loss and guaranteeing dat...
카프카(kafka) 성능 테스트 환경 구축 (JMeter, ELK)
카프카(kafka) 성능 테스트 환경 구축 (JMeter, ELK)
Optane DC Persistent Memory(DCPMM) 성능 테스트
Optane DC Persistent Memory(DCPMM) 성능 테스트
추천서비스고군분투기 On Aws - 박진우 (레코벨)
추천서비스고군분투기 On Aws - 박진우 (레코벨)
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
Cloud dw benchmark using tpd-ds( Snowflake vs Redshift vs EMR Hive )
대용량 로그분석 Bigquery로 간단히 사용하기 (20170215 T아카데미)
대용량 로그분석 Bigquery로 간단히 사용하기 (20170215 T아카데미)
AWS EMR Cost optimization
AWS EMR Cost optimization
비디가 제시하는 AWS Migration 주요 factor - BD 홍성준 이사:: AWS Cloud Track 1 Intro
비디가 제시하는 AWS Migration 주요 factor - BD 홍성준 이사:: AWS Cloud Track 1 Intro
AWS Summit Seoul 2015 - 게임 서비스 혁신을 위한 데이터 분석
AWS Summit Seoul 2015 - 게임 서비스 혁신을 위한 데이터 분석
아마존 닷컴의 클라우드 활용 사례 - AWS Summit Seoul 2017
아마존 닷컴의 클라우드 활용 사례 - AWS Summit Seoul 2017
20140806 AWS Meister BlackBelt - Amazon Redshift (Korean)
20140806 AWS Meister BlackBelt - Amazon Redshift (Korean)
Amazon Redshift의 이해와 활용 (김용우) - AWS DB Day
Amazon Redshift의 이해와 활용 (김용우) - AWS DB Day
DevOps with AWS Edge
DevOps with AWS Edge
Plus de DaeMyung Kang
Count min sketch
Count min sketch
DaeMyung Kang
Redis
Redis
DaeMyung Kang
Ansible
Ansible
DaeMyung Kang
The easiest consistent hashing
The easiest consistent hashing
DaeMyung Kang
Integration between Filebeat and logstash
Integration between Filebeat and logstash
DaeMyung Kang
How To Become Better Engineer
How To Become Better Engineer
DaeMyung Kang
Kafka timestamp offset_final
Kafka timestamp offset_final
DaeMyung Kang
Kafka timestamp offset
Kafka timestamp offset
DaeMyung Kang
Data pipeline and data lake
Data pipeline and data lake
DaeMyung Kang
Redis acl
Redis acl
DaeMyung Kang
Coffee store
Coffee store
DaeMyung Kang
Number system
Number system
DaeMyung Kang
Internet Scale Service Arichitecture
Internet Scale Service Arichitecture
DaeMyung Kang
Redis From 2.8 to 4.x(unstable)
Redis From 2.8 to 4.x(unstable)
DaeMyung Kang
Redis From 2.8 to 4.x
Redis From 2.8 to 4.x
DaeMyung Kang
Soma search
Soma search
DaeMyung Kang
Redis 2017
Redis 2017
DaeMyung Kang
Using spark data frame for sql
Using spark data frame for sql
DaeMyung Kang
How to study
How to study
DaeMyung Kang
Internet scaleservice
Internet scaleservice
DaeMyung Kang
Plus de DaeMyung Kang
(20)
Count min sketch
Count min sketch
Redis
Redis
Ansible
Ansible
The easiest consistent hashing
The easiest consistent hashing
Integration between Filebeat and logstash
Integration between Filebeat and logstash
How To Become Better Engineer
How To Become Better Engineer
Kafka timestamp offset_final
Kafka timestamp offset_final
Kafka timestamp offset
Kafka timestamp offset
Data pipeline and data lake
Data pipeline and data lake
Redis acl
Redis acl
Coffee store
Coffee store
Number system
Number system
Internet Scale Service Arichitecture
Internet Scale Service Arichitecture
Redis From 2.8 to 4.x(unstable)
Redis From 2.8 to 4.x(unstable)
Redis From 2.8 to 4.x
Redis From 2.8 to 4.x
Soma search
Soma search
Redis 2017
Redis 2017
Using spark data frame for sql
Using spark data frame for sql
How to study
How to study
Internet scaleservice
Internet scaleservice
Redis edu 5
1.
REDIS charsyam@naver.com 데이터 분배 전략
2.
데이터 분배
3.
Range
4.
Range 1~백만: 1번 백만1~2백만: 2번
5.
Range Range가 너무 크면 서버별
사용 리소스가 크게 차이날 수 있다.
6.
Range 서버 추가 시에
Range 조 절이 없으면 데이터 이동 이 없다.
7.
Range User #1 User #10 User
#1000000 User #1000001 User #1000100 User #2000000 User #2000001 User #2000200 User #3000000 ServerUser #1000005 2
8.
Modulo
9.
Modulo Id % 서버대수
= k
10.
Modulo 서버 대수에 따라서
데이 터 이동이 많아짐.
11.
Modulo 가능하면 2배씩 증가하는 게
유리.
12.
Modulo Logical Shard Physical Shard
13.
Modulo User #1 User #4 User
#7 User #2 User #5 User #8 User #3 User #6 User #9 ServerUser #1 1
14.
Consistent Hash
15.
서버의 추가/제거 시에 1/n
정도의 데이터만 사라 진다. Consistent Hash
16.
다른 방식은 데이터의
서버 위치가 고정적이지만, CH 는 유동적 Consistent Hash
17.
A Add A,B,C Server
18.
A B Add A,B,C Server
19.
A B C Add A,B,C Server
20.
A B C 1 Add Item 1
21.
A B C 1 2 Add Item 2
22.
A B C 1 2 3 4 5 Add Item 3,4,5
23.
A B C 2 3 4 5 Fail!! B Server
24.
A B C 1 2 3 4 5 Add Item 1
Again -> Allocated C Server
25.
A B C 1 2 3 4 5 1 Recover B Server
-> Add Item 1
26.
Indexed
27.
Indexed 해당 데이터가 어디
존재하 는지 Index 서버가 따로 존 재
28.
Indexed 해당 데이터가 어디
존재하 는지 Index 서버가 따로 존 재
29.
Indexed Index 변경으로 데이터
이 동이 자유롭다.
30.
Indexed Index 서버에 대한
관리가 추가로 필요.
31.
Indexed User #1 User #2000 User
#1000000 User #2 User #2001 User #10000 User #3 User #6 User #5000 ServerUser #5000 3 Index Server User 5000 is in 3
32.
그외 이슈들 캐시는 얼마나
둬야 할까? 또는 사이징? Multiget Hole 문제 로컬 캐쉬
33.
캐시 사이징 최근의 추세는
캐시빨… 데이터량, 처리 속도등을 고려해야 함 캐시 서버가 몇대까지 죽어도 괜찮을까? 장비가 많은것 보다는 좋은 장비에 여 러 개 띄우는게 더 유리…
34.
로컬 캐쉬 보통은 Remote
Cache Network, Latency, 성능등의 이슈 적절한 로컬 캐쉬를 사용하면 유리 Expire Time을 짧게 가져감
35.
Multiget Hole 친구의 정보를
가져올 때… 캐시 서버가 1대에서 3대로 늘면… 정말 캐시 서버의 부하는 1/3일까요? 내 친구 모두를 가져오면…
36.
Thank you.
Télécharger maintenant