[NDC 2017] 이카루스 북미 : 베타서비스 활용법

Nexon America DevOps
김영현(Senior Technical Operations Engineer)
<이카루스 북미>
북미와 유럽을 위한 액션 RPG 베타서비스의 효과적인 활용법

DevOps?
기술적인 검토 : 서버 및 네트워크 구성
서버 셋업
배포 자동화
모니터링 시스템 구축 및 자동화
4/27 9:50am 김태현
DevOps? DevOps 개발자? 북미에서 6년

게임 서버 셋업
서버 구성 분석
로그인 서버
일반 DB
월드
로비 서버
게임 서버
게임 서버
게임 서버
게임 DB
서버의 사양
필요 서버수
적절한 데이터 센터 선정
자료출처 : http://www.pngall.com/server-png

데이터 흐름 분석
로그인 서버
일반 DB
월드
로비 서버
게임 서버
게임 서버
게임 서버
게임 DB
유저로부터 속도
연결 구성
자료출처 : http://lemmino.deviantart.com/art/Forever-A-Gamer-in-HD-362895641

로그인 서버
일반 DB
데이터량 분석
월드
로비 서버
게임 서버
게임 서버
게임 서버
게임 DB
5.2 kb/s 80.2 kb/s
8mb/s
필요한 밴드위쓰
(내부, 외부)
필요한 네트워크 장비
필요한 회선

로그인 서버
일반 DB
서버 수용인원 분석
월드
로비 서버
게임 서버
게임 서버
게임 서버
게임 DB
5.2 kb/s 80.2 kb/s
8mb/s
1000명
1000명
1000명
5000명
10000명
서버의 사양
필요 서버수

로그인 서버
일반 DB
오토스케일링
월드
로비 서버
게임 서버
게임 서버
게임 서버
게임 DB
로그인 서버
로비 서버
게임 서버
게임 서버
게임 서버
모니터링
Provisioning
Scaling condition
HA (High Availability) 구성

로그인 서버
일반 DB
보안
월드
로비 서버
게임 서버
게임 서버
게임 서버
게임 DB
패킷암호화
보안장비
패킷암호화
DDOS 방지 보안장비
로그 관리 및 분석 시나리오

데이터량 분석
오토스케일링
로그, 보안

데이터량 분석
오토스케일링
로그, 보안
확인 및 검증 내부 테스트
비공개 외부 테스트

클로즈드 베타?
서버
접속

국내서비스 vs 글로벌서비스
국내 서비스 글로벌 서비스
서버 구성 단일지역 단일 또는 복수지역
데이터 흐름 인터넷 속도 최강국 너무 다양함

단일서버
일반 MMORPG
200ms내외
DB, 게임서버 동일지역
렉이 생겨도 할수 없는…
별 사전 조사 없이 있는
IDC에 세팅
2000년대 중후반
자료출처 : https://clipartfest.com/categories/view/0620badd3d83d1eaf5b01b85e1e5416a4012b8a3/world-map-labeled-clipart.html

중앙서버 + 다수지역서버 FPS형태
50ms내외
유저와 가까운 중계서버
특별한 분석이 없는…
Ping 자료에 따라서 가까운곳
적절한 호스팅이나 클라우드
2010년대 초반

판단의 기준
Ping 자료  개개인 유저의 데이타를 수집하기 어려움
경험  어떤 IDC 가 좋다(더라). 어떤 회선이 좋다(더라).
현실  클베 한번 이후 바로 오베. 다른 지역 확보의 어려움.
검증과 분석의 부족함

초기 세팅 수년간 서비스를 좌우
세팅 된 서버 이전/변경의 어려움
검증의 어려움
성공여부
오베클베 또는 유사 : 부정적인 영향

이카루스
위메이드에서 오랜기간 개발
2013년 한국 오픈
2016년 북미/유럽 오픈

기술적인 특징
기본적인 MMOPRG + 많은 액션
요구된 최적 latency
이카루스 : 100~150ms
FPS : < 50ms
일반 MMO : 150 ~ 200ms
자료출처 : https://mmos.com/review/riders-of-Icarus

요구사항(requirements)
클로즈드 베타 (closed beta)
1차, 2차, 3차

요구사항
3. 클베는 세번
1. 게임서버는 DB와 동일한 지역에 셋업
2. 북미와 유럽 모두 서비스

일반적인 MMO
일반 서버 DB 서버 게임 서버
월드
요구사항
게임서버는 DB와 동일한 지역에 셋업

일반적인 FPS
게임 서버
게임 서버게임 서버
요구사항

이카루스 서버
지역선택
인증 서버
요구사항
월드
월드
월드
월드

미대륙 : 약 12.6억평
유럽 : 약 3억평
한국 : 약 3000만평
520배
요구사항
북미와 유럽 모두 서비스

너무 많은 ISP
요구사항

너무 많은 IDC
요구사항
한국 : 136개(2016년)자료출처 : http://www.datacentermap.com

옵션
호스팅 업체 ( 동부, 서유럽 )
아마존 AWS ( 동부:버지니아, 서유럽:프랑크푸르트, 런던 )
넥슨 유럽 IDC ( 룩셈부르크 )
요구사항
미서부 : 라스베가스 IDC

기존자료
Ping 자료는 쉽게 구할 수 있다.
요구사항
자료출처 : https://wondernetwork.com/pings/Los+Angeles

몸풀기 분석
몸풀기 분석

엑셀에서 회귀분석
데이타분석
회귀분석

상관계수(Correlation Coefficients)
얼마나 연관성이 있는가?
0.65 이상일때 의미
회귀분석 용어

회귀식(Regression equation)
예측을 할 수 있게 해주는 1차 방정식
0.0162x(1000) + 10.448 = 26.648
LA와 1000km 떨어진 곳의 ping 예측?
회귀분석 용어

결정계수(Coefficient of Determination)
회귀식에 맞는 데이타율
회귀분석 용어

요구사항
2. 북미와 유럽 모두 서비스
1. 게임서버는 DB와 동일한 지역에 셋업
3. 클베는 세번

1차 클베 : 서부서버. 데이터 분석
전략
2차 클베 : 동부서버. 커버리지 분석
3차 클베 : 후보지 선정.
내부 테스트 : 클베로 부족한 부분 확인
요구사항
클베는 세번???
오픈베타까지 3주

3차 클베 : 1+2차의 결과에 따라서 옵션
옵션 A : 미서부, 미동부, 유럽
옵션 B : 미동부
옵션 C : 미서부, 미중부, 미동부, 유럽
옵션 D : 미서부, 유럽
요구사항
클베는 두번!!

무엇이 필요할까??
Ping만으로 충분할까?
서버와 DB에서 처리되는 시간은 무시해도
될까?
아이템을 줍거나 스킬을 쓸때 얼마나 걸릴까?
의외로 빠르거나 느린 지역이 있지 않을까?
게임 서버
ping
DB 서버

필요사항
DB 서버게임 서버
ping : 32 byte ICMP packet

DB 서버게임 서버
유저의 액션부터 서버, DB를 거쳐서 다시 돌아오는 값
TCP game packet
아이템, 스킬 시전에 latency를 측정
개발사의 적극적인 협조 – 아이템/스킬 latency 측정 추가 개발

최초 로그 형태
285-173=112ms

분석 0차
필요한 필드 정리, 추출방법 결정
파일이 아닌 DB에 로그 적재
Python 으로 추출, R 에 적용
미동부
~100ms
~30ms
미서부

https://jagt.github.io/clumsy/
실제 플레이 + 랙 강제 발생
 200ms 정도면 쾌적

클베 준비
DB 로 로그를 이동
로그를 어떻게 가공할지 python, R로 확인
분석 방법 결정
북미서부에만 서버를 세팅하여 테스트

1차 클베 : 서부서버. 데이터 분석
전략
2차 클베 : 동부서버. 커버리지 분석
3차 클베 : 후보지 선정.
내부 테스트 : 클베로 부족한 부분 확인
오픈베타까지 3주

1차 클베
프로토타이핑
2차 클베 3차 클베

1차 클베
자료출처 : http://www.vegasissues.com/2017/02/01/13-things-you-know-only-if-you-grew-up-in-vegas/
Google map

로그 : 미흡한 자료 보충 및 DB 저장
1차 클베
게임 latency

데이타 및 분석
아이템 latency & 스킬 latency
데이터 추출 및 가공 작업 (Python 의 panda 라이브러리 활용)
약 1,000,000건  5천건으로 압축 및 가공
IP를 바탕으로 국가, 위치, ISP 정보  free web api
1차 클베

1차 클베
최소 평균 중간 최대

중간값(median)
평균값
vs
중간값
1차 클베
최대
최소

40
20
중간값(median)
1차 클베
Outlier

1차 클베
https://carto.com/

1차 클베의 소득
1차 클베
DB
DB로 옮긴 데이타의 가공법 확립
분석 방법 및 방향 확립

1차 클베
시각화 방법 확립
불완전요소 확인(위치값)
서부 서버로는
전체 커버 불가능 확인

2차 클베
실패의 확인, 결과는 성공
3차 클베1차 클베

동부 단독 서버 과거 경험에 대한 기대
Python + api 호출  DBA + GeoIP 활용
2차 클베

너무 불안정한 IDC : 예상보다 적은 유저 , 데이터
결과
2차 클베

2차 클베
1차 클베
2차 클베
65% 86% 91%
게임latency 200ms 미만

2차 클베
53%
게임latency 200ms 미만
35%

Ping 과 게임 latency 와의 관계
2차 클베
거리에 따른 ping 값(기존자료)

유럽 내부테스트
사내직원 및 지인들을 대상
룩셈부르크 넥슨유럽 IDC : 사용불가
프랑크푸르트 아마존 AWS에 테스트
내부테스트

호스팅 보다는 클라우드
유럽 – 내부테스트로 확인

53%
35%
65%
86% 91%
동부에 셋업하는 것은 배제

3차 클베
확인
1차 클베 2차 클베

위치 후보 선정
미서부, 미동부
룩셈부르크, 프랑크푸르트,런던
3차 클베

최종 서버 지역
3차 클베
자료출처 : https://www.youtube.com/watch?v=2OUTN1Eyv_k

대륙별 최적 latency 비율
유럽 : 88%미국 : 78% 캐나다 : 70%
3차 클베
자료출처 : http://mapssite.blogspot.com/2008/11/map-of-europe-countries.html
https://clipartfest.com/categories/view/e1e6b1561afcae051f4aca2b13e1964288791acd/us-map-flag-clipart.html
http://www.prepaid-wireless-guide.com/cell-phone-providers.htm

3차 클베
VPN
미국:78%
캐나다:70%
유럽:88%

오픈 베타
라스베가스(미서부) + 프랑크푸르트(유럽) 으로 서비스중

포스트 모템 요약 버전

액션 RPG의 서버 구성 및 지역 산출
프로젝트 정리
북미와 유럽을 모두 커버
두번의 클베로 후보지를 선정. 마지막 클베로 확인.
간단한 통계로 데이터의 연관성 확인

프로젝트 결과
실제 게임 데이타의 전송 속도를 측정
Ping 과 실제 게임 데이타는 차이가 있으나, 연관성은 높음
플레이에 쾌적한 데이타 산출. 이를 바탕으로 커버지역 산출
유니크 IP 에 대한 데이터 산출 : 기술 뿐 아니라 사업적으로 활용

호스팅이 아닌 클라우드로 처음부터 접근했어야…
Wrong or Missing
클베 사이 간격이 분석, 전략, 수행의 시간적 여유가 좀 더 있었으면…
게임 서버와 DB의 물리적 먼거리에서 테스트 부재
개발되고 적재된 데이타의 2차 활용의 지속 부족

Python의 Panda + R로 기본적인 데이터 가공작업을 한것
특별히 잘한 부분
시각화로 모든 사람이 한눈에 보고 이해할 수 있었던 점
개발사의 협조로 게임 latency 를 유저별 추출해서 분석한점

무료 API 호출로 지역정보를 가져오는데 2-3시간 걸림
특별히 어려웠던 부분
평소에 수학공부를 좀 해둘걸…
클베 두번으로 최적화된 장소를 찾기에는 시간부족

기본적인 수학공부는 틈틈이
Action Plan
클베간의 일정은 사업팀과 조율을…
요구조건에서 조금이라도 의심이 생기면 테스트와 검증으로 확인
감으로, 경험으로 판단하지 말고 검증하자
클라우드의 다양한 지역에 서버를 둬서 내부 테스트를 해보자

[NDC 2017] 이카루스 북미 : 베타서비스 활용법

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (16)

Similaire à [NDC 2017] 이카루스 북미 : 베타서비스 활용법

Similaire à [NDC 2017] 이카루스 북미 : 베타서비스 활용법 (20)

[NDC 2017] 이카루스 북미 : 베타서비스 활용법

Notes de l'éditeur