실시간 서비스 플랫폼 개발 사례

1. 실시간 서비스 플랫폼 설계 Node.js 기반의 분산 서버 환경 구축 김요한 (yohany@gmail.com)

2. 기술은 공유되어야 하고, 서비스로 차별화 해야 한다. 김요한 GSSHOP architect https://www.facebook.com/JohnKim0331 https://github.com/JohnKim yohany@gmail.com

3. 요즘 유행하는 실시간 서비스 개발하기 위해 분산 서버 구성하고 그리고 운영 하기 Service

4. Platform

5. ? scalability

6. ? Monitoring

8. 1. 실시간 서비스 플랫폼 우리는 왜 플랫폼으로 만들어야 하는가 ?

9. 실시간 서비스 플랫폼

10. 실시간 서비스 ?

12. https://www.ﬂickr.com/photos/xrrr/1750232320/ FIDS (Flight Information Display System)

13. 실시간 서비스 플랫폼

14. 플랫폼 ?

15. https://ﬂic.kr/p/ajvCwR

16. Volkswagen Group Platform

17. REAL-TIME SERVICE PLATFORM Dashboards Mobile Notiﬁcations Messengers

18. is ideal for building dashboards, activity streams, notiﬁcation and chat systems, backend-less apps and websites, real-time collaboration, live statistics, remote controls, multiplayer games, and more. REAL-TIME SERVICE PLATFORM

19. https://www.hydna.com/

20. https://www.ﬁrebase.com/

21. Start with a Platform , and Then Use it for Everything.

23. 2. 분산 서버 설계하기 확장성을 고려한 서버 아키텍처 설계 NodeJS

25. Socket.IO,

26. NGINX,

27. HAPROXY,

28. ELB,

29. Zookeeper,

30. Redis

31. “무엇으로 만들 것인가 ? ” 가장 많이 사용하고 있는 socket.io

32. http://socket.io/get-started/chat/

34. “그런데, 아프리카 처럼 ? ” 서버 하나로는 부족하다! SCALE UP SCALE OUT

35. SCALE UP Memory CPU

36. SCALE OUT

37. “Scale Out 은, 처음부터 고려하지 않으면 힘들다”

38. “가장 흔한 방법 부터 적용하자. 하지만 socket.io 에 맞게 해야 한다 ”

39. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER ? 가장 쉬운 방법

40. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER NGINX HA PROXY ELB Elastic Load Balancing (AWS)

41. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER NGINX HA PROXY ELB Elastic Load Balancing (AWS) Websocket 을 지원하지 않는, IE 에서 socket.io로 접속할 때 xhr-polling

42. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER NGINX HA PROXY ELB Elastic Load Balancing (AWS) 같은 서버에 polling 해야만 함

43. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER NGINX HA PROXY ELB Elastic Load Balancing (AWS) 같은 서버에 polling 해야만 함 CHAT SERVERX

44. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER NGINX upstream io_nodes { ip_hash; server 127.0.0.1:6001; server 127.0.0.1:6002; server 127.0.0.1:6003; server 127.0.0.1:6004; } Client 의 IP 를 해싱하여 분배

45. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY backend io_nodes balance source server 127.0.0.1:6001 . . . . server 127.0.0.1:6002 . . . . server 127.0.0.1:6003 . . . . server 127.0.0.1:6004 . . . . Client 의 IP 를 해싱하여 분배 (v1.5 부터 SSL 지원)

46. X CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER ELBElastic Load Balancing (AWS)

47. X CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER ELBElastic Load Balancing (AWS)

48. CHAT S CHAT S CHAT S CHAT S CHAT S ELBElastic Load Balancing (AWS) TCP MODE HA PROXY HA PROXY

49. “역할 별로 분리 해서 확장하자” 좀더 고민해서,

50. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 메시지 송신 전용 (HTTP RESTful) 메시지 수신 전용 (socket)

51. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY HA PROXY

52. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY HA PROXY

53. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY HA PROXY REDIS publish subscribe

54. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY HA PROXY REDIS publish subscribe Broker (pub/sub server) Publisher Subscriber 1 Subscriber 2 Subscriber 3 redis rabbitMQ

55. REST S REST S CHAT CHAT CHAT HA PROXY HA PROXY

56. REST SERV REST SERV CHAT SERV CHAT SERV HA PROXY HA PROXY 관리자가 메시지 발송 !!

57. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER OXY OXY REDIS publish subscribe

58. REST S REST S CHAT CHAT CHAT HA PROXY HA PROXY

59. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 메시지 송신 전용 (HTTP RESTful) 메시지 수신 전용 (socket)

60. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT 서버 할당  접속 인증 (HTTP RESTful) CHAT 메시지 송/수신 전용 (socket)

61. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT 서버 할당  접속 인증 (HTTP RESTful)

62. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY 123.0.0.2:9002 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 어느 서버에 접속해?

63. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY 123.0.0.2:9002 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 어느 서버에 접속해?

64. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY 123.0.0.2:9002 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 어느 서버에 접속해? REDIS ABCDEFG01234인증 토큰 ABCDEFG01234 SET 토큰 GET 토큰

65. ” “인증 처리 ! OAuth 2.0 로 별도의 서버로 구축한다

66. ” “인증 처리 ! OAuth 2.0 로 별도의 서버로 구축한다

67. “인증 처리 ! OAuth 2.0 로 별도의 서버로 구축한다 ” SPRING SECURITY OAUTH 2

68. “접속할 서버를 할당하려면 ? ” 먼저, 서버 목록을 가지고 있어야 한다.

69. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004

70. REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 서버 목록을 모두 가지고 있어야 함. 장애난 서버와 신규 추가된 서버 정보도 동기화 되어야 함

71. REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 zookeeper watching node 변경된 노드 정보 동기화

72. REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 zookeeper watching node 변경된 노드 정보 동기화 create EPHEMERAL node 임시 노드로 서버 정보 생성 The King of Coordination apache zookeeper - DISTRIBUTED LOCKING - SERVICE MANAGEMENT (LOAD BALANCER, DNS . . .)

73. REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 zookeeper watching node 변경된 노드 정보 동기화 create EPHEMERAL node 임시 노드로 서버 정보 생성

74. “서버는 어떻게 할당해 주는가?” 같은 채팅방 사람들은 같은 서버에 접속하도록.

75. 같은 채팅방 사람들은 같은 서버에 접속하도록. Client 의 IP 를 해싱하여 분배 체팅방 키를 해싱하여 분배 NGINX 의 ip_hash HAPROXY 의 balance source

76. CONSISTENT HASHING https://github.com/3rd-Eden/node-hashring var HashRing = require('hashring'); var ring = new HashRing([ '127.0.0.1', '127.0.0.2', '127.0.0.3', '127.0.0.4' ]); ring.get('채팅방키’); // 접속 서버 반환

77. Weighted CONSISTENT HASHING https://github.com/3rd-Eden/node-hashring var HashRing = require('hashring'); var ring = new HashRing({ '127.0.0.1': { weight: 200 }, '127.0.0.2': { weight: 200 }, '127.0.0.3': { weight: 200 }, '127.0.0.4': { weight: 1000 } }); ring.get('채팅방키’); // 접속 서버 반환

79. 3. 운영하기 서버 실행 및 모니터링하기 uptime,

80. PM2,

81. influxDB,

82. grafana

83. https://github.com/foreverjs/forever A simple CLI tool for ensuring that a given script runs continuously (i.e. forever).

84. $ npm install forever -g $ forever start server.js

85. https://github.com/Unitech/pm2 PM2 is a production process manager for Node.js applications with a built-in load balancer . It allows you to keep applications alive forever , to reload them without downtime and to facilitate common system admin tasks.

86. $ npm install pm2 -g $ pm2 start server.js $ pm2 reload all $ pm2 startup -i 0

87. $ pm2 start server.js -i 0 node process 1 node process 2 node process 3 node process 4 load balancer cluster mode $ pm2 reload all

90. Grafana is a frontend for Graphite, InﬂuxDB and OpenTSDB with powerfull visualization features for time series data

92. InﬂuxDB distributed, time series database with no external dependencies

93. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER admin Log Collector InfluxDB NGINX +

94. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER admin Log Collector InfluxDB NGINX Socket.IO (separated namespace for monitoring) { pid : process.pid, arch : process.arch, platform : process.platform, uptime : process.uptime(), memory : process.memoryUsage(), // 그 외 // 서버에 연결된 Client 수 // 체팅방 수 등 }

95. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER admin Log Collector InfluxDB NGINX Influx.writePoint() Socket.IO-client

96. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER admin Log Collector InfluxDB NGINX + // nginx 설정 auth_basic Restricted; auth_basic_user_file /path/to/my/htpasswd/file;

98. AWS 기반 실시간 서비스 플랫폼 ( 예시, 주요 인스턴스만 표기 함 )

99. Availability Zone #1 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group

100. Availability Zone #1 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Availability Zone #2 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Auto Scaling group VPC Elastic Load Balancing

101. Availability Zone #1 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Availability Zone #2 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Auto Scaling group VPC Elastic Load Balancing

102. Availability Zone #1 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Availability Zone #2 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Auto Scaling group VPC - Service Platform Elastic Load Balancing VPC - Operation VPC peeringLog Collector (EC2 instances) InfluxDB (EC2 instances) Grafana (EC2 instance) security group security group Administrator

103. Availability Zone #1 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Availability Zone #2 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Auto Scaling group VPC - Service Platform Elastic Load Balancing VPC - Operation VPC peeringLog Collector (EC2 instances) InfluxDB (EC2 instances) Grafana (EC2 instance) security group security group Administrator

104. VPC - Authorization Service VPC - AAA 서비스 플랫폼 VPC - BBB 서비스 플랫폼 VPC - 실시간 서비스 플랫폼 AAA 서비스 Clients 실시간 서비스 Clients VPC - 운영관리 실시간 자원/성능 모니터링, 통합 로그 수집 . . . . . VPC peering

106. 왜 였나?“ ” 마지막 정리하면서….

107. 성능“ ” 하지만, 항상 빠르지는 않다

108. 생산성“ ” 이건 거의 중독될 수도 있다.

109. 빠른 시작“ 장애나면, 즉시 재시작하고 보자 ! ”

110. 그리고 , “실시간 서비스가 딱 맞다”

실시간 서비스 플랫폼 개발 사례

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à 실시간 서비스 플랫폼 개발 사례

Similaire à 실시간 서비스 플랫폼 개발 사례 (20)

Plus de John Kim

Plus de John Kim (8)

Dernier

Dernier (20)

실시간 서비스 플랫폼 개발 사례