Scalable Architecture Design DEVIEW 2013 에서 발표한 "오픈소스를 활용한 분산 아키텍처 구현기술" 장표입니다. Scalable Architecture 디자인을 위해 필요한 다양한 구현 기술 중 몇가지를 소개해 드립니다. 관련된 내용으로 문의 있으시면 메일로 연락 주세요~

1. 오픈소스를

2. 활용한
분산아키텍처

3. 구현

4. 기술
김요한

5. (

6. yohany@gmail.com

7. )
LG

8. CNS

9. CONTENTS
1.

10. Scalability

11. 란
2.

12. Async

13. Event

14. Looping

15. Server
3.

16. Reverse

17. Proxy

18. Server
4.

19. 분산서버

20. 노드

21. 관리
- Consistent Hashing
- 분산 코드네이터
5. 더 고민해야 할 부분
- 공유 데이터 관리
- 모듈 기반 어플리케이션
- 대용량 Connection 관리

22. 1. Scalability

23. 1 Scalability
When you add twice as many servers, are you twice as fast
(or have twice the capacity)?
- LiveJournal
https://www.usenix.org/legacy/events/usenix07/tech/slides/fitzpatrick.pdf
Replacing all components of a car while driving it at
100mph.
- Instagram
https://www.unboundid.com/blog/2012/06/27/scaling-at-100mph

24. 1 Scalability
Asynchronous
Fault-Tolerance
Optimistic

25. Concurrency
Parallelization
Shared

26. nothing

27. /

28. Loosely

29. Coupled
Partitioned

30. Datas
Idempotent

31. Operations

32. 1 Scalability
http://stalk.io
script src=http://www.stalk.io/stalk.js/script
script language=javascript
STALK.init();
/script

33. 2. Async Event Looping Server

34. 2 Async Event Looping Server
Single

35. Thread

36. 로

37. Event

38. Looping

39. 처리

40. 하는

41. 비동기

42. 서버
core

43. 당

44. 하나의

45. thread

46. /

47. 저사양

48. /

49. 고성능 /

50. WebSocket

51. 추상화
cf.

52. DB

53. 연결

54. Transaction

55. 관리

56. /

57. 좀

58. 더

59. 오래

60. 걸리는

61. 작업

62. /

63. 일반적인

64. 업무

65. 시스템

66. 2 Async Event Looping Server
http://www.techempower.com/benchmarks/

67. 2 Async Event Looping Server
서버만

68. 많다면

69. 될까?

70. 3. Reverse Proxy Server

71. 3 Reverse Proxy Server
L4

72. /

73. L7

74. Switch
?

75. 3 Reverse Proxy Server
Reverse

76. Proxy

77. 3 Reverse Proxy Server
Reverse

78. Proxy
L4

79. Switch

80. 3 Reverse Proxy Server
HAProxy + Varnish
Fully Dynamic Contents
HaProxy
Varnish

81. 3 Reverse Proxy Server
참고로,
Job Queueing
Gearman, RabbitMQ + Celery
(instagram, pinterest)
Job

82. Worker
Job

83. Worker
Job

84. Queue

85. Server
Job

86. Worker
비동기 처리
Job

87. Worker
병렬 프로세싱

88. 3 Reverse Proxy Server
public
class
ReverseProxyServer
extends
Verticle
{
public
void
start()
{
HttpClient
clients[]
=
{vertx.createHttpClient().setHost(10.21.32.01).setPort(8282),
vertx.createHttpClient().setHost(10.21.32.02).setPort(8282),
vertx.createHttpClient().setHost(10.21.32.03).setPort(8282),
.
.
.
};
vertx.createHttpServer().requestHandler(new
Handler()
{
Reverse

89. Proxy

90. 서버는

91.
public
void
handle(final
HttpServerRequest
req)
{
final
HttpClientRequest
cReq
=
clients.get().request(req,
new
HandlerHttpClientResponse()
{
public
void
handle(HttpClientResponse
cRes)
{
cRes.dataHandler(new
HandlerBuffer()
{
req.response.write(data);
});
cRes.endHandler(new
SimpleHandler()
{
req.response.end();
});
}
});
}
}).listen(8080);
}
vert.x 로 Reverse Proxy 서버
}
“

92. 부하

93. 분산

94. ”

95. 은

96. 어떻게?
“

97. 무중단

98. 서버

99. 추가

100. ”

101. 는

102. 어떻게?
신규서버

103. 추가

104. /

105. 장애

106. 서버

107. 처리

108. .

109. .

110. .

111. .

112. Auto

113. Scale

114. Out

115. ?
구현하기.

116. 4. 분산서버 노드 관리
- Consistent Hashing
- 분산 코드네이터

117. 4.1 Consistent Hashing
부하 분산 방법 ?
Round

118. Robin

120. (순차적으로)
Least

121. Connection

123. (가장

124. 놀고

125. 있는

126. 분께)
Consistent

127. Hashing

128.
-

129. 키값이

130. 같으면

131. 같은

132. 서버에서

133. 처리한다.

134. (Sticky

135. ?)
-

136. shared

137. nothing,

138. sharding,

139. 데이터

140. 분산

141. 저장/처리

142. 등

143. 4.1 Consistent Hashing
Service

144. Server
A
D
Token

145. Ring
C
value

146. =

147. HASH(key)
B

148. 4.1 Consistent Hashing
A
D
value

149. =

150. HASH(key)
B
C
A

151. -

152. C

153. 구간이

154. 넓어서

155. C

156. 에

157. 부하가

158. 많을

159. 수

160. 있다

161. !
장애

162. 발생

163. !!

164. 4.1 Consistent Hashing
A
C D
B
D
C
B
A
D
B C
A
D
value

165. =

166. HASH(key)
A
B
C
D
B
A
C
A
B
C
D
B
A
D
C
C
B A
C D
B A
value

167. =

168. HASH(key2)

169. 4.1 Consistent Hashing
A
C D
B
D
C
B
A
D
B C
A
D
value

170. =

171. HASH(key)
A
B
C
D
B
A
C
A
B
C
D
B
A
D
C
C
B A
C D
B A
value

172. =

173. HASH(key2)

174. 4.1 Consistent Hashing
public
class
ConsistentHashT{
ConsistentHash.add(‘nodeA’,...);
private
final
HashFunction
hashFunction
=
Hashing.md5();
private
final
SortedMapLong,
T
circle
=
new
TreeMapLong,
T();
ConsistentHash.add(‘nodeB’,...);
ConsistentHash.add(‘nodeC’,...);
public
void
add(String
name,
T
node)
{
circle.put(hashFunction.hashString(name).asLong(),node);
}
public
void
remove(String
name)
{
circle.remove(hashFunction.hashString(name).asLong());
}
ConsistentHash.add(‘nodeD’,...);
}
public
T
get(String
value)
{
long
hash
=
hashFunction.hashString(value).asLong();
if
(!circle.containsKey(hash))
{
SortedMapLong,
T
tailMap
=
circle.tailMap(hash);
hash
=
tailMap.isEmpty()?circle.firstKey():tailMap.firstKey();
}
return
circle.get(hash);
}

175. 4.1 Consistent Hashing
public
class
ConsistentHashT{
private
final
HashFunction
hashFunction
=
Hashing.md5();
private
final
SortedMapLong,
T
circle
=
new
TreeMapLong,
T();
private
final
int
numberOfReplicas
=
100;
}
public
void
add(String
name,
T
node)
{
for
(int
i
=
0;
i
numberOfReplicas;
i++)
{
circle.put(hashFunction.hashString(name
+
i).asLong(),node);
}
}
public
void
remove(String
name)
{
for
(int
i
=
0;
i
numberOfReplicas;
i++)
{
circle.remove(hashFunction.hashString(name
+
i).asLong());
}
}
public
T
get(String
value)
{
long
hash
=
hashFunction.hashString(value).asLong();
if
(!circle.containsKey(hash))
{
SortedMapLong,
T
tailMap
=
circle.tailMap(hash);
hash
=
tailMap.isEmpty()?circle.firstKey():tailMap.firstKey();
}
return
circle.get(hash);
}

176. 4.1 Consistent Hashing
public
class
ConsistentHashT{
}
private
final
HashFunction
hashFunction
=
Hashing.md5();
private
final
SortedMapLong,
T
circle
=
new
TreeMapLong,
T();
private
final
int
numberOfReplicas
=
100;
모두

177. 똑같이

178. 해야

179. 하나?
public
void
add(String
name,
T
node)
{
for
(int
i
=
0;
i
numberOfReplicas;
i++)
{
circle.put(hashFunction.hashString(name
+
i).asLong(),node);
서버의

180. CPU

181. Core

182. 수

183. 나

184. 네트워크

185. 구간

186. 등

187. 고려
}
}
public
void
remove(String
name)
{
for
(int
i
=
0;
i
numberOfReplicas;
i++)
{
circle.remove(hashFunction.hashString(name
+
i).asLong());
}
}
public
T
get(String
value)
{
long
hash
=
hashFunction.hashString(value).asLong();
if
(!circle.containsKey(hash))
{
SortedMapLong,
T
tailMap
=
circle.tailMap(hash);
hash
=
tailMap.isEmpty()?circle.firstKey():tailMap.firstKey();
}
return
circle.get(hash);
}

188. 4.1 Consistent Hashing
replics 수에 따른 표준편차(standard deviation)
서버

189. 노드

190. 10

191. 개를

192. 1

193. 부터

194. 500

195. 개

196. 까지

197. relicas

198. 로

199. 배치

200. 10,000

201. 번의

202. consistent

203. Hashing

204. 결과
https://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html

205. 4.2 분산 코디네이터
zkClient.get().create(/serviceServers/nodeA,
//
서버정보를
가지고
있는
zNode
Path
1.1.1.1:8080.getBytes(),
//
zNode
의
데이터,
서버
상세정보
(Null
이어도
됨)
CreateMode.EPHEMERAL);
//
zNode
타입
(EPHEMERAL
:
임시노드
/
PERSISTENT
:
영구생성)
EPHEMERAL

206. 타입은

207. Zookeeper

208. 서버에

209. 접속이

210. 끊어지면,

211. 자동으로

212. 삭제

213. !!
서비스

214. 서버

215. 장애로

216. Shutdown

217. 되면

218. Zookeeper

219. 목록에서

220. 자동으로

221. 삭제

222. 가능
zkClient.get().create(/serviceServers/nodeB,
.
.
.
.
.
zkClient.get().create(/serviceServers/nodeC,
.
.
.
.
.
zkClient.get().create(/serviceServers/nodeD,
.
.
.
.
.
Apache ZooKeeper™
/serviceServers/nodeA
/nodeB
/nodeC
/nodeD

223. 4.2 분산 코디네이터
Apache ZooKeeper™
/serviceServers/nodeA
/nodeB
/nodeC
/nodeD
:
:
노드

224. 삭제
create

225. node
서버

226. 목록을

227. watching

228. 하면서

229.
2
Proxy

230. 서버의

231. 서비스

232. 서버

233. 목록을

234. 동기화

235. !!

236. watching
reverse

237. proxy

238. server
3
1
서비스

239. 서버가

240. startup

241. 될때

242. zookeeper

243. Server

244. 에

245. 연
결해서

246. EPHEMERAL

247. 노드

248. 생성

249.
장애

250. 발생

252.
zookeeper

253. 와

254. 연결이

255. 자동으로

256. 끊어짐!!
서비스

257. 서버

258. 목록을

259. Ring

260. 에

261. 추가
Consistent

262. Hashing

264. service

265. servers

267. 4.2 분산 코디네이터
장애

268. 발생시

269. 자동

270. 삭제

271. 될

272. 수

273. 있도록
CreateMode.EPHEMERAL
로

274. Znode

275. 생성

276. ?
하지만,

277. 또

278. 다른

279. 문제들.
-

280. 네트워크

281. 문제로

282. znode

283. 가

284. 삭제
-

285. Disk

286. Full,

287. Memory,

288. CPU

289. .

290. .

291. .

292. .

293. ?

294.
CreateMode.PERSISTENT
로

295. Znode

296. 생성

297. 후

298. 데몬으로

299. 서버들의

300. 상태

301. 관리.
Auto

302. Scaling

303. 이

304. 가능하도록

305. 해야

306. 할

307. 것.

308. 5. 더 고민해야 할 부분
- 공유데이터관리
- 모듈 기반 어플리케이션
- 대용량 Connection 관리

309. 5.1 공유 데이터 관리
WAS

310. 의

311. Cluster

312. 는

313. 장애

314. /

315. 성능

316. 저하의

317. 주된

318. 원인

319. !
Tomcat

320. 의

321. session

322. replication

323. :

324. DeltaManager

325. or

326. BackupManager
해결책

327. 중

328. 하나

329. -

330. NAVER

331. 의

332. TripleS

333. (Shared

334. Session

335. System)

336. ?
http://helloworld.naver.com/helloworld/233847

337. 5.1 공유 데이터 관리
를

338. 활용한

339. 공유

340. 데이터

341. (session)

342. 공유하기
ZooKeeper™
Redis Cluster
Manager
create/delete
redis

343. node
redis

344. 서버

345. 목록을

346. Ring

347.
에

348. 주가하고

349. 동기화

350. 한다.
Reverse

351. Proxy
server
watching
heartbeat
redis

352. 상태

353. 체크
.

354. .

355. .
Consistent

356. Hashing

357.
shard 1
.

358. .

359. .
get

360. /

361. set

362. session

363. datas
shard 2
.

364. .

365. .

366. servers

367.
shard 3

368. 5.1 공유 데이터 관리
공유하지

369. 않는

370. 것

371. (shared

372. nothing)

373. 이

374. 가장

375. 좋은

376. 방법

377. !!

378. servers

379.
Reverse

380. Proxy
server
체팅방명(키)이

381. hash

382. key
HASH

383. (“체팅방

384. A”)
HASH

385. (“체팅방

386. B”)
Consistent

387. Hashing

388.
이

389. 서비스

390. 서버에

391. “체팅방

392. A”

393. 에

394.
입장한

395. 모든

396. 접속자

397. 목록은

398. Local

399.
메모리에

400. 저장하고

401. 있다.

402. 5.2 모듈 기반 어플리케이션
var
http
=
require('http');
vertx.deployModule(web-­‐server-­‐v1.2,
config,
1);
var
sender
=
require('./lib/messageSenderMod');
vertx.deployModule(mod-­‐messageSender-­‐v0.1,
config,
1);
var
receiver
=
require('./lib/messageReceiverMod');
vertx.deployModule(mod-­‐messageReceiver-­‐v0.1,
config,
1);
var
auth
=
require('./lib/userAuthMod');
vertx.deployModule(mod-­‐userAuth-­‐v0.1,
config,
1);
var
buddy
=
require('./lib/buddyMgrMod');
vertx.deployModule(mod-­‐buddyMgs-­‐v0.1,
config,
1);
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
서버의

403. 기능들을

404. 분리해

405. 구현한

406. 모듈들

407. 5.2 모듈 기반 어플리케이션

408. vertx

409. run

410. stalk

411. -config

412. webServer.config
modwebServer
modnodeWatcher
modsessionManager
modpublishManager
Event

413. Bus
modules

414. vertx

415. run

416. stalk

417. -config

418. socketServer.config
mod-
mod-
mod-
mod-
socketServer nodeWatcher sessionManager mongoMgr
common

419. library
Main

420. Verticle
Event

421. Bus
modmailSender

422. 5.3 대용량 Connection 관리
특히,

423. 체팅과

424. 같은

425. 양방향

426. socket

427. (websocket)

428. 통신

429. 서버라면,

430. Users

431.
서비스

432. 중재

433. 서버

434. 가

435. 먼서

436. Client

437. 에게

438. 서비스

439. 서버를

440. 할당하자.

441. !!
ZooKeeper™
서비스 중재 서버
ZooKeeper™
Proxy 서버

442. Servers

444. Users

446. Servers

448. 5.3 대용량 Connection 관리
데이터

449. Storage

450. 와

451. 서비스

452. 서버간

453. Connection

454. 은

455. ?
mongos router
각

456. 서비스

457. 서버에

458. router

459. 가

460. 설치

461. 된다.
shard 1
shard 2
shard 3

462. Servers

463.
shard 1
shard 2
mongos router
shard 3

464. mongoDB

465. Cluster

467. Servers

469. mongoDB

470. Cluster

472. 김요한

473.
yohany@gmail.com
facebook.com/johnkim0331

474. 참조링크

475.
pinterest.com/johnkim0331/deview2013

476. 프로젝트

477.
stalk.io

478. THANK YOU