1. Zookeeper,
или как управлять
зоопарком
Андрей Степачев
пятница, 25 января 13 г.

2. Основные принципы
пятница, 25 января 13 г.

3. Файловая система
/
/app1/p1 P1
/app1 P2
/app1/p2
/app2 P3
/app1/p3
name: /app1
version: 10 name: /app1/p3
childs: [...] data: [...]
data: [...] session: P3
3
пятница, 25 января 13 г.

4. FIFO обработка сообщений и
А-Линеаризация записи
ZK Client ZK Client
FIFO FIFO
Request R R
Processor W
W W W
DB
DB
DB
W TX
ZUB WW TX
W TX
TX
4
пятница, 25 января 13 г.

5. Кворум и 2-х фазный коммит
ZK Quorum
Follower Leader
Follower 2P Commit
Follower
Client Client Client Client
5
пятница, 25 января 13 г.

6. Консистентность
ZK Quorum
Follower Leader
Follower 1 2P Commit 1
1
Client Client Client Client
1 1 1 1
2
6
пятница, 25 января 13 г.

7. Консистентность
ZK Quorum
Follower Leader
Follower 1 2P Commit 2
2
Client Client Client Client
2 2 1 2
sync()
read()
7
пятница, 25 января 13 г.

8. Консистентность
ZK Quorum
Follower Leader
Follower 2 2P Commit 2
2
Client Client Client Client
2 2 2 2
sync()
read()
8
пятница, 25 января 13 г.

9. Рецепты
пятница, 25 января 13 г.

10. Рецепт: Управление конфигурацией
/app1
/app1/config
C1 C2 C3
10
пятница, 25 января 13 г.

11. Рецепт: Рандеву (1/2)
/app1
/app1/workers
alive-w1
putData(ephemeral)
Listen w1-queue
putData W1
Leader
11
пятница, 25 января 13 г.

12. Рецепт: Рандеву (2/2)
/app1
/app1/workers
alive-w1
Listen w1-queue Listen W1
getData
Leader putData task1
12
пятница, 25 января 13 г.

13. Рецепты: Блокировки (1/6)
/app1
/app1/my-lock
lock-0001
C1
13
пятница, 25 января 13 г.

14. Рецепты: Блокировки (2/6)
/app1
/app1/my-lock
lock-0001 lock-0002
C1 C2
14
пятница, 25 января 13 г.

15. Рецепты: Блокировки (3/6)
/app1
/app1/my-lock
lock-0001 lock-0002 lock-0003
C1 C2 C3
15
пятница, 25 января 13 г.

16. Рецепты: Блокировки (4/6)
/app1
/app1/my-lock
lock-0002 lock-0003 lock-0004
C1 C2 C3
16
пятница, 25 января 13 г.

17. Рецепты: Блокировки (5/6)
/app1
/app1/my-lock
lock-0002 lock-0003 lock-0004
C1 C2 C3
17
пятница, 25 января 13 г.

18. Рецепты: Блокировки (6/6)
/app1
/app1/my-lock
lock-0003 lock-0004
C1 C2 C3
18
пятница, 25 января 13 г.

19. Производительность
пятница, 25 января 13 г.

20. 250 clients, 100 msg in-fly, 1kb
20
пятница, 25 января 13 г.

21. Масштабируемость
Servers 100% Reads 0% Reads
13 460k 8k
9 296k 12k
7 257k 14k
5 165k 18k
3 87k 21k
21
пятница, 25 января 13 г.

22. Реакция на сбои
• 1 - follower • 4a,b,c - followers
• 2 - different follower • 5 - leader
• 3 - leader • 6 - leader recovery
22
пятница, 25 января 13 г.

23. Задержки (latency)
• 1kb • средняя для 3 - 1.2ms
• Синхронный create • средняя для 9 - 1.4ms
• Асинхронный delete
• И так 50000 раз
servers 3 5 7 9
workers
1 776 748 758 711
10 1831 1831 1572 1540
20 2740 2336 1934 1890
23
пятница, 25 января 13 г.

24. Андрей Степачев
+7 916 635-23-16
octo@yandex-team.ru
По материалам Yahoo.Research
Спасибо
пятница, 25 января 13 г.