1. SkyTools: помощь в вопросах
масштабирования
Артём Носов

2. План доклада
● Skytools: готовые решения от Skype
● Основы PgQ: очередь, поставщик и потребитель;
● Londiste — как средство репликации;
● Проблемы масштабирования skytools 2.x
● Светлое будущее

3. Компоненты SkyTools
● PgQ
● londiste
● walmgr

4. Применение PgQ
● Асинхронная обработка событий
● Обработка группы событий (batch)
● Репликация

5. Под капотом

6. Пример
Rating
Consumer Comet
(Realtime)
activity queue Memcached
user stat table
Activity
consumer

7. Сильные стороны
● Поддержка транзакций
● Эффективная обработка событий
● Нет ограничений на количество поставщиков и
потребителей
● Надежность
● Простота использования
● Open Source

8. PgQ: ticker
● Без ticker(a) нет batch(ей)
● Без batch(ей) события не обрабатываются
● Держите ticker всегда запущенным!

9. Параметры очереди
● ticker_max_lag
● ticker_idle_period
● ticker_max_count
● rotation_period

10. Londiste — master/slave replay

11. В чем подвох

12. request
consumer
1
с
о 1 событие
б request queue
ы
т
и notification fake table
10000
е событий

13. email notification
consumer_1
notification fake table
email notification
notification queue_1
consumer_..
notification queue_..
notification queue_100 email notification
consumer_100

14. Мониторинг
● pgq.get_consumer_info
● pgqadm.py status
● cacti и nagios

15. pgq.get_consumer_info()
queue_name | consumer_name | lag | last_seen
-----------------+-----------------------+-----------------+-----------------
load_avatars_1 | load_avatars_consumer | 00:00:42.083408 | 00:00:37.561954
load_avatars_2 | load_avatars_consumer | 00:00:42.081061 | 00:00:37.653641
load_avatars_3 | load_avatars_consumer | 00:00:42.082729 | 00:00:37.906649
load_avatars_4 | load_avatars_consumer | 00:00:42.081907 | 00:00:37.574957
load_avatars_5 | load_avatars_consumer | 00:00:42.08163 | 00:00:37.840843

16. 1000
Количество событий
900
800
700
600
500
400
300
200
100
0
08:00 09:00 10:00 11:00 12:00 13:00 14:00 15:00 16:00 17:00 18:00 19:00 20:00
Время

17. SkyTools 3
● Cooperative consumer
● pgqd
● Londiste: Parallel COPY

18. Вопросы?