Доклад с PUG#4 https://www.facebook.com/events/350783888446030/ Презентует: - Асинхронность в веб-приложениях. - Систему очередей Gearman. - Пример Реализации c использование Yii2 + Gearman.

1. Highload и очереди задач на примере PHP +
Gearman + Yii2
Спикер: Антон Довгоброд

2. ● Асинхронность в веб-приложениях.
● Систему очередей Gearman.
● Пример Реализации c использование Yii2 +
Gearman.

3. Асинхронность в веб-приложениях
Идет загрузка страницы ...

4. Enter Task1 Task2 Task N End
Асинхронность в веб-приложениях

5. Enter Task1
Task2
Task N End
Асинхронность в веб-приложениях

6. 0
время
кол-во
задач
Асинхронность в веб-приложениях

7. Асинхронность - что это ?
Асинхронность в веб-приложениях

8. Enter Task1
Task2
Task N End
Асинхронность в веб-приложениях

9. Асинхронность :
- Клиентская
- Серверная
Асинхронность в веб-приложениях

10. Асинхронность в веб-приложениях

11. Клиентская асинхронность

12. http://something.dev
Some Content 1
Some Content 2
Loading...
Some Content N
Клиентская асинхронность

13. Клиентская асинхронность

14. Недостатки:
1. Пользователь все так же ждет ответа
2. Зависим от пользователя и его интернет
соединения
3. Растет количество проверок, растет количество JS
кода, растет количество потенциально уязвимых
мест
4. Растет нагрузка на клиентскую часть
Клиентская асинхронность

15. Серверная асинхронность
Серверная асинхронность

16. Серверная асинхронность
http://something.dev
Some Content 1
Some Content 2
Content will be
loaded later, you
are free :-)
Some Content N

17. Серверная асинхронность
Отложенное выполнение
● Отправка почты
● Обработка изображений и прочих медиа
● Статистика
● Связь с API (синхронизация данных)

18. Серверная асинхронность
PHP и варианты
● fastcgi_finish_request()

19. Серверная асинхронность
PHP и варианты
● fastcgi_finish_request()
● exec("/usr/bin/php /var/www/script.php > /dev/null &");

20. Серверная асинхронность
PHP и варианты
● fastcgi_finish_request()
● exec("/usr/bin/php /var/www/script.php > /dev/null &");
● PCNTL (выполнение кода в отдельном процессе)

21. Серверная асинхронность
PHP и варианты
● fastcgi_finish_request()
● exec("/usr/bin/php /var/www/script.php > /dev/null &");
● PCNTL (выполнение кода в отдельном процессе)
● Использование Очередей

22. Система очередей Gearman.
Очередь ?

23. Система очередей Gearman.
Системы очередей:
Celery (http://www.celeryproject.org/)
RabbitMQ (http://www.rabbitmq.com/)
Zend Server Job Queue (http://www.zend.com/)
ZeroMQ (http://www.zeromq.org/)
BeanstalkdPeafowl,
StarlingApache
ActiveMQand.

24. Система очередей Gearman.
Почему Gearman ?

25. Система очередей Gearman.
возможности gearman:
● Open Source
● Simple & Fast (rewritten in C)
● Support a variety of languages : build Worker in Python, Client in PHP
● Flexible
● Load Balance
● Failover

26. Система очередей Gearman.
PHP Client1
Job Server 1
Worker 1
Connect, submit a job
Send command to
wakу worker Up
Ask For Jobs

27. Система очередей Gearman.
PHP Client1
Job Server 1
Job Server 2
PHP Client2
PHP Client3
PHP Client4
PHP Client5
Worker 1
Worker 2
Worker 3

28. Система очередей Gearman.
Простой пример:

29. Система очередей Gearman.

30. Система очередей Gearman.Система очередей Gearman.
php worker.php

31. Система очередей Gearman.

32. Система очередей Gearman.
php client.php

33. Система очередей Gearman.
Масштабируемость:
$gmclient-
>addServer("10.324.56.23:4730,10.324.56
.27:4321");

34. Система очередей Gearman.
Можно и не асинхронно:
$gmclient->do("reverse", "this is a test");

35. Система очередей Gearman.
Приоритеты:
$client->doHighBackground ("reverse", "this is
a test");
$client->doLowBackground ("reverse", "this is a
test");

36. Система очередей Gearman.
Установка Gearman:
1. Gearman Server
apt-get install gearman-job-server
Но лучше перестраховаться :

37. Система очередей Gearman.
Установка Gearman:
1. Gearman Client

38. Система очередей Gearman.
Установка Gearman, путь Джедая:

39. Система очередей Gearman.
Мониторинг состояния:
1. Проверяем что сервер и php ext работают:

40. Система очередей Gearman.
Мониторинг состояния:
1. Проверяем что сервер и php ext работают
1. Мониторинг состояния
gearadmin --status
● Function Name
● Number in queue
● Number of jobs running

41. Систему очередей Gearman.
Мониторинг состояния в UI:
1. Gearman Monitor
https://github.com/yugene/Gearman-Monitor

42. Систему очередей Gearman.
Мониторинг состояния в UI:
1. Gearman UI
https://github.com/gaspaio/gearmanui

43. Систему очередей Gearman.
Потенциальные узкие места:
1. Неожиданное завершение работы задачи
2. Неожиданное завершение работы Worker процесса
3. Выход из строя Job Server
4. при изменении кода Worker-а сам Worker не будет изменен

44. Систему очередей Gearman.
Потенциальные узкие места:
1. Неожиданное завершение работы задачи
- Проверка всех уровней эксепшнов
- Код Задач должен быть хорошо оттестирован
- Хранение статуса операций, необходимых задачам в отдельном месте
1. Неожиданное завершение работы Worker процесса
- Использование утилиты, управляющей процессами (хороший пример
Supervisor)
[program:worker]
command=/usr/bin/php /var/www/worker.php
process_name=%(program_name)s_%(process_num)02d
numprocs=10
directory=/var/www/worker
stdout_logfile=/var/log/worker.log
autostart=true
autorestart=true
user=www-data
stopsignal=KILL

45. Систему очередей Gearman.
Supervisor
[program:worker]
command=/usr/bin/php
/var/www/worker.php
process_name=%(program_name)s_%(proce
ss_num)02d
numprocs=10
directory=/var/www/worker
stdout_logfile=/var/log/worker.log
autostart=true
autorestart=true
user=www-data
stopsignal=KILL

46. Систему очередей Gearman.
Потенциальные узкие места:
1. Неожиданное завершение работы задачи
- Проверка всех уровней эксепшнов
- Код Задач должен быть хорошо оттестирован
- Хранение статуса операций, необходимых задачам в отдельном месте
1. Неожиданное завершение работы Worker процесса
- Использование утилиты, управляющей процессами (хороший пример
Supervisor)
1. Выход из строя Job Server
Мониторинг Job Server
Выбирать хранилище очередей не по умолчанию (mysql, sqllight, memcached, etc.)
1. при изменении кода воркера сам воркер не будет изменен
Использование скриптов автодеплоя в случае обновления кода воркера

47. Систему очередей Gearman.
Как не должно быть:

48. Пример Реализации c использование
Yii2 + Gearman.
Пример Реализации c
использование Yii2 + Gearman.

49. Пример Реализации c использование
Yii2 + Gearman.
Архитектура Задач, архитектура на первом месте!

50. Пример Реализации c использование
Yii2 + Gearman.
Необходимые шаги:
1. Composer Yii2 extention
2. Add rows in config
3. write your worker
4. That’s it :-)

51. Пример Реализации c использование
Yii2 + Gearman.
Устанавливаем дополнения:
1. Filsh
https://github.com/Filsh/yii2-gearman
Single worker , used :
https://github.com/sinergi/gearman
2. OR, Shakura
https://github.com/shakura/yii2-gearman
(Multiple workers)

52. Пример Реализации c использование
Yii2 + Gearman.
Config:

53. Пример Реализации c использование
Yii2 + Gearman.
Job:

54. Пример Реализации c использование
Yii2 + Gearman.
Client:

55. Ссылки:
1. http://ruhighload.com/
2. http://supervisord.org/
3. http://gearman.org/
4. http://php.net/manual/en/book.gearman.php
5. https://gist.github.com/resscode/f118ca2f0233aebce3e5
6. https://github.com/gaspaio/gearmanui
7. https://github.com/Filsh/yii2-gearman
8. https://github.com/shakura/yii2-gearman
9. https://github.com/sinergi/gearman

56. Вопросы ?)

57. Всем Спасибо :-)
Вопросы и предложения можно оставлять:
anton.dovgobrod@dataart.com