O documento discute o uso do framework Celery para implementar tarefas assíncronas em aplicações Django. Celery permite enfileirar tarefas para serem executadas em segundo plano por trabalhadores, usando RabbitMQ como broker de mensagens. As tarefas podem ser agrupadas, encadeadas ou executadas em paralelo para melhorar a performance.

1. CELERY
Fila de Tarefas Distribuídas
Pedro Henrique de Assumpção

2. FRONT-END
Tarefas do
Ações demoradas, como envio de e-mail, gerar
relatório, análise de dados, machine learning,
scraping

3. TIMEOUT
Enfileieirado a ação

4. BACK-END
Django + Celery + Rabbit
A tarefa chega ao back-end em forma de task
assíncrona, através do serviço de mensageria
do celery, que utilizam da estrutura do rabbit
para armazenamento

5. Enviar e-mail
d6afe61f-04d7-444d-
bf7e-b8ea159fd40b
queue: mail
Gerar relatório
ee8f7be9-7473-461d-
b370-950c04712d69
queue: report
Somar vendas
a2a3bd02-1c33-4860-
974e-e684cb2b6353
queue: report
Comprar café
9c8e1af2-560f-4c19-
bd6f-48def41f04f1
queue: please
FILAS

6. SETUP
ENFILEIRADO
EXECUTANDO
COMPLETO
STATUS
ERRO

7. WORKER
TRABALHADOR
CONCURRENCY
QUEUES
VERBOSE
DOCKER

8. APPLY_ASSYNC
Assyncrona, não aguardar o
resultado
DELAY (D)
Espera até o término
TASK
Tarefas

10. BIND

11. app.task
self
TASK INHERITANCE
Herança de classe

13. Task Timeout.
Tarefas pequenas sem impacto
umas nas outras.
Processos que podem ser
divididos e então somados.
CUIDADO
TIMEOUT

14. MyRequest
on_timeout

15. SENTRY
Logs
Worker Lost
Unrecoverable error
MemoryError()

16. RETURN
JSON
SERIALIZABLE
Evocar resposta da task, necessita de um observador, oque
não é performático
dumps

17. $ pip install django-celery-results

18. REDIS
$ pip install -U "celery[redis]"
Visibility Timeout

19. Exchange
Queue

20. RABBITMQ
Broker Sugerido
Consumers (0)
Bindings (2)
Publish message
Get messages
Move messages
Delete
Purge
Runtime Metrics (Advanced)
Outros como: Redis, AMAZON SQS

21. PRIORITY
Task
Apply_assync
Exchange
Fila Lotada

22. BEAT
PERIODIC
TASKS model:
django_celery_beat.periodictask
EXTRA_APPS: django_celery_beat
DJANGO_CELERY_BEAT_TZ_AWARE
celery -A hermes beat -l info --
scheduler django_celery_beat
Cadastro de qualquer task via
interface, loaddata, migração.
Visibility timeout
solar, data, gerar gatilho, ciclo,
empilhamento

23. The Primitives
add.chunks(items, 10)
lista de tarefas que
devem ser aplicadas
em paralelo
group
uma tarefa chamada
após a outra
chain
grupo de cabeçalho e
um corpo, onde o
corpo é uma tarefa
que deve ser
executada após a
conclusão de todas as
tarefas no cabeçalho
chord
divide uma longa
lista de argumentos
em partes
chunks
única tarefa sendo
chamada, aplicando os
argumentos em ordem
à função
map

24. INSTANTÂNEO
Existe mesmo?
tarefas sazionais,
recursos
dinâmico
kubernets
portainer

25. worker especializados ou gerais.
Especializados fariam cada um uma parte do
processo.
Gerais, fariam todo o processo. Bastando replicar
workers para ter mais processos.
OTIMIZAÇÃO
DE RECURSOS
Horizontalização ou Verticalização.
Onde botar recursos?

26. task_time_limit
task_acks_on_failure_
or_timeout
task_store_errors_eve
n_if_ignored.
CONFIG ON SETTING OF DJANGO
CELERY_*
task_acks_late
task_reject_on_worke
r_lost
task_always_eager
TASK
CONFIG

27. PLUS
DEPLOY
PROGRAMAÇÃO
IPYTHON
WINDOWS
GEVENT
ASYNCIO
SLEEP
LIMPAR
QUEUE
TASK_ALWAYS_EAGER
ASSYNC ON TEST

28. PERGUNTAS
O que é?