Case de sucesso que foi implementado na Kinghost, utilizando a tecnologia Docker + Elasticearch + RabbitMq. Um experiência bem legal que pode servir de exemplo a outras empresas que tem interesse em ingressar no mundo de BigData.

1. Case
Kinghost
+
Elasticsearch

2. Archer!
Developer PHP
Zend Certified Engineer 5.3
6 anos experiência
Palestrante há 2 anos
Grupo PHPRS
Kinghost

3. Case
O Problema
Propostas
Estrutura proposta
Problemas enfrentados
Sucesso!
Melhorias Futuras

4. 1.
O Problema
Ferramenta de E-mail Marketing
Processar os retornos de bounce do Postfix

5. “Tratar os retornos de erros é
algo extremamente importante.
Para não enviar campanhas
maliciosas é necessário
processar o retorno
imediatamente.

6. 2.
Propostas
Scripts? Tecnologias? Tempo?
Brainstorm

7. Maneiras de Resolver
Script
Ficar lendo o arquivo de logs
procurando por retornos.
- Demorado
- Dificil de Escalar
- Fácil de Criar
MongoDb
Jogar todo esse dado para o
mongo e processar os dados já
inseridos, utilizando vários
scripts de leitura.
- Dificuldade Média
- Boa Velocidade de
Leitura
- Sem Relatórios
Elasticsearch
Utilizar o armazenamento do
elasticsearch junto com o
sistema de filas, para agilizar o
processamento.
- Estrutura complexa
- Processamento
Real-time
- Relatórios Dinâmicos

8. 3.
Estrutura Escolhida
Docker + Filebeat + Logstash + Rabbit + Elasticsearch + Kibana

9. Filebeat
Lê um arquivo de (n) lugares
Filtra
Envia o resultado

10. Logstash
Recebe input
Parseia
Envia para output

11. RabbitMq
Recebe e distribui mensagens para filas de acordo com regras
simples

12. Elasticsearch
Armazenamento e Consulta

13. Kibana
Visualização dos dados armazenados

14. Fluxo de Dados
Postfix
log
Logstash
Elastics
earch
Rabbit
Mq
Filebeat
Workers
Workers
Workers
Workers

15. 7.992.993+ linhas/dia
Postfix log

16. 4.
Problemas enfrentados

17. “- Sync do log do postfix
- Parser do logstash (grok)
- Criação do Ambiente
- Limitação de Recursos no Container
- Logs em modo debug
- Monitoramento em caso de falha
- Leak memória Kibana

18. 5.
Sucesso!

21. 6.
Próximos passos!

22. Monitoramento
Recursos
Escalonamento Automatizado
Melhoria no parser

23. thanks!
No Questions.
@danielphp