O documento discute a implementação de um sistema de monitoramento para uma empresa de rastreamento de veículos que recebe grandes volumes de dados de GPS. O sistema anterior não era capaz de identificar falhas devido à complexidade dos dados. A empresa implementou o Zabbix para coletar métricas sob demanda da aplicação e infraestrutura, permitindo o mapeamento de desempenho por cliente e região e a detecção rápida de problemas.

1. Informação é Tudo!
Produção sob Controle
Julian Monteiro
TDC 2013

2. Agenda
• Contexto:
Sistema em produção e grande
volume de dados
• Necessidade de evolução
• Chegada do monitoramento
• Dia a dia

3. 12.000Veículos
+ 100 Empresas
10 Estados
GPS
GPRS / 3G
Rastreamento de frota de veículos

4. Dificuldade na identificação de falhas

5. Grande volume de dados
Recepção de dados
400 msgs/segundo
Quantidade de novos registros
24 milhões/dia
Queries
7 mil/segundo

6. Crescimento
Necessidade de evolução da solução
1. Situação
• Problemas...
2. Estabilização
3. Historinha
4. Monitoramento

7. Agregar dados de funcionamento
• Log sempre esteve lá!
só que, em diversos servidores e arquivos
• Solução:
• Coleta: tail | grep | sed | cut metrics.txt
• Agrega: scp user@host1:metrics.txt .
• Visualiza: logstats.php (arquivo HTML disponível na web)
Dados à Informação
Keep it simple… suficiente por 6 meses

8. Evolução: Zabbix
• Zabbix como ferramenta de apoio
• Usualmente monitora infraestrutura
• All-in-one, open source (GPLv2)
• Server / Agents
• Low-level discovery
• User metrics
• UserParameter=meuitem[*], /usr/bin/coleta.sh $1
...e as métricas da aplicação/negócio?

9. Métricas sob-demanda
No nosso contexto:
• Histograma atraso pacotes

10. Métricas sob-demanda
No nosso contexto:
• Mapa por região / operadora telefonia
Separação em grupos (A/B)

11. Métricas sob-demanda
No nosso contexto:
• Fluxo de dados em cada subsistema

12. Métricas sob-demanda
No nosso contexto:
• Filas

13. Métricas sob-demanda
No nosso contexto:
• Tempo de acesso à telas

14. Uso do Zabbix
• Coleta de dados: zabbix-agent
• Recebimento automático: zabbix-sender
• Segregação por cliente
• Cada cliente é mapeado num “host”
• Template facilita criação de gráficos/telas
• Criação automática de hosts (via API)

15. Dia a dia
• Instalação de monitores no ambiente de
trabalho
• Integridade na troca de versão (histórico é
referência)
• Teste de fumaça
• Equipe reage rápido a problemas (alertas ativos,
SMS, etc...)

16. Obrigado
julian.monteiro@maps.com.br
Para dar uma olhada:
Graphite, statds, logster, metrics, nagios, zenoss