Palestra sobre como escolher data sources, o que fazer com eles e como integrar tudo no ELK stack, criando scripts para monitorar os dados salvos

1. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Rodrigo “Sp0oKeR” Montoro
Pesquisador / Security Operations Center (SOC)
rodrigo@clavis.com.br
Analisando eventos de forma inteligente
para Detecção de Intrusos usando ELK

2. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
About me
• Pesquisador / SOC Clavis Security
• Autor de 2 pesquisas com patente
requerida/concebida
• Palestrante diversos eventos Brasil, EUA e Canadá
• Evangelista Opensource
• Usuário linux desde 1996
• Pai
• Triatleta / Corredor trilhas

3. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Agenda
• Atual problema na detecção
• Escolhendo os data sources
• Entendendo a pilha ELK
• Gerando métricas e inteligência
• Deixando chefe feliz (Relatórios / Dashboards)

4. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Problemas na detecção

5. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Orçamento

6. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Maria Gartner

7. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Quantidade e não
qualidade

8. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Entenda o contexto

9. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Escolhendo os
data sources

10. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
O que já possuímos ?
• Produtos instalados na empresa
• Aquisições já programadas
• Eventos default dos equipamentos/máquinas

11. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Rapidez no uso

12. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Dimensionamento
Quantidade
informação
Maior I/O
Mais espaço
em disco
Memória /
CPU

13. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Entenda os eventos

14. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
O ELK

15. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Elasticsearch
Logstash
Kibana

16. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Logstash

17. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Logstash Input
• file
• udp / tcp
• twitter
• netflow
• eventlog
• irc
• exec

18. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Logstash Filters
• grok
• fingerprint
• geoip
• date
• csv
• anonymize
• throttle

19. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Logstash Output
• elasticsearch
• email
• exec
• jira
• zabbix
• hipchat
• amazon(s3)

20. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Elasticsearch 1/2
• Open source, distribuido, full text search engine
• Baseado no Apache Lucene
• Rápido acesso a informação
• Salva os dados no formato JSON
• Suporta sistemas com um ou mais nodes

21. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Elasticsearch 2/2
• Fácil de configurar e escalável
• Possui uma RESTful API
• Fácil criação snapshots / backups
• Instalação disponível em formato RPM ou DEB, além do tarball.
• Inseguro (precisa ambiente seguro)

22. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Kibana

23. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Kibana event

24. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Métricas e Inteligência

25. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Entenda sua empresa
• O que é uma ameaça olhando os data source ?
• Faz uso de algum threat intel público/privado ?
• Quais os entregáveis que quer automatizar/alertar ?
• Reanalisar logs antigos ?

26. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
ElastAlert

27. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Exemplo regra
27
name: Large Number of 404 Responses
es_host: elasticsearch.example.com
es_port: 9200
index: logstash-indexname-*
filter:
- term:
response_code: 404
type: frequency
num_events: 100
timeframe:
hours: 1
alert:
- email
email: example@example.com

28. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Python API

29. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Detalhes fazem a diferença

30. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
ELK + Inteligência + Métricas
• Análises em lote (retrospectiva)
• Correlação entre diferente data sources
• Gráficos bonitos no kibana para deixar nas TVs =)
• Alertas / Monitoramento

31. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Chefe feliz =)

32. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Dashboard

33. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Dashboard

34. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Conclusões
• Entenda o que necessita proteger
• Muita informação crua não te trará melhor resultado
• Não seja um “Maria Gartner”
• Entenda plenamente seus logs
• Se não domina alguma ferramenta, procure ajuda
• Sempre aprimore o ciclo, as coisas evoluem

35. Copyright © 2015 Clavis Segurança da Informação. Todos os direitos reservados.
Rodrigo “Sp0oKeR” Montoro
Pesquisador / Security Operations Center (SOC)
rodrigo@clavis.com.br
@spookerlabs
Muito Obrigado!