Petit rappel sur ElasticSearch et présentation des outils Elastic Beats : Packetbeat, Filebeat, Topbeat ...

1. Consolidezvosjournauxetvos
métriquesavecElasticBeats
Présentation de est mise à disposition selon les termes de la@CattGr licence Creative Commons Attribution 4.0 International

2. Petitrappelsurlessolutions

3. ProduitsElastic
Libre Payant
Watcher (alerte)
Marvel

4. StackElastic

5. Moteur de recherche pour la génération NoSQL
Basé sur le standard Apache Lucene
Masque la complexité Java/Lucene à l’aide de services
standards HTTP / RESTful / JSON
Utilisable à partir de n’importe quel langage
Ajoute la couche cloud manquante à Lucene
C’est un moteur, pas une interface graphique !

7. ETL : 49 sources di érentes, 42 ltres, 25 codecs, 56
sorties (dont ElasticSearch)
Logstash: l’arme secrète pour vaincre le côté obscur de
vos logs ( Devoxx 2015 )https://youtu.be/-zawsoOhz70

9. Interface Web permettant de représenter sous forme
de graphique les données présentes dans
ElasticSearch

10. Ensemble d'agents écrits en Go permettant de
collecter les données pour les envoyer vers
ElasticSearch

11. Shield
Assure la sécurité d'accès à vos données ElasticSearch.
Watcher
Watcher est le produit d'alerte et de noti cation pour
ElasticSearch.
Marvel
Surveille l'activité au sein de votre cluster,
diagnostique les problèmes, et permet d'optimiser les
performances.

13. ElasticBeatsenquelquesmots
Application légère
Écrit en Golang
Installé comme agent sur vos serveurs
Pas de dépendances d'exécution
But unique

14. Filebeat
Collecte les logs dans les chiers
Winlogbeat
Collecte les events logs Windows
Packetbeat
Collecte dans les paquets réseaux tcp/udp
Topbeat
Collecte les statistiques système (CPU, Disk, Mémoire par
process, etc...)
Metricbeat
Collecte des métriques par interrogation périodique d'un
service externe (not released)

15. PACKETBEAT

16. Usagesdel'analyseréseau
Sécurité
IDS (Intrusion Detection Systems)
Troubleshooting d'un problème réseau
Troubleshooting applicatif
Analyse de perfomance

17. Analyseréseauaveclesoutilsstandards
1. Connexion ssh sur l'ensemble des serveurs
2. Lancement des tcpdump
3. Rapatriement des chiers de captures
4. Merge des traces
5. Analyse avec Wireshark

18. Packetbeat:Vued'ensemble
Il fait tout cela en temp réel directement sur les serveurs.
1. Capture du tra c réseau
2. Analyse protocolaire
3. Correlation requête et réponse dans la transaction
4. Extraction des mesures
5. Envoi des données vers ElasticSearch

19. Packetbeat:Décodeursdisponibles
Décodeurs Elastic Décodeurs Communautaire
Http MongoDB
Mysql ICMP
PostgreSQL DNS
Redis AMQP
Thrift-RPC NFS
Memcache Le vôtre ? (Ldap, DB2,...)

20. Packetbeat:Configuration
# Network interfaces where to sniff the data
interfaces:
device: any
# Specify the type of your network data
protocols:
dns:
ports: [53]
http:
ports: [80, 8080, 8081, 5000, 8002]
mysql:
ports: [3306]
output:
elasticsearch:
hosts: [localhost:9200]
...

21. FILEBEAT

22. Filebeat:Vued'ensemble
1. Log forwarder qui envoie vos lignes de log à
ElasticSearch
2. Successeur de Logstash Forwarder
3. Il se souvient des lignes envoyées pour ne pas en
oublier.
4. Lecture des chiers ligne par ligne.
5. Il n'analyse pas les lignes envoyées.

23. Filebeat:EnvoiviaLogstash
1. Filebeat envoi les lignes de logs non parsées (pas
d'anayse grammaticale)
2. Utilisation des ltres Grok, mutate, GeoIP pour parser
les lignes
3. Logstash est capable d'envoyer les informations
analysées vers ElasticSearch et en plus vers d'autres
outils (syslog, graphite, ...)
4. Possibilité de chi rement des communications,
certi cat serveur et client.

24. Filebeat:PourlefutureElasticSearch5.0
1. Le plugin ElasticSearch Ingest node sera capable de
parser directement.
2. Filebeat sera capable de communiquer directement
avec ElasticSearch.
3. La con guration sera plus simple.

25. Filebeat:Configuration
filebeat:
# List of prospectors to fetch data.
prospectors:
# Type of files: log or stdin
­ input_type: log
# Files that should be crawled and fetched.
paths:
­ “/var/log/apache2/*”
# File encoding: plain, utf­8, big5, gb18030, ...
encoding: plain

26. TOPBEAT

27. Topbeat
Topbeat est un peu comme l'outil Unix top, mais au
lieu d'a cher les statistiques système à l'écran il
envoie periodiquement les informations vers
ElasticSearch.
Il fonctionne également sous Windows.

28. Topbeat:DonnéesExportées
Système Processus Disques
Charge État Espace libre et occupé
Total CPU utilisé Nom Disques disponibles
CPU utilisé par core Ligne de commande Point de montage
Swap, Mémoire utilisé pid
CPU utilisé
Mémoire utilisé

29. Topbeat:Configuration
topbeat:
# how often to send system statistics
period: 10
# specify the processes to monitor
procs: [".*"]
# Statistics to collect (all enabled by default)
stats:
system: true
process: true
filesystem: true

30. COMMUNAUTÉBEATS
De nombreux Beats communautaire existent, en voici
quelques uns :
dockerbeat : Lit les statistiques de conteneurs Docker
et les indexe dans ElasticSearch.
execbeat : Exécute régulièrement des commandes
shell et envoie la sortie standard vers Logstash ou
ElasticSearch.
owbeat : Recueille, analyse les ux sFlow.
mysqlbeat : Permet d'exécuter des requêtes mysql et
d'envoyer ces informations vers ElasticSearch pour
analyse.
nagioscheckbeat : Pour les contrôles Nagios et les

31. données de performance.
DÉMO

32. QUESTIONS?
Merci