Par Valérian Beaudoin, Ingénieur Technique Système & Réseaux chez Oxalide Retour d'expérience d'Oxalide sur un projet de gestion et de visualisation d'alertes "agnostique", que l'on peut utiliser avec n'importe quel outil de monitoring, ou même en y envoyant directement des alertes. Ce talk présente notre cahier des charges, le comparatif des différentes solutions, et la présentation complète de la solution retenue. Le système est capable de gérer des alertes et de les présenter sur une interface modulable et pouvant agir directement sur nos outils (acknowledgement, création de ticket, ...). Une gestion complexe des notifications a également été mise en place, permettant d'envoyer aussi bien des Push que des SMS ou des mails, et de gérer l'escalade. Ce système a été conçu en utilisant uniquement des outils Open-Source, dont les principaux sont : ElasticSearch, Logstash, Kibana, RabbitMQ, OpenDuty

1. Système de notifications "agnostique"
Sponsorisé par :

2. Valérian Beaudoin
Ingénieur Technique Systèmes & Réseaux
« Oxalidien » depuis 3 ans
7 ans d’expérience dans l’IT
valouille.fr
github.com/valouille
linkedin.com/in/valouille/
/
Carte de visite

3. Sommaire
Notifications
Notre dernier Meetup
Présentation de la société Oxalide
Dashboard

4. Présentation de la société

5. Oxalide
Conseiller, concevoir et opérer votre plateforme web
Infrastructure
Application
Architecture logicielle
Business
Le développement
Le métier
DEVOPS
Conseil
Infogérance
Hébergement

6. Oxalide
En chiffres
100 collaborateurs 250 clients
1 7
20% du chiffre d’affaires investit
dans les formations et la R&D
9 M€
12 M€
14M€
2014 2015 2016
14M€ de CA en 2016
Société 100%
indépendante

7. Oxalide
Nos clients
ECOMMERCE
& pureplayers
MEDIAS
TV, Radio, presse
EDITEUR
& services
GRANDS COMPTES
& Institutionnels

8. Nos valeurs
Établies par les collaborateurs

9. Notre dernier Meetup

10. Notre dernier Meetup
Janvier 2016 - Présenté par Jérémy Smadja
Contexte particulier :
• 200 000 services
• Beaucoup de clients
Monitoring automatique
• Chef + CLAPI
Monitoring externe
Outils imposés

11. Notre monde idéal
(à l’époque)

12. Notifications

13. L’existant
(au moment de la réflexion)
• L’astreinte est notifiée par SMS
• Deux boitiers SMS
• Centreon notifie directement sur les boitiers SMS
• Escalade SMS au bout de 5 notifications

14. Cahier des charges
Expression des besoins
• Les notifications doivent être fiables
• Prévoir un système d'escalade
• Le service de notifications doit être utilisable via une API
• Le service de notifications doit pouvoir utiliser les boitiers SMS
• Les téléphones utilisés doivent pouvoir être un téléphone personnel

15. Comparatif
Avantages & inconvénients d’une solution SaaS vs On-Premise
Avantages Inconvénients
Il s'agit d'un solution clé en main Il est impossible d'y brancher nos boîtiers SMS
Une assurance est disponible en cas
d'indisponibilité de l'outil
Nous ne pouvons pas modifier le
fonctionnement/ajouter des fonctionnalités
Intégration native avec beaucoup d’outils Les données clients (courriels, noms ...) sont
hébergées hors d'Europe
Le coût du service est élevé

16. Solution On-Premise

17. Notifications
Solution retenue
• OpenDuty
• OpenSource : Licence MIT (anciennement WTFPL)
• https://github.com/ustream/openduty
• Python (Django + Celery)
• API REST

18. Notifications
Schéma

19. Dashboard & Notifications
Une API REST
Name Type Required Description
service_key String Yes A service API key created in OpenDuty
event_type String Yes Can be "trigger", "acknowledge", or "resolve"
incident_key String Yes Identifies the incident to resolve
description String No A more precise text description of what's
happening
details String No Can be anything you like

20. Dashboard & Notifications
Exemple d’ajout d’une alerte dans OpenDuty

21. Dashboard & Notifications
Fonctionnement d’OpenDuty

22. Dashboard & Notifications
Le problème de fiabilité des SMS

23. Dashboard & Notifications
Le WiFi plus fiable que le GSM

24. Dashboard & Notifications
Le problème de fiabilité des mails

25. Dashboard & Notifications
Nos notifications préférées

26. Dashboard & Notifications
Interface d’OpenDuty

27. Dashboard & Notifications
Visualisation d’une alerte

28. Dashboard & Notifications
Notre service « Centreon »

29. Dashboard & Notifications
Configuration d’un utilisateur

30. Dashboard & Notifications
Push reçus sur les téléphones

32. Dashboard

33. Dashboard
Notre interface de visualisation
• Compatibilité avec tous les outils de monitoring
• Visualiser les nouvelles alertes
• Visualiser les alertes en cours de traitement
• Filtrer par criticité d’alerte (en fonction du host & du service)
• Pouvoir créer des tickets dans JIRA
• Pouvoir ACK les alertes dans les outils de monitoring

34. Dashboard
Schéma

35. Dashboard
Pourquoi RELK ?
• Outils industrialisés chez nous
• Faciles à maintenir dans le temps
• Stack robuste et scalable
• RabbitMQ en cluster ajoute de la disponibilité
• Logstash est un très bon outil de gestion de messages
• ElasticSearch est tout à fait adapté à notre besoin
• Kibana gère nativement ElasticSearch

36. Dashboard
Fonctionnement de Mondash

37. Dashboard
Les nouvelles alertes dans Mondash

38. Dashboard
Les alertes en cours de traitement dans Mondash

39. Dashboard
Détails d’une alerte

40. Dashboard & Notifications
Schéma de l’architecture de gestion des alertes
1) Génération des alertes
2) Réception des alertes
3) Traitement des alertes
4) Stockage des alertes
5) Visualisation des alertes
6) Envoi des alertes
1 2 3 4 5
6

41. Dashboard & Notifications
Le retro planning

42. Dashboard & Notifications
Les outils de monitoring utilisés chez Oxalide

43. Dashboard & Notifications
Utilisé tous les jours & toutes les nuits

44. Questions ?
Sponsorisé par :

45. Oxalide
Rejoignez-nous !
On recrute !
https://www.oxalide.com/carrieres/