© 2017 SPLUNK INC.
Splunk, plateforme pour les données machine
chez ENGIE Global Markets
Gabriel Dausque | Splunk Admin, ENGIE Global Markets
Romain Testu | Avant-Vente, Splunk
23 MAI 2017 | PARIS
© 2017 SPLUNK INC.
Gabriel Dausque Romain Testu
Your Presenters
Ingénieur Avant-Vente, Splunk
rtestu@splunk.com
Splunk Admin, ENGIE
Former developer
© 2017 SPLUNK INC.
1. ENGIE Global Markets
2. One day trip
3. Application Chronos
4. Troubleshooting
5. DEVOPS
6. ITSI
Dans cette
session
© 2017 SPLUNK INC.
ENGIE Global Markets
Building energy value worldwide.
© 2017 SPLUNK INC.
▶ ENGIE Global Markets is the energy trading platform at the heart of ENGIE, a
global energy player in the three businesses of gas, power and energy services,
and a comprehensive presence throughout the energy value chain.
ENGIE Global Markets
Building energy value worldwide
© 2017 SPLUNK INC.
Nombre de
forwarders
Nombre de GB par
jour
Nombre
d’utilisateurs
réguliers
Nombre de GB par
jour il y a moins
d’un an …
Quelques métriques
Où en sommes-nous chez ENGIE Global Markets
1600 120 60 10
© 2017 SPLUNK INC.
One Day Trip
Faire un choix.
© 2017 SPLUNK INC.
▶ Décembre 2015, lancement du projet “intégration de logs”
▶ Deux options pour y répondre
• Faire grossir la plateforme Splunk déjà existante (Logs BlueCoat)
• Mise en place d’une solution Open source
One Day Trip
Faire un choix …
© 2017 SPLUNK INC.
▶ Souplesse de la collecte : format, média, évolution
▶ Splunk est une plateforme pour les données
▶ Splunk est extensible
▶ Montée en competence rapide (SPL, Architecture, etc.)
▶ On peut partir petit …
Let’s go for Splunk !
Pourquoi Splunk ?
© 2017 SPLUNK INC.
Application Chronos
Time to Value.
© 2017 SPLUNK INC.
▶ Chronos, réécriture d’une application critique
de salle de marché
• Système distribué, concentration de logs
• Reporting nécessaire
• Splunk en 3 semaines VS développement interne en 1
an
Application Chronos
Time To Value
© 2017 SPLUNK INC.
Troubleshooting
Collaboration et Partage.
© 2017 SPLUNK INC.
▶ Troubleshooting, construction dynamique de cubes BI
• Crashes récurrents
• DEV vs Infra
• Splunk, un outil commun pour accélérer l’investigation
Troubleshooting
Collaboration & Partage
© 2017 SPLUNK INC.
DEVOPS
Splunk dans une initiative DEVOPS.
© 2017 SPLUNK INC.
▶ Changement de mentalité
▶ Un outil de collaboration pour éviter cette bataille d’équipe
▶ Les outils de “spécialistes” peuvent persister. Pour dialoguer avec le même
langage, il y a Splunk
▶ Le partage des données a du bon
• Ne pas être dérangé
• Apporter du contexte
• Donner de la visibilité sur les dépendances
DEVOPS
Partage !
© 2017 SPLUNK INC.
ITSI
Surveiller nos services.
© 2017 SPLUNK INC.
▶ Cas d’usage Afficher la qualité du service Infra : FS, Reseau, DB, etc.
▶ Pourquoi ITSI ?
• Plus rapide
• Notion de partage avec les incidents
• Outils efficaces : Drilldown et Glass Tables
• Simplicité et souplesse de la gestion des seuils
▶ Recommandations
• Commencer simple
• Itérer sur les seuils
Let’s go for ITSI !
Pourquoi ITSI ?
© 2017 SPLUNK INC.
Et après ?
Prochaines étapes.
© 2017 SPLUNK INC.
▶ Renforcer l’usage courant, service de monitoring clé
en main
▶ Sensibilisation des équipes à la donnée (S4R, S4N,
etc.)
▶ Capacity Planning, y compris sur Splunk
▶ Faire évoluer la perception de l’outil en interne, ce
n’est pas un outil de Log Management !
▶ Étendre aux métiers, Splunk est un outil Big Data
Roadmap
© 2017 SPLUNK INC.© 2017 SPLUNK INC.
MERCI

SplunkLive! Paris 2017 - ENGIE Presentation

  • 1.
    © 2017 SPLUNKINC. Splunk, plateforme pour les données machine chez ENGIE Global Markets Gabriel Dausque | Splunk Admin, ENGIE Global Markets Romain Testu | Avant-Vente, Splunk 23 MAI 2017 | PARIS
  • 2.
    © 2017 SPLUNKINC. Gabriel Dausque Romain Testu Your Presenters Ingénieur Avant-Vente, Splunk rtestu@splunk.com Splunk Admin, ENGIE Former developer
  • 3.
    © 2017 SPLUNKINC. 1. ENGIE Global Markets 2. One day trip 3. Application Chronos 4. Troubleshooting 5. DEVOPS 6. ITSI Dans cette session
  • 4.
    © 2017 SPLUNKINC. ENGIE Global Markets Building energy value worldwide.
  • 5.
    © 2017 SPLUNKINC. ▶ ENGIE Global Markets is the energy trading platform at the heart of ENGIE, a global energy player in the three businesses of gas, power and energy services, and a comprehensive presence throughout the energy value chain. ENGIE Global Markets Building energy value worldwide
  • 6.
    © 2017 SPLUNKINC. Nombre de forwarders Nombre de GB par jour Nombre d’utilisateurs réguliers Nombre de GB par jour il y a moins d’un an … Quelques métriques Où en sommes-nous chez ENGIE Global Markets 1600 120 60 10
  • 7.
    © 2017 SPLUNKINC. One Day Trip Faire un choix.
  • 8.
    © 2017 SPLUNKINC. ▶ Décembre 2015, lancement du projet “intégration de logs” ▶ Deux options pour y répondre • Faire grossir la plateforme Splunk déjà existante (Logs BlueCoat) • Mise en place d’une solution Open source One Day Trip Faire un choix …
  • 9.
    © 2017 SPLUNKINC. ▶ Souplesse de la collecte : format, média, évolution ▶ Splunk est une plateforme pour les données ▶ Splunk est extensible ▶ Montée en competence rapide (SPL, Architecture, etc.) ▶ On peut partir petit … Let’s go for Splunk ! Pourquoi Splunk ?
  • 10.
    © 2017 SPLUNKINC. Application Chronos Time to Value.
  • 11.
    © 2017 SPLUNKINC. ▶ Chronos, réécriture d’une application critique de salle de marché • Système distribué, concentration de logs • Reporting nécessaire • Splunk en 3 semaines VS développement interne en 1 an Application Chronos Time To Value
  • 12.
    © 2017 SPLUNKINC. Troubleshooting Collaboration et Partage.
  • 13.
    © 2017 SPLUNKINC. ▶ Troubleshooting, construction dynamique de cubes BI • Crashes récurrents • DEV vs Infra • Splunk, un outil commun pour accélérer l’investigation Troubleshooting Collaboration & Partage
  • 14.
    © 2017 SPLUNKINC. DEVOPS Splunk dans une initiative DEVOPS.
  • 15.
    © 2017 SPLUNKINC. ▶ Changement de mentalité ▶ Un outil de collaboration pour éviter cette bataille d’équipe ▶ Les outils de “spécialistes” peuvent persister. Pour dialoguer avec le même langage, il y a Splunk ▶ Le partage des données a du bon • Ne pas être dérangé • Apporter du contexte • Donner de la visibilité sur les dépendances DEVOPS Partage !
  • 16.
    © 2017 SPLUNKINC. ITSI Surveiller nos services.
  • 17.
    © 2017 SPLUNKINC. ▶ Cas d’usage Afficher la qualité du service Infra : FS, Reseau, DB, etc. ▶ Pourquoi ITSI ? • Plus rapide • Notion de partage avec les incidents • Outils efficaces : Drilldown et Glass Tables • Simplicité et souplesse de la gestion des seuils ▶ Recommandations • Commencer simple • Itérer sur les seuils Let’s go for ITSI ! Pourquoi ITSI ?
  • 18.
    © 2017 SPLUNKINC. Et après ? Prochaines étapes.
  • 19.
    © 2017 SPLUNKINC. ▶ Renforcer l’usage courant, service de monitoring clé en main ▶ Sensibilisation des équipes à la donnée (S4R, S4N, etc.) ▶ Capacity Planning, y compris sur Splunk ▶ Faire évoluer la perception de l’outil en interne, ce n’est pas un outil de Log Management ! ▶ Étendre aux métiers, Splunk est un outil Big Data Roadmap
  • 20.
    © 2017 SPLUNKINC.© 2017 SPLUNK INC. MERCI

Notes de l'éditeur

  • #7 60 utilisateurs : Dev, support applicatif, infra, secu, qqs fonctionnels qui consomment des rapports
  • #10 Souplesse collecte: Heterogeneite des souvrces : Format / Media Hetero Media : BD, MOM, file, syslog, etc. Splunk Simple mais ecosysteme qui peut etre compliqué autour : ouverture de ports, etc. Pas partir trop grand Partir petit : Parti avec des serveurs de recup. Mode distribué etait requis. Ca absorbé la charge.
  • #16 Apps peuvent ne pas voir un pb occurant sur l’infra dont ils sont responsables
  • #18 Rapide : Vision par couche, dependantce, jusque’à l’applicatif sans trop de travail
  • #20  Splunk ne limite pas à du Log Management => Outil BIG DATA (bien compris au bout de quelques mois neanmoins) === PB, Splunk vu que par l’IT Aspect Data Stream Management System de Splunk On ne fournit pas qu’un service mais une donnée ! Infra devient un puits centre de données consommé par differentes populations : dev, etc. ITSI