SlideShare une entreprise Scribd logo
SPLUNK CHEZ RTL
                    Bruno Bonfils, <asyd@asyd.net>
                    Responsable système et réseaux
                      Mardi 21 Septembre 2010




mardi 3 mai 2011
RTL, RADIO NUMÉRO 1


    • Les          différents métiers de RTL
         • Régie       publicitaire (IP France)
         • La      production et la diffusion broadcast
         • La      diffusion Internet




mardi 3 mai 2011
NOS PROBLÉMATIQUES

    • Production, diffusion
         • La      diffusion broadcast est dépendante du réseau
         • Des      problématiques avec certains matériels récalcitrants
    • Internet
         • Accès      et gestion des logs par les développeurs
    • D’une         manière générale, le traitement des logs


mardi 3 mai 2011
PRÉSENTATION TECHNIQUE
                 DE SPLUNK




mardi 3 mai 2011
MA COMPRÉHENSION
                                                                a pour objet l’extraction
                                                                d’un savoir ou d’une
                                                                connaissance à partir de
                                                                grandes quantités de
                                                                données




    • Définition     commerciale : « Only Splunk enables you to search, report,
        monitor and analyze streaming and historical data from any source. »

    • Ma   définition technique : « outil de log mining - une
        spécialisation du data mining. »




mardi 3 mai 2011
CONCRÈTEMENT



    • Splunk   est un outil qui va lire des données (logs), les indexées,
        et permettre aux utilisateurs des les consulter, analyser, et
        éventuellement de faire des (jolis) rapports graphiques




mardi 3 mai 2011
LE GLOUTON SPUNK



    • Techniquement   illimité sur les canaux d’entrées

    • Mais... doit
                 comprendre un minimum le contenu (cette
        compréhension est apportée par l’administrateur)




mardi 3 mai 2011
QUE MANGE T’IL


    • Par   défaut, splunk reconnait un certain nombre de formats
        (syslog, log4j, access/combined, etc.), qu’on appelle
        sourcetype

    • On           peut créer ses propres sourcetypes




mardi 3 mai 2011
COMMENT LE NOURRIR
                                 localement, ou via un agent


    • Des          données locales (fichiers)

         • fichiers      logs

         • filemonitor        (metadata et contenu du fichier)

    • Des          sockets TCP/UDP (syslog)

    • Des          scripts


mardi 3 mai 2011
COMMENT AVALE T’IL ?

    • une           sourcetype (déjà vu)

    • une           source (par exemple le nom du fichier)

    • un           hostname (statique ou dynamique)

    • un           timestamp

    • d’autres         champs, en fonction du sourcetype


mardi 3 mai 2011
LES SOURCETYPES

    • En   fonction du sourcetype, splunk est capable d’identifier
        quelques champs

         • Le      programme, le level (syslog)

         • l’adresse     IP du client, le UserAgent (apache combined)

    • Il    est possible de créer ses propres champs

         • Via     fichier de configuration

         • Via     la WebUI
mardi 3 mai 2011
SPLUNK, SON UTILISATION




mardi 3 mai 2011
mardi 3 mai 2011
mardi 3 mai 2011
mardi 3 mai 2011
LA WEBUI




mardi 3 mai 2011
LA WEBUI




mardi 3 mai 2011
LA WEBUI




mardi 3 mai 2011
LA LIGNE DE RECHERCHE


    • Une     ligne de commande spécialisée pour la recherche des
        différents événements
    • Un           mix entre shell/awk/sed, très unix way
         • complétion        / aide à la volée




mardi 3 mai 2011
LA WEBUI


    • Une   fois la recherche connue, il est possible de modifier
        complètement l’interface Web de Splunk, aussi bien dans sa
        forme que son contenu
         • dashboard    spécialisés, une liste de recherche prêtes à
             l’emploi
         • CSS, images   personnalisées



mardi 3 mai 2011
INTÉGRATION DE SPLUNK
                     DANS UN SI




mardi 3 mai 2011
ARCHITECTURE

    • Splunk       est écrit majoritairement en Python
    • Un   package ou un tarball est disponible, embarquant son
        propre interpréteur python (peu pour ne pas dire pas de
        dépendances systèmes)
    • Une    ligne de commande très complète (permet d’automatiser
        son installation)
    • Une API   REST est disponible, permettant l’utilisation de Splunk
        depuis des applications tierces

mardi 3 mai 2011
AUTHENTIFICATION


    • Plusieurs      méthodes d’authentification sont possibles
         • Interne
         • LDAP
         • REMOTE_USER




mardi 3 mai 2011
MES CAS D’UTILISATION
                             RTL
                            EJBCA




mardi 3 mai 2011
RTL : NOS PROBLÉMATIQUES

    • Production, diffusion
         • La      diffusion broadcast est dépendante du réseau
         • Des      problématiques avec certains matériels récalcitrants
    • Internet
         • Accès      et gestion des logs par les développeurs
    • D’une         manière générale, le traitement des logs


mardi 3 mai 2011
POURQUOI SPLUNK ?


    • Production, diffusion
         • Injection   des logs des équipements réseaux
    • Internet
         • Installation   de forwarder sur les serveurs de production
    • Injection    des autres syslog



mardi 3 mai 2011
RTL, SYSLOG


    • Indexation        de tous les logs recus par rsyslog

         • Un      dossier par nom de machine, un fichier par jour

         • On    utilise le nom du dernier dossier pour définir le
             hostname dans Splunk



mardi 3 mai 2011
RTL, SYSLOG

    • Equipements   Reseaux: Il arrive que des alimentations (voire
        des modules) se mettent à flapper

         • Une       recherche sur "powered off" sur les logs des dernières
             24h

         • Condition       sur le nombre d’occurrence

         • Si      une nouvelle occurrence, notification par mail


mardi 3 mai 2011
RTL, SYSLOG

    • Quelques       autres recherches

         • flapping   BGP

         • flapping   des interfaces réseaux (top, rare)

         • Violation     de restriction d’un port réseau (limité à n MAC
             adresses)


mardi 3 mai 2011
RTL
            RETOUR DES UTILISATEURS


         "Splunk nous permet de voir en temps réel les messages de la
           plateforme de production sans déranger les personnes en
          charge de la production, et donc une meilleure réactivité sur
                           les problèmes éventuels"




mardi 3 mai 2011
LE FUTUR DE SPLUNK A RTL


    • Indexation       des logs des applications liés à la production et a la
        diffusion
         • Des     indicateurs métiers
         • Une     supervision technique




mardi 3 mai 2011
EJBCA

                   • Une des autorités de confiance les plus utilisées
                    industriellement

                   • Génère  plusieurs millions de certificats (passeports,
                    carte d’identité, etc.)

                   • Développé    par des techniciens

                    • Très   peu (pour ne pas dire aucun) rapport métier

                   • Des   logs très techniques

mardi 3 mai 2011
EJBCA


    • Mon          objectif : création d’une application EJBCA

         • Tout     est fait par fichier de configuration, plutôt que par
             l’interface (et donc stockée en base)

    • Fournir        une vision métier, plus que technique



mardi 3 mai 2011
EJBCA
   • Exemple       de vue métier fournie par l’application




mardi 3 mai 2011
EJBCA

 • Activité        des administrateurs

      •|      stats count(ejbca_event) BY ejbca_admin

      • ejbca_event="ADDEDENDENTITY"            | stats count
          (ejbca_event) BY ejbca_admin




mardi 3 mai 2011
EJBCA
                   • Utilisation   de table de mapping externe

                     • Script   ou fichiers CSV

                   •|lookup ejbca-ca-names ejbca_caid OUTPUT
                    ejbca_caname

                     • Avant, uniquement     un champ ejbca_caid cryptique
                        (499446711)

                     • Grâce à lookup, nouveau champ ejbca_caname
                        (exemple : asydca)
mardi 3 mai 2011

Contenu connexe

En vedette

Telecommunications Infrastructures Open Source Haute Valeur Ajoutee
Telecommunications Infrastructures Open Source Haute Valeur AjouteeTelecommunications Infrastructures Open Source Haute Valeur Ajoutee
Telecommunications Infrastructures Open Source Haute Valeur Ajoutee
Savoir-faire Linux
 
SplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
SplunkLive Wellington 2015 - New Features, Pivot and Search DojoSplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
SplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
Splunk
 
SplunkLive! Paris 2015 - Auchan
SplunkLive! Paris 2015 - AuchanSplunkLive! Paris 2015 - Auchan
SplunkLive! Paris 2015 - Auchan
Splunk
 
Getting Started With SlideShare
Getting Started With SlideShareGetting Started With SlideShare
Getting Started With SlideShare
SlideShare
 
Quelle technologie pour les accès distants sécurisés ?
Quelle technologie pour les accès distants sécurisés ?Quelle technologie pour les accès distants sécurisés ?
Quelle technologie pour les accès distants sécurisés ?Sylvain Maret
 
SplunkLive! Austin Customer Presentation - Baylor
SplunkLive! Austin Customer Presentation - BaylorSplunkLive! Austin Customer Presentation - Baylor
SplunkLive! Austin Customer Presentation - Baylor
Splunk
 
Architecture
ArchitectureArchitecture
ArchitectureBou Diop
 
Firewall opensource et gestion de configuration pour l'infrastructure
Firewall opensource et gestion de configuration pour l'infrastructureFirewall opensource et gestion de configuration pour l'infrastructure
Firewall opensource et gestion de configuration pour l'infrastructure
Johan Moreau
 
Offre Sécurité Linagora
Offre Sécurité LinagoraOffre Sécurité Linagora
Offre Sécurité Linagora
LINAGORA
 
Projecting Enterprise Security Requirements on the Cloud
Projecting Enterprise Security Requirements on the CloudProjecting Enterprise Security Requirements on the Cloud
Projecting Enterprise Security Requirements on the Cloud
Scientia Groups
 
SplunkLive! Paris 2015 - Euler Hermes
SplunkLive! Paris 2015 - Euler HermesSplunkLive! Paris 2015 - Euler Hermes
SplunkLive! Paris 2015 - Euler Hermes
Splunk
 
Cloud Access Security Broker (CASB)
Cloud Access Security Broker (CASB) Cloud Access Security Broker (CASB)
Cloud Access Security Broker (CASB)
rkulandaivel
 
Cloud security, Cloud security Access broker, CSAB's 4 pillar, deployment mode
Cloud security, Cloud security Access broker, CSAB's 4 pillar, deployment modeCloud security, Cloud security Access broker, CSAB's 4 pillar, deployment mode
Cloud security, Cloud security Access broker, CSAB's 4 pillar, deployment mode
Himani Singh
 
The Definitive CASB Business Case Kit - Presentation
The Definitive CASB Business Case Kit - PresentationThe Definitive CASB Business Case Kit - Presentation
The Definitive CASB Business Case Kit - Presentation
Netskope
 
Deck seo campus 2011 utiliser les logs serveurs
Deck seo campus 2011   utiliser les logs serveursDeck seo campus 2011   utiliser les logs serveurs
Deck seo campus 2011 utiliser les logs serveursPhilippe YONNET
 
Le PHP chez Deezer
Le PHP chez DeezerLe PHP chez Deezer
Le PHP chez Deezer
Jean Pasdeloup
 
AFUP - Mini conférences PHP - Les LOGs
AFUP - Mini conférences PHP - Les LOGsAFUP - Mini conférences PHP - Les LOGs
AFUP - Mini conférences PHP - Les LOGs
Frédéric Sagez
 

En vedette (19)

Telecommunications Infrastructures Open Source Haute Valeur Ajoutee
Telecommunications Infrastructures Open Source Haute Valeur AjouteeTelecommunications Infrastructures Open Source Haute Valeur Ajoutee
Telecommunications Infrastructures Open Source Haute Valeur Ajoutee
 
SplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
SplunkLive Wellington 2015 - New Features, Pivot and Search DojoSplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
SplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
 
SplunkLive! Paris 2015 - Auchan
SplunkLive! Paris 2015 - AuchanSplunkLive! Paris 2015 - Auchan
SplunkLive! Paris 2015 - Auchan
 
Vpn
VpnVpn
Vpn
 
Getting Started With SlideShare
Getting Started With SlideShareGetting Started With SlideShare
Getting Started With SlideShare
 
Quelle technologie pour les accès distants sécurisés ?
Quelle technologie pour les accès distants sécurisés ?Quelle technologie pour les accès distants sécurisés ?
Quelle technologie pour les accès distants sécurisés ?
 
SplunkLive! Austin Customer Presentation - Baylor
SplunkLive! Austin Customer Presentation - BaylorSplunkLive! Austin Customer Presentation - Baylor
SplunkLive! Austin Customer Presentation - Baylor
 
Architecture
ArchitectureArchitecture
Architecture
 
Firewall opensource et gestion de configuration pour l'infrastructure
Firewall opensource et gestion de configuration pour l'infrastructureFirewall opensource et gestion de configuration pour l'infrastructure
Firewall opensource et gestion de configuration pour l'infrastructure
 
Offre Sécurité Linagora
Offre Sécurité LinagoraOffre Sécurité Linagora
Offre Sécurité Linagora
 
Projecting Enterprise Security Requirements on the Cloud
Projecting Enterprise Security Requirements on the CloudProjecting Enterprise Security Requirements on the Cloud
Projecting Enterprise Security Requirements on the Cloud
 
SplunkLive! Paris 2015 - Euler Hermes
SplunkLive! Paris 2015 - Euler HermesSplunkLive! Paris 2015 - Euler Hermes
SplunkLive! Paris 2015 - Euler Hermes
 
Cloud Access Security Broker (CASB)
Cloud Access Security Broker (CASB) Cloud Access Security Broker (CASB)
Cloud Access Security Broker (CASB)
 
Cloud security, Cloud security Access broker, CSAB's 4 pillar, deployment mode
Cloud security, Cloud security Access broker, CSAB's 4 pillar, deployment modeCloud security, Cloud security Access broker, CSAB's 4 pillar, deployment mode
Cloud security, Cloud security Access broker, CSAB's 4 pillar, deployment mode
 
The Definitive CASB Business Case Kit - Presentation
The Definitive CASB Business Case Kit - PresentationThe Definitive CASB Business Case Kit - Presentation
The Definitive CASB Business Case Kit - Presentation
 
Deck seo campus 2011 utiliser les logs serveurs
Deck seo campus 2011   utiliser les logs serveursDeck seo campus 2011   utiliser les logs serveurs
Deck seo campus 2011 utiliser les logs serveurs
 
Le PHP chez Deezer
Le PHP chez DeezerLe PHP chez Deezer
Le PHP chez Deezer
 
AFUP - Mini conférences PHP - Les LOGs
AFUP - Mini conférences PHP - Les LOGsAFUP - Mini conférences PHP - Les LOGs
AFUP - Mini conférences PHP - Les LOGs
 
Cci octobre 2014
Cci octobre 2014Cci octobre 2014
Cci octobre 2014
 

Similaire à Splunk

Geneve Monitoring Graylog
Geneve Monitoring GraylogGeneve Monitoring Graylog
Geneve Monitoring Graylog
OPEN-IT SERVICES
 
Apache solr andré bois-crettez 08
Apache solr   andré bois-crettez 08Apache solr   andré bois-crettez 08
Apache solr andré bois-crettez 08Loïc Descotte
 
seim.pptx
seim.pptxseim.pptx
seim.pptx
fatima117475
 
Créer un moteur de recherche avec des logiciels libres
Créer un moteur de recherche avec des logiciels libresCréer un moteur de recherche avec des logiciels libres
Créer un moteur de recherche avec des logiciels libres
Robert Viseur
 
Acquia et Arte : Drupal Camp Paris 2013
Acquia et Arte : Drupal Camp Paris 2013Acquia et Arte : Drupal Camp Paris 2013
Acquia et Arte : Drupal Camp Paris 2013
Cyril Reinhard
 
Arte utilise Acquia Cloud pour héberger ses plateformes web
Arte utilise Acquia Cloud pour héberger ses plateformes webArte utilise Acquia Cloud pour héberger ses plateformes web
Arte utilise Acquia Cloud pour héberger ses plateformes web
Acquia
 
Octo Maven.pdf
Octo Maven.pdfOcto Maven.pdf
Octo Maven.pdf
badrfathallah2
 
Workflow Ortolang
Workflow OrtolangWorkflow Ortolang
Workflow Ortolang
Jérôme Blanchard
 
TYPO3, le CMS de référence au gouvernement québécois
TYPO3, le CMS de référence au gouvernement québécoisTYPO3, le CMS de référence au gouvernement québécois
TYPO3, le CMS de référence au gouvernement québécois
Yannick Pavard
 
Apache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performantApache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performant
ALTIC Altic
 
Apache kafka big data track
Apache kafka   big data trackApache kafka   big data track
Apache kafka big data track
Paris Open Source Summit
 
Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques
Microsoft Technet France
 
Linux LPIC-3 ( PDFDrive ).pdf
Linux LPIC-3 ( PDFDrive ).pdfLinux LPIC-3 ( PDFDrive ).pdf
Linux LPIC-3 ( PDFDrive ).pdf
ThinL389917
 
Alphorm.com Formation Linux LPIC-3 (examen 300) Environnement mixte
Alphorm.com Formation Linux LPIC-3 (examen 300) Environnement mixteAlphorm.com Formation Linux LPIC-3 (examen 300) Environnement mixte
Alphorm.com Formation Linux LPIC-3 (examen 300) Environnement mixte
Alphorm
 
Mdl ocsinventory 20100330
Mdl ocsinventory 20100330Mdl ocsinventory 20100330
Mdl ocsinventory 20100330
robertpluss
 
Presentation of Oracle database products for Beginners
Presentation of Oracle database products for BeginnersPresentation of Oracle database products for Beginners
Presentation of Oracle database products for Beginners
yazidaguedal
 
Presentation of Oracle database products
Presentation of Oracle database productsPresentation of Oracle database products
Presentation of Oracle database products
Algiers Tech Meetup
 
Mdl ocsinventory 20100330-2
Mdl ocsinventory 20100330-2Mdl ocsinventory 20100330-2
Mdl ocsinventory 20100330-2
tikok974
 
FinistJUG - Apache TomEE
FinistJUG - Apache TomEEFinistJUG - Apache TomEE
FinistJUG - Apache TomEE
Horacio Gonzalez
 
Libcast 3.3
Libcast 3.3Libcast 3.3
Libcast 3.3
Libcast SAS
 

Similaire à Splunk (20)

Geneve Monitoring Graylog
Geneve Monitoring GraylogGeneve Monitoring Graylog
Geneve Monitoring Graylog
 
Apache solr andré bois-crettez 08
Apache solr   andré bois-crettez 08Apache solr   andré bois-crettez 08
Apache solr andré bois-crettez 08
 
seim.pptx
seim.pptxseim.pptx
seim.pptx
 
Créer un moteur de recherche avec des logiciels libres
Créer un moteur de recherche avec des logiciels libresCréer un moteur de recherche avec des logiciels libres
Créer un moteur de recherche avec des logiciels libres
 
Acquia et Arte : Drupal Camp Paris 2013
Acquia et Arte : Drupal Camp Paris 2013Acquia et Arte : Drupal Camp Paris 2013
Acquia et Arte : Drupal Camp Paris 2013
 
Arte utilise Acquia Cloud pour héberger ses plateformes web
Arte utilise Acquia Cloud pour héberger ses plateformes webArte utilise Acquia Cloud pour héberger ses plateformes web
Arte utilise Acquia Cloud pour héberger ses plateformes web
 
Octo Maven.pdf
Octo Maven.pdfOcto Maven.pdf
Octo Maven.pdf
 
Workflow Ortolang
Workflow OrtolangWorkflow Ortolang
Workflow Ortolang
 
TYPO3, le CMS de référence au gouvernement québécois
TYPO3, le CMS de référence au gouvernement québécoisTYPO3, le CMS de référence au gouvernement québécois
TYPO3, le CMS de référence au gouvernement québécois
 
Apache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performantApache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performant
 
Apache kafka big data track
Apache kafka   big data trackApache kafka   big data track
Apache kafka big data track
 
Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques
 
Linux LPIC-3 ( PDFDrive ).pdf
Linux LPIC-3 ( PDFDrive ).pdfLinux LPIC-3 ( PDFDrive ).pdf
Linux LPIC-3 ( PDFDrive ).pdf
 
Alphorm.com Formation Linux LPIC-3 (examen 300) Environnement mixte
Alphorm.com Formation Linux LPIC-3 (examen 300) Environnement mixteAlphorm.com Formation Linux LPIC-3 (examen 300) Environnement mixte
Alphorm.com Formation Linux LPIC-3 (examen 300) Environnement mixte
 
Mdl ocsinventory 20100330
Mdl ocsinventory 20100330Mdl ocsinventory 20100330
Mdl ocsinventory 20100330
 
Presentation of Oracle database products for Beginners
Presentation of Oracle database products for BeginnersPresentation of Oracle database products for Beginners
Presentation of Oracle database products for Beginners
 
Presentation of Oracle database products
Presentation of Oracle database productsPresentation of Oracle database products
Presentation of Oracle database products
 
Mdl ocsinventory 20100330-2
Mdl ocsinventory 20100330-2Mdl ocsinventory 20100330-2
Mdl ocsinventory 20100330-2
 
FinistJUG - Apache TomEE
FinistJUG - Apache TomEEFinistJUG - Apache TomEE
FinistJUG - Apache TomEE
 
Libcast 3.3
Libcast 3.3Libcast 3.3
Libcast 3.3
 

Plus de Bruno Bonfils

Vue d'ensemble du SSO
Vue d'ensemble du SSOVue d'ensemble du SSO
Vue d'ensemble du SSOBruno Bonfils
 
iTop
iTopiTop
RunDeck
RunDeckRunDeck
RunDeck
Bruno Bonfils
 
Présentation de l'association GUSES
Présentation de l'association GUSESPrésentation de l'association GUSES
Présentation de l'association GUSESBruno Bonfils
 
Métrologie des IOs
Métrologie des IOsMétrologie des IOs
Métrologie des IOs
Bruno Bonfils
 
Introduction à OpenSolaris
Introduction à OpenSolarisIntroduction à OpenSolaris
Introduction à OpenSolaris
Bruno Bonfils
 
Ldap
LdapLdap
Zsh Rmll
Zsh RmllZsh Rmll
Zsh Rmll
Bruno Bonfils
 
Shell
ShellShell
La signature numérique
La signature numériqueLa signature numérique
La signature numérique
Bruno Bonfils
 
(Open)Solaris : Introduction aux zones et à ZFS
(Open)Solaris : Introduction aux zones et à ZFS(Open)Solaris : Introduction aux zones et à ZFS
(Open)Solaris : Introduction aux zones et à ZFS
Bruno Bonfils
 

Plus de Bruno Bonfils (12)

Drupal sso
Drupal ssoDrupal sso
Drupal sso
 
Vue d'ensemble du SSO
Vue d'ensemble du SSOVue d'ensemble du SSO
Vue d'ensemble du SSO
 
iTop
iTopiTop
iTop
 
RunDeck
RunDeckRunDeck
RunDeck
 
Présentation de l'association GUSES
Présentation de l'association GUSESPrésentation de l'association GUSES
Présentation de l'association GUSES
 
Métrologie des IOs
Métrologie des IOsMétrologie des IOs
Métrologie des IOs
 
Introduction à OpenSolaris
Introduction à OpenSolarisIntroduction à OpenSolaris
Introduction à OpenSolaris
 
Ldap
LdapLdap
Ldap
 
Zsh Rmll
Zsh RmllZsh Rmll
Zsh Rmll
 
Shell
ShellShell
Shell
 
La signature numérique
La signature numériqueLa signature numérique
La signature numérique
 
(Open)Solaris : Introduction aux zones et à ZFS
(Open)Solaris : Introduction aux zones et à ZFS(Open)Solaris : Introduction aux zones et à ZFS
(Open)Solaris : Introduction aux zones et à ZFS
 

Splunk

  • 1. SPLUNK CHEZ RTL Bruno Bonfils, <asyd@asyd.net> Responsable système et réseaux Mardi 21 Septembre 2010 mardi 3 mai 2011
  • 2. RTL, RADIO NUMÉRO 1 • Les différents métiers de RTL • Régie publicitaire (IP France) • La production et la diffusion broadcast • La diffusion Internet mardi 3 mai 2011
  • 3. NOS PROBLÉMATIQUES • Production, diffusion • La diffusion broadcast est dépendante du réseau • Des problématiques avec certains matériels récalcitrants • Internet • Accès et gestion des logs par les développeurs • D’une manière générale, le traitement des logs mardi 3 mai 2011
  • 4. PRÉSENTATION TECHNIQUE DE SPLUNK mardi 3 mai 2011
  • 5. MA COMPRÉHENSION a pour objet l’extraction d’un savoir ou d’une connaissance à partir de grandes quantités de données • Définition commerciale : « Only Splunk enables you to search, report, monitor and analyze streaming and historical data from any source. » • Ma définition technique : « outil de log mining - une spécialisation du data mining. » mardi 3 mai 2011
  • 6. CONCRÈTEMENT • Splunk est un outil qui va lire des données (logs), les indexées, et permettre aux utilisateurs des les consulter, analyser, et éventuellement de faire des (jolis) rapports graphiques mardi 3 mai 2011
  • 7. LE GLOUTON SPUNK • Techniquement illimité sur les canaux d’entrées • Mais... doit comprendre un minimum le contenu (cette compréhension est apportée par l’administrateur) mardi 3 mai 2011
  • 8. QUE MANGE T’IL • Par défaut, splunk reconnait un certain nombre de formats (syslog, log4j, access/combined, etc.), qu’on appelle sourcetype • On peut créer ses propres sourcetypes mardi 3 mai 2011
  • 9. COMMENT LE NOURRIR localement, ou via un agent • Des données locales (fichiers) • fichiers logs • filemonitor (metadata et contenu du fichier) • Des sockets TCP/UDP (syslog) • Des scripts mardi 3 mai 2011
  • 10. COMMENT AVALE T’IL ? • une sourcetype (déjà vu) • une source (par exemple le nom du fichier) • un hostname (statique ou dynamique) • un timestamp • d’autres champs, en fonction du sourcetype mardi 3 mai 2011
  • 11. LES SOURCETYPES • En fonction du sourcetype, splunk est capable d’identifier quelques champs • Le programme, le level (syslog) • l’adresse IP du client, le UserAgent (apache combined) • Il est possible de créer ses propres champs • Via fichier de configuration • Via la WebUI mardi 3 mai 2011
  • 13. mardi 3 mai 2011
  • 14. mardi 3 mai 2011
  • 15. mardi 3 mai 2011
  • 16. LA WEBUI mardi 3 mai 2011
  • 17. LA WEBUI mardi 3 mai 2011
  • 18. LA WEBUI mardi 3 mai 2011
  • 19. LA LIGNE DE RECHERCHE • Une ligne de commande spécialisée pour la recherche des différents événements • Un mix entre shell/awk/sed, très unix way • complétion / aide à la volée mardi 3 mai 2011
  • 20. LA WEBUI • Une fois la recherche connue, il est possible de modifier complètement l’interface Web de Splunk, aussi bien dans sa forme que son contenu • dashboard spécialisés, une liste de recherche prêtes à l’emploi • CSS, images personnalisées mardi 3 mai 2011
  • 21. INTÉGRATION DE SPLUNK DANS UN SI mardi 3 mai 2011
  • 22. ARCHITECTURE • Splunk est écrit majoritairement en Python • Un package ou un tarball est disponible, embarquant son propre interpréteur python (peu pour ne pas dire pas de dépendances systèmes) • Une ligne de commande très complète (permet d’automatiser son installation) • Une API REST est disponible, permettant l’utilisation de Splunk depuis des applications tierces mardi 3 mai 2011
  • 23. AUTHENTIFICATION • Plusieurs méthodes d’authentification sont possibles • Interne • LDAP • REMOTE_USER mardi 3 mai 2011
  • 24. MES CAS D’UTILISATION RTL EJBCA mardi 3 mai 2011
  • 25. RTL : NOS PROBLÉMATIQUES • Production, diffusion • La diffusion broadcast est dépendante du réseau • Des problématiques avec certains matériels récalcitrants • Internet • Accès et gestion des logs par les développeurs • D’une manière générale, le traitement des logs mardi 3 mai 2011
  • 26. POURQUOI SPLUNK ? • Production, diffusion • Injection des logs des équipements réseaux • Internet • Installation de forwarder sur les serveurs de production • Injection des autres syslog mardi 3 mai 2011
  • 27. RTL, SYSLOG • Indexation de tous les logs recus par rsyslog • Un dossier par nom de machine, un fichier par jour • On utilise le nom du dernier dossier pour définir le hostname dans Splunk mardi 3 mai 2011
  • 28. RTL, SYSLOG • Equipements Reseaux: Il arrive que des alimentations (voire des modules) se mettent à flapper • Une recherche sur "powered off" sur les logs des dernières 24h • Condition sur le nombre d’occurrence • Si une nouvelle occurrence, notification par mail mardi 3 mai 2011
  • 29. RTL, SYSLOG • Quelques autres recherches • flapping BGP • flapping des interfaces réseaux (top, rare) • Violation de restriction d’un port réseau (limité à n MAC adresses) mardi 3 mai 2011
  • 30. RTL RETOUR DES UTILISATEURS "Splunk nous permet de voir en temps réel les messages de la plateforme de production sans déranger les personnes en charge de la production, et donc une meilleure réactivité sur les problèmes éventuels" mardi 3 mai 2011
  • 31. LE FUTUR DE SPLUNK A RTL • Indexation des logs des applications liés à la production et a la diffusion • Des indicateurs métiers • Une supervision technique mardi 3 mai 2011
  • 32. EJBCA • Une des autorités de confiance les plus utilisées industriellement • Génère plusieurs millions de certificats (passeports, carte d’identité, etc.) • Développé par des techniciens • Très peu (pour ne pas dire aucun) rapport métier • Des logs très techniques mardi 3 mai 2011
  • 33. EJBCA • Mon objectif : création d’une application EJBCA • Tout est fait par fichier de configuration, plutôt que par l’interface (et donc stockée en base) • Fournir une vision métier, plus que technique mardi 3 mai 2011
  • 34. EJBCA • Exemple de vue métier fournie par l’application mardi 3 mai 2011
  • 35. EJBCA • Activité des administrateurs •| stats count(ejbca_event) BY ejbca_admin • ejbca_event="ADDEDENDENTITY" | stats count (ejbca_event) BY ejbca_admin mardi 3 mai 2011
  • 36. EJBCA • Utilisation de table de mapping externe • Script ou fichiers CSV •|lookup ejbca-ca-names ejbca_caid OUTPUT ejbca_caname • Avant, uniquement un champ ejbca_caid cryptique (499446711) • Grâce à lookup, nouveau champ ejbca_caname (exemple : asydca) mardi 3 mai 2011