SlideShare une entreprise Scribd logo
Présentation
Sur Splunk
Réalisée par:
MR IHSINE Najib
Le 20/5/2013
Introduction
 Splunk est considérée

comme étant l’une des plus
puissante plate-forme d’analyse des données
machine, des données que génèrent les machines
en grande quantité mais qui sont rarement utilisé
de façon efficace.
 En effet les données machine (Machine data)
sont déjà d’une importance capitale dans le
domaine de la technologie et ne cesse de gagner
de l’influence dans le monde des affaires
(intelligence opérationnel).
Introduction
La meilleure façon de prendre conscience de la puissance
ainsi que de la polyvalence de splunk est de se pencher sur les
deux scénarios qui suivent :
1-le premier étant dans ‘’Data center ’’
2-le second étant dans le département marketing
Splunk à la rescousse dans un
Datacenter :


Imaginant le cas de
figure suivant : il est 2h du
matin. Le téléphone
sonne, votre patron
appelle, pour vous
informer que le site web
de la compagnie est
tombé en panne, et là
instantanément un torrent
de question vient vous
harceler l’esprit .
Splunk à la rescousse dans un
Datacenter : (suite)


vous avez déployé
splunk au préalable, il
suffit juste de le lancer
de votre emplacement
en se connectant à
votre serveur splunk, et
d’effectuer des
recherches sur vos
fichiers log rediriger
depuis vos serveurs :
web, base de données,
firewall, routeurs, etc.
Splunk Dans Le Département
Marketing:


Vous travaillez au sein du
service de promotion
d’une grande
compagnie, La semaine
dernière, les gars du
Datacenter ont installé un
nouveau tableau de
bord Splunk qui montre
(pour la dernière heure, le
jour et semaine) tous les
termes de recherche
utilisés pour trouver le site
web de la société.
Le fonctionnement de splunk


Vue qu’on utilise splunk pour
réponde à un certain
nombre de questions, qui
dépondent principalement
de notre contexte
professionnel on peut
rapidement se rendre
compte que cette tache
peut se deviser en trois
phases distinctes voir le
graphe :

Premièrement,
identifier les données
qui peuvent répondre
à votre question.

Troisièmement,
afficher la réponse
dans un rapport,
tableau interactif, ou
graphique pour la
rendre intelligible à un
grand nombre de
gens.

Deuxièmement,
transformer les
données en
résultats qui
peuvent répondre
à vos
question.
Le fonctionnement de splunk





Le cœur de métier de splunk est de rendre les données machines
utile pour les gens.
En effet le gens qui ont créé les systèmes tel que : (Serveur web,
load balencers, plateformes de médias sociaux, etc...),ils ont aussi
spécifié les informations que ces derniers doivent écrire au sein des
fichiers log quand il sont au en train de s’exécutées.
Exemple (d’output dans un fichier log) :
Action: ticked s:57, m:05, h:10, d:23, mo:03, y:2011
Action: ticked s:58, m:05, h:10, d:23, mo:03, y:2011
Action: ticked s:59, m:05, h:10, d:23, mo:03, y:2011
Action: ticked s:00, m:06, h:10, d:23, mo:03, y:2011
Le fonctionnement de splunk
Mais comment splunk
conçoit-il les données
machines?
-Réponse:


Splunk divise les données
machine brutes en morceaux
d'information discrets connu sous
le nom ‘’événements’’.
en effet Lorsque vous effectuez
une recherche simple, Splunk
récupère les
événements qui correspondent à
vos termes de recherche.
Le fonctionnement de splunk
Le fonctionnement de splunk




La seule exigence concernant les
données machine est le faite
qu’elles soient textuel et non pas
binaire, par exemple les fichiers
images et son sont des exemples
courant de données binaires,
toutefois certains types de fichiers
binaire comme le core dump qui
ce produit lorsque un programme
crashe peut être convertie en
format texte. Splunk offre la
possibilité de faire appelle à nos
scripts afin de pouvoir réaliser ce
type de conversion avant
l'indexation des données
Durant l’indexation Splunk peut lire
les données à partir de plusieurs
sources parmi on site : (les plus
commune)

Les fichiers

Le réseau
Les scripts
d’entrée
Le fonctionnement de splunk
Comment Splunk traite les données machine au sein d’un Datacenter ?

1-Splunk Commence par indexer les données
Ce qui signifie que Splunk
collecte les données de
différents endroits et les
combine puis il les stocke
dans un index centralisé,
avant les administrateur
système devait se logger
dans différentes machines
afin d’avoir accès au
données

2-utilisation des indexes pour optimiser les recherches
L’utilisation des indexes
confère à Splunk un grand
degré de rapidité lors des
recherches de sources de
problèmes dans les fichiers
log

3-filtrage des résultats
Splunk mais à disposition
de l’utilisateur plusieurs
outils permettant de
filtrer les résultats ce qui
implique par voie de
conséquence une
détection plus rapide de
la racine du problème
Le fonctionnement de splunk
Remarque :
Le Champ Timestamp (_time ) est considéré comme étant spécial dû au fait que les indexeurs l’utilise pour
ordonner les évènements , il permet aussi à Splunk de rechercher efficacement des évènements
appartenant un intervalle temporelle bien précis .le schéma qui suit montre de façon détaillée le
processus d’indexage de Splunk.
Le fonctionnement de splunk
Les données que Splunk prend en Input
sont appelées les données brut. Splunk
les indexe on créant une map de mots
basée sur le temps.
Ce qu’il faut bien retenir c’est que ce
processus ce déroule sans que les
données ne soient modifiées .

En effet l’indexe que construit Splunk
est similaire aux indexes qui existent au
dos des manuels scolaires, et qui
pointent vers des pages en utilisant des
mots spécifiques .cependant en Splunk
les « pages » sont appelés événements
Chaque évènement en Splunk dispose
d’au moins quatre champs par défaut
et qui sont fournis dans le schéma qui
suit :
Le fonctionnement de splunk:
Afin de réaliser des recherches splunk offre une interface graphique bien accueillante comme on
peut le voire dans l’animation qui suit:
SPL : (Search Processing Language)
Splunk offre une aide précieuse puisque il
permet de tamiser les données provenant de
plusieurs indexes de grandes taille pour ne
conserver à la fin que les données utiles
permettant ainsi de répondre à nos questions
que sa soit d’un point de vue technologique
(administration réseau ,sécurité informatique )
ou bien d’un point de vue intelligence
opérationnelle (exemple : examiner les
données utilisateurs de notre afin de déceler
quelles sont les tendances futur ).

En effet Splunk offre un outil très performant
qui permet de réaliser des recherches d’une
précision d’orfèvre, cet outil n’est rien d’autre
que le langage SPL.

Définition:
SPL ou Search Processing
Language est un langage de
programmation à usage spécial
conçu par Splunk, afin de gérer,
la big data généré par un réseau
de machine. A L'origine SPL est
basé sur Unix Piping et SQL, son
champ d'application comprend
les données de recherche, de
filtrage, de modification, de
manipulation, d'insertion et de
suppression.
SPL : (Search Processing Language)
L’exemple suivant donne un aperçu du potentiel qu’offre ce langage :

sourcetype = syslog ERROR | top user | fields - percent
En effet cette ligne de commande aura comme résultat tous les événements ayant comme sourcetype syslog et contenant la chaine de caractères
ERROR ceci est pour le premier segment de la commande ensuite ce résultat sera rediriger comme input pour le 2éme segment de la commande
et qui est (top user) et qui va fournir les 10 valeurs du champ user les plus récurant dans le input qu’il a reçu ensuit le résultat de ce 2éme
segment servira comme input au 3éme segment (fields-percent ) ce segment a pour but d’éliminer la colonne percent qui est générer
automatiquement lors de l’exécution de la commande top l’animation qui suit montre de manière détaillé l’exécution de cette commande
SPL : (Search Processing Language)
Les catégories de commandes
Splunk

Les commandes de
tries

les commandes de
filtrages

Les commandes de
regroupement de
résultats

Les commandes
sont:

Les commandes
sont

search
La commande est :
Sort

Where
Dedup
Head
Tail

Les commandes de
reporting :

La commande est:

Top/rare

Transaction

Stats
Chart
timechart

Le commandes de
modification,
filtrage, ajout de
champs :

Les commandes
sont:
Fields
Replace
Rex
Eval
Lookup
SPL : (Search Processing Language)


Explication de l’Arborescence :

1- la commande sort : est une commande ayant pour but d’ordonner les résultats d’une
recherche et de limiter de manière optionnel le nombre de résultats.
2- les commandes qui suivent sont des commandes de filtrages en autres termes se sont des
commandes qui vont prendre un ensemble d’évènements ou de résultats comme entrée afin
qu’ils subissent une opération de filtrage ayant comme objectif de fournir une sortie d’une
dimension moindre que celle de l’entrée et qui ne conserve que les informations nécessaire :
(search, where, dedup, head, tail).
3-la commande transaction est une commande de type Grouping Results comme le nom du
type de la commande l’indique cette dernière a pour but de regrouper les évènements de
façon à mettre en lumière des tendances (très apprécié dans le domaine de l’intelligence
opérationnel ).

4- les commandes classifier dans la catégorie Reporting sont des commandes dont le cœur de
métier est de générer des résumer pour les rapports en prenant comme entrée les résultats de
recherche. Parmi ces commandes on site : (top/rare, stats, chart, timechart).
5-les commandes de type modification, filtrage, ajout de champs : ce sont des commandes
ayant comme rôle de filtrer (supprimer) certains champs afin de ne se focaliser que sur les
champs qui nous intéresse, ou bien modifier ou ajouter des champs pour enrichir nos résultats
on site : (fields, replace, rex, eval, lookup).
Le déroulement du stage




En effet le but de ce
stage est la réalisation
d’un outil de message
syslog pour les
équipements réseau
de la DSI.
Cette solution sera
implémenter dans un
premier temps dans un
environnement ayant
l’architecture suivante :
Le déroulement du stage
 La première phase

a été d’établir une étude afin de
déterminer les caractéristiques technique de
l’environnement hardware sur lequel splunk devrait être
déployé, ces derniers sont cité dans ce qui suit:

les caractéristiques Hardware

1-le processeur : une puce Intel d'architecture x86 64bit.
2- 2 CPUs 4cores pour chacune d'ente elle soit un total de 8 cores , un minimum de 2.5 GHz pour
chacun des cores
3-La mémoire vive : une RAM d'une taille de 8 GB.
4-la carte réseau : une carte de 1 Gb Ethernet , (optionnelle) une deuxième carte réseau Ethernet
du même type pour la gestion du réseau
Le déroulement du stage
 Effectivement l’environnement matériel qui a été choisi est

le suivant:
1-un serveur IBM System x3650 (offrant les caractéristiques
technique vue précédemment)
2-Installation de la distribution centos 6.3 64 bits sur ce
dernier
Le déroulement du stage
Sur le site web de la compagnie splunk :
il n’existe aucune procédure d’installation spécifique à une distribution centos, cependant
vue que centos est un équivalent open source de RHEL on adoptera la même procédure
d’installation spécifiée pour ce dernier :


Pour installer splunk dans le répertoire par défaut /opt/Splunk
rpm -i splunk_package_name.rpm
./splunk start --accept-license

./splunk enable boot-start
Afin de se connecter à l’interface web de splunk il suffit de
taper :
http://<hostname>:port
Possibilité à exploiter


Les SDK de Splunk sont écrits au-dessus de la APIs REST Splunk. est de
nous fournir une large couverture de l'API REST dans un mode
spécifique au langage utilisé. Afin de faciliter votre accès à notre
moteur de recherche Splunk.



Les différentes SDKs fournis par splunk sont es suivantes:
Python

Java
JavaScript
PHP
Ruby
C#
Possibilité à exploiter


tout ce qu’on vient de cité est intéressant, Cependant qu’elles sont les
possibilités qu’offre de telle SDKs pouvant être exploitées afin de répondre au
mieux à notre besoin:

L’intégration avec d’autres outils de reporting

Se connecter directement à splunk

Intégrer les résultats de recherche de Splunk dans nos applications

Extraire des données pour l'archivage

Construire une interface utilisateur adopter à nos besoins en se basant sur la pile web
existante
Possibilité à exploiter


Exemple d’interface réalisée avec la SDK python:
fin

Contenu connexe

Tendances

Etude et mise en place d’une solution open source de gestion de la sécurité d...
Etude et mise en place d’une solution open source de gestion de la sécurité d...Etude et mise en place d’une solution open source de gestion de la sécurité d...
Etude et mise en place d’une solution open source de gestion de la sécurité d...
Mohammed LAAZIZLI
 
Mise en place de la solution d’authentification Radius sous réseau LAN câblé
Mise en place de la solution d’authentification Radius sous réseau LAN câbléMise en place de la solution d’authentification Radius sous réseau LAN câblé
Mise en place de la solution d’authentification Radius sous réseau LAN câblé
Charif Khrichfa
 
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
Alaaeddine Tlich
 
Projet haute disponibilité asterisk pdf
Projet haute disponibilité asterisk pdfProjet haute disponibilité asterisk pdf
Projet haute disponibilité asterisk pdf
Abderahim Amine Ali
 
Support cours : Vos premiers pas avec le pare feu CISCO ASA
Support cours : Vos premiers pas avec le pare feu CISCO ASASupport cours : Vos premiers pas avec le pare feu CISCO ASA
Support cours : Vos premiers pas avec le pare feu CISCO ASA
SmartnSkilled
 
Rapport pfe talan_2018_donia_hammami
Rapport pfe talan_2018_donia_hammamiRapport pfe talan_2018_donia_hammami
Rapport pfe talan_2018_donia_hammami
Donia Hammami
 
Protocole IKE/IPsec
Protocole IKE/IPsecProtocole IKE/IPsec
Protocole IKE/IPsec
Thomas Moegli
 
Mise en place d'un reseau securise par Cisco ASA
Mise en place d'un reseau securise par Cisco ASAMise en place d'un reseau securise par Cisco ASA
Mise en place d'un reseau securise par Cisco ASA
Ousmane BADJI
 
Installation et configuration d'un système de Détection d'intrusion (IDS)
Installation et configuration d'un système de Détection d'intrusion (IDS)Installation et configuration d'un système de Détection d'intrusion (IDS)
Installation et configuration d'un système de Détection d'intrusion (IDS)
Charif Khrichfa
 
Alphorm.com Formation Wireshark : L'essentiel
Alphorm.com Formation Wireshark : L'essentielAlphorm.com Formation Wireshark : L'essentiel
Alphorm.com Formation Wireshark : L'essentiel
Alphorm
 
Sécurité Réseau à Base d'un Firewall Matériel (fortigate)
Sécurité Réseau à Base d'un Firewall Matériel (fortigate)Sécurité Réseau à Base d'un Firewall Matériel (fortigate)
Sécurité Réseau à Base d'un Firewall Matériel (fortigate)
Sakka Mustapha
 
Rapport nagios miniprojet
Rapport nagios miniprojetRapport nagios miniprojet
Rapport nagios miniprojet
Ayoub Rouzi
 
Rapport PFE ingénieur réseaux marwen SAADAOUI ( Juin 2018 )
Rapport PFE ingénieur réseaux marwen SAADAOUI ( Juin 2018 )Rapport PFE ingénieur réseaux marwen SAADAOUI ( Juin 2018 )
Rapport PFE ingénieur réseaux marwen SAADAOUI ( Juin 2018 )
Saadaoui Marwen
 
Moussasambe projet de securite zabbix
Moussasambe projet de securite zabbixMoussasambe projet de securite zabbix
Moussasambe projet de securite zabbix
moussa sambe
 
configuration vpn-ipsec-routeur
 configuration vpn-ipsec-routeur configuration vpn-ipsec-routeur
configuration vpn-ipsec-routeur
JULIOR MIKALA
 
Alphorm.com Formation Analyse de Malware 1/2 : Le guide complet
Alphorm.com Formation Analyse de Malware 1/2 : Le guide completAlphorm.com Formation Analyse de Malware 1/2 : Le guide complet
Alphorm.com Formation Analyse de Malware 1/2 : Le guide complet
Alphorm
 
Rapport de Projet de Fin de Parcours
Rapport de Projet de Fin de ParcoursRapport de Projet de Fin de Parcours
Rapport de Projet de Fin de Parcours
Nadine hrira
 
Vpn
VpnVpn
Vpn
kwabo
 
Cahier des Charges Infrastructure Informatique
Cahier des Charges Infrastructure InformatiqueCahier des Charges Infrastructure Informatique
Cahier des Charges Infrastructure Informatique
DATANYWARE.com
 
Rapport de Stage PFE - Développement d'un Projet ALTEN MAROC Concernant le Sy...
Rapport de Stage PFE - Développement d'un Projet ALTEN MAROC Concernant le Sy...Rapport de Stage PFE - Développement d'un Projet ALTEN MAROC Concernant le Sy...
Rapport de Stage PFE - Développement d'un Projet ALTEN MAROC Concernant le Sy...
tayebbousfiha1
 

Tendances (20)

Etude et mise en place d’une solution open source de gestion de la sécurité d...
Etude et mise en place d’une solution open source de gestion de la sécurité d...Etude et mise en place d’une solution open source de gestion de la sécurité d...
Etude et mise en place d’une solution open source de gestion de la sécurité d...
 
Mise en place de la solution d’authentification Radius sous réseau LAN câblé
Mise en place de la solution d’authentification Radius sous réseau LAN câbléMise en place de la solution d’authentification Radius sous réseau LAN câblé
Mise en place de la solution d’authentification Radius sous réseau LAN câblé
 
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
Mise en place d'une Plateforme de Supervision et de Détection d'Intrusion Sys...
 
Projet haute disponibilité asterisk pdf
Projet haute disponibilité asterisk pdfProjet haute disponibilité asterisk pdf
Projet haute disponibilité asterisk pdf
 
Support cours : Vos premiers pas avec le pare feu CISCO ASA
Support cours : Vos premiers pas avec le pare feu CISCO ASASupport cours : Vos premiers pas avec le pare feu CISCO ASA
Support cours : Vos premiers pas avec le pare feu CISCO ASA
 
Rapport pfe talan_2018_donia_hammami
Rapport pfe talan_2018_donia_hammamiRapport pfe talan_2018_donia_hammami
Rapport pfe talan_2018_donia_hammami
 
Protocole IKE/IPsec
Protocole IKE/IPsecProtocole IKE/IPsec
Protocole IKE/IPsec
 
Mise en place d'un reseau securise par Cisco ASA
Mise en place d'un reseau securise par Cisco ASAMise en place d'un reseau securise par Cisco ASA
Mise en place d'un reseau securise par Cisco ASA
 
Installation et configuration d'un système de Détection d'intrusion (IDS)
Installation et configuration d'un système de Détection d'intrusion (IDS)Installation et configuration d'un système de Détection d'intrusion (IDS)
Installation et configuration d'un système de Détection d'intrusion (IDS)
 
Alphorm.com Formation Wireshark : L'essentiel
Alphorm.com Formation Wireshark : L'essentielAlphorm.com Formation Wireshark : L'essentiel
Alphorm.com Formation Wireshark : L'essentiel
 
Sécurité Réseau à Base d'un Firewall Matériel (fortigate)
Sécurité Réseau à Base d'un Firewall Matériel (fortigate)Sécurité Réseau à Base d'un Firewall Matériel (fortigate)
Sécurité Réseau à Base d'un Firewall Matériel (fortigate)
 
Rapport nagios miniprojet
Rapport nagios miniprojetRapport nagios miniprojet
Rapport nagios miniprojet
 
Rapport PFE ingénieur réseaux marwen SAADAOUI ( Juin 2018 )
Rapport PFE ingénieur réseaux marwen SAADAOUI ( Juin 2018 )Rapport PFE ingénieur réseaux marwen SAADAOUI ( Juin 2018 )
Rapport PFE ingénieur réseaux marwen SAADAOUI ( Juin 2018 )
 
Moussasambe projet de securite zabbix
Moussasambe projet de securite zabbixMoussasambe projet de securite zabbix
Moussasambe projet de securite zabbix
 
configuration vpn-ipsec-routeur
 configuration vpn-ipsec-routeur configuration vpn-ipsec-routeur
configuration vpn-ipsec-routeur
 
Alphorm.com Formation Analyse de Malware 1/2 : Le guide complet
Alphorm.com Formation Analyse de Malware 1/2 : Le guide completAlphorm.com Formation Analyse de Malware 1/2 : Le guide complet
Alphorm.com Formation Analyse de Malware 1/2 : Le guide complet
 
Rapport de Projet de Fin de Parcours
Rapport de Projet de Fin de ParcoursRapport de Projet de Fin de Parcours
Rapport de Projet de Fin de Parcours
 
Vpn
VpnVpn
Vpn
 
Cahier des Charges Infrastructure Informatique
Cahier des Charges Infrastructure InformatiqueCahier des Charges Infrastructure Informatique
Cahier des Charges Infrastructure Informatique
 
Rapport de Stage PFE - Développement d'un Projet ALTEN MAROC Concernant le Sy...
Rapport de Stage PFE - Développement d'un Projet ALTEN MAROC Concernant le Sy...Rapport de Stage PFE - Développement d'un Projet ALTEN MAROC Concernant le Sy...
Rapport de Stage PFE - Développement d'un Projet ALTEN MAROC Concernant le Sy...
 

En vedette

Splunk for Security Workshop
Splunk for Security WorkshopSplunk for Security Workshop
Splunk for Security Workshop
Splunk
 
Détecter et neutraliser efficacement les cybermenaces !
Détecter et neutraliser efficacement les cybermenaces !Détecter et neutraliser efficacement les cybermenaces !
Détecter et neutraliser efficacement les cybermenaces !
Kyos
 
QRadar, ArcSight and Splunk
QRadar, ArcSight and Splunk QRadar, ArcSight and Splunk
QRadar, ArcSight and Splunk
M sharifi
 
Spunk
Spunk Spunk
Spunk
lramirezcruz
 
Graphe[1]
Graphe[1]Graphe[1]
Graphe[1]
Najib Ihsine
 
SplunkLive! Paris 2015 - ICDC
SplunkLive! Paris 2015 - ICDCSplunkLive! Paris 2015 - ICDC
SplunkLive! Paris 2015 - ICDC
Splunk
 
SplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
SplunkLive Wellington 2015 - New Features, Pivot and Search DojoSplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
SplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
Splunk
 
SplunkLive! Paris 2015 - Auchan
SplunkLive! Paris 2015 - AuchanSplunkLive! Paris 2015 - Auchan
SplunkLive! Paris 2015 - Auchan
Splunk
 
Modèle de sécurité AWS
Modèle de sécurité AWSModèle de sécurité AWS
Modèle de sécurité AWS
Julien SIMON
 
EMC Sponsored Session- Building Massive + Efficient Indexer Storage Environme...
EMC Sponsored Session- Building Massive + Efficient Indexer Storage Environme...EMC Sponsored Session- Building Massive + Efficient Indexer Storage Environme...
EMC Sponsored Session- Building Massive + Efficient Indexer Storage Environme...
Splunk
 
Splunk for Enterprise Security featuring User Behavior Analytics
Splunk for Enterprise Security featuring User Behavior AnalyticsSplunk for Enterprise Security featuring User Behavior Analytics
Splunk for Enterprise Security featuring User Behavior Analytics
Splunk
 
SplunkLive! Paris 2015 - Euler Hermes
SplunkLive! Paris 2015 - Euler HermesSplunkLive! Paris 2015 - Euler Hermes
SplunkLive! Paris 2015 - Euler Hermes
Splunk
 
SIEM presentation final
SIEM presentation finalSIEM presentation final
SIEM presentation final
Rizwan S
 
10 règles de securite de la sécurité informatique
10 règles de securite de la sécurité informatique10 règles de securite de la sécurité informatique
10 règles de securite de la sécurité informatique
dynamicemploi
 
Présentation du wifi
Présentation du wifiPrésentation du wifi
Présentation du wifi
Ségala Aveyron
 
Cas d’usage du Big Data pour la relation et l’expérience client
Cas d’usage du Big Data pour la relation et l’expérience clientCas d’usage du Big Data pour la relation et l’expérience client
Cas d’usage du Big Data pour la relation et l’expérience client
Jean-Michel Franco
 
Splunk for Machine Learning and Analytics
Splunk for Machine Learning and AnalyticsSplunk for Machine Learning and Analytics
Splunk for Machine Learning and Analytics
Splunk
 

En vedette (20)

Splunk
SplunkSplunk
Splunk
 
Splunk for Security Workshop
Splunk for Security WorkshopSplunk for Security Workshop
Splunk for Security Workshop
 
Détecter et neutraliser efficacement les cybermenaces !
Détecter et neutraliser efficacement les cybermenaces !Détecter et neutraliser efficacement les cybermenaces !
Détecter et neutraliser efficacement les cybermenaces !
 
QRadar, ArcSight and Splunk
QRadar, ArcSight and Splunk QRadar, ArcSight and Splunk
QRadar, ArcSight and Splunk
 
Spunk
Spunk Spunk
Spunk
 
Graphe[1]
Graphe[1]Graphe[1]
Graphe[1]
 
SplunkLive! Paris 2015 - ICDC
SplunkLive! Paris 2015 - ICDCSplunkLive! Paris 2015 - ICDC
SplunkLive! Paris 2015 - ICDC
 
SplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
SplunkLive Wellington 2015 - New Features, Pivot and Search DojoSplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
SplunkLive Wellington 2015 - New Features, Pivot and Search Dojo
 
SplunkLive! Paris 2015 - Auchan
SplunkLive! Paris 2015 - AuchanSplunkLive! Paris 2015 - Auchan
SplunkLive! Paris 2015 - Auchan
 
Modèle de sécurité AWS
Modèle de sécurité AWSModèle de sécurité AWS
Modèle de sécurité AWS
 
EMC Sponsored Session- Building Massive + Efficient Indexer Storage Environme...
EMC Sponsored Session- Building Massive + Efficient Indexer Storage Environme...EMC Sponsored Session- Building Massive + Efficient Indexer Storage Environme...
EMC Sponsored Session- Building Massive + Efficient Indexer Storage Environme...
 
Splunk for Enterprise Security featuring User Behavior Analytics
Splunk for Enterprise Security featuring User Behavior AnalyticsSplunk for Enterprise Security featuring User Behavior Analytics
Splunk for Enterprise Security featuring User Behavior Analytics
 
SplunkLive! Paris 2015 - Euler Hermes
SplunkLive! Paris 2015 - Euler HermesSplunkLive! Paris 2015 - Euler Hermes
SplunkLive! Paris 2015 - Euler Hermes
 
Présentation wifi sécurisé
Présentation wifi sécuriséPrésentation wifi sécurisé
Présentation wifi sécurisé
 
SIEM presentation final
SIEM presentation finalSIEM presentation final
SIEM presentation final
 
10 règles de securite de la sécurité informatique
10 règles de securite de la sécurité informatique10 règles de securite de la sécurité informatique
10 règles de securite de la sécurité informatique
 
Présentation du wifi
Présentation du wifiPrésentation du wifi
Présentation du wifi
 
Courswifi
CourswifiCourswifi
Courswifi
 
Cas d’usage du Big Data pour la relation et l’expérience client
Cas d’usage du Big Data pour la relation et l’expérience clientCas d’usage du Big Data pour la relation et l’expérience client
Cas d’usage du Big Data pour la relation et l’expérience client
 
Splunk for Machine Learning and Analytics
Splunk for Machine Learning and AnalyticsSplunk for Machine Learning and Analytics
Splunk for Machine Learning and Analytics
 

Similaire à Présentation sur splunk

Ysance conference - cloud computing - aws - 3 mai 2010
Ysance   conference - cloud computing - aws - 3 mai 2010Ysance   conference - cloud computing - aws - 3 mai 2010
Ysance conference - cloud computing - aws - 3 mai 2010
Ysance
 
Amazon Web Services User Group - France - 3 mai 2010 - Optimisation et Automa...
Amazon Web Services User Group - France - 3 mai 2010 - Optimisation et Automa...Amazon Web Services User Group - France - 3 mai 2010 - Optimisation et Automa...
Amazon Web Services User Group - France - 3 mai 2010 - Optimisation et Automa...
Frédéric FAURE
 
Etude Uima Gate Open Nlp
Etude Uima Gate Open NlpEtude Uima Gate Open Nlp
Etude Uima Gate Open NlpRadwenAniba
 
conception et création une base de donnée de réservation de vol
conception et création une base de donnée de réservation de vol conception et création une base de donnée de réservation de vol
conception et création une base de donnée de réservation de vol
sara bada
 
X-Analysis Professional - FR
X-Analysis Professional - FRX-Analysis Professional - FR
X-Analysis Professional - FR
Fresche Solutions
 
Salesforce Einstein analytics - Formation sur les-bases - By iMalka
Salesforce Einstein analytics - Formation sur les-bases - By iMalkaSalesforce Einstein analytics - Formation sur les-bases - By iMalka
Salesforce Einstein analytics - Formation sur les-bases - By iMalka
Ilan Malka
 
Fouille logiciel
Fouille logicielFouille logiciel
Fouille logiciel
serge sonfack
 
Les technologies big data avec speech commentaries
Les technologies big data avec speech commentariesLes technologies big data avec speech commentaries
Les technologies big data avec speech commentaries
Rima Jamli Faidi
 
Sommaire, Plan Premiere Ebauche
Sommaire, Plan Premiere EbaucheSommaire, Plan Premiere Ebauche
Sommaire, Plan Premiere Ebaucheguestf0c56c
 
Apache solr andré bois-crettez 08
Apache solr   andré bois-crettez 08Apache solr   andré bois-crettez 08
Apache solr andré bois-crettez 08Loïc Descotte
 
seim.pptx
seim.pptxseim.pptx
seim.pptx
fatima117475
 
X-Analysis Professional - version française
X-Analysis Professional - version françaiseX-Analysis Professional - version française
X-Analysis Professional - version française
Fresche Solutions
 
Marseille JUG Novembre 2013 Lucene Solr France Labs
Marseille JUG Novembre 2013 Lucene Solr France LabsMarseille JUG Novembre 2013 Lucene Solr France Labs
Marseille JUG Novembre 2013 Lucene Solr France Labs
francelabs
 
Hr analytics & big data : Spark en action dans un contexte RH
Hr analytics & big data : Spark en action dans un contexte RHHr analytics & big data : Spark en action dans un contexte RH
Hr analytics & big data : Spark en action dans un contexte RH
Wassim TRIFI
 
MISE EN ŒUVRE ET IMPLEMENTATION SUR GLPI.pptx
MISE EN ŒUVRE ET IMPLEMENTATION SUR GLPI.pptxMISE EN ŒUVRE ET IMPLEMENTATION SUR GLPI.pptx
MISE EN ŒUVRE ET IMPLEMENTATION SUR GLPI.pptx
PriscilleGANKIA
 
Synchroniser ses applications (plus) simplement
Synchroniser ses applications (plus) simplementSynchroniser ses applications (plus) simplement
Synchroniser ses applications (plus) simplement
gplanchat
 
Elastic Morocco user group meetup June
Elastic Morocco user group meetup JuneElastic Morocco user group meetup June
Elastic Morocco user group meetup June
Anna Ossowski
 
RMLL 2011 - TYPO3 le CMS de référence au gouvernement du Québec
RMLL 2011   - TYPO3 le CMS de référence au gouvernement du QuébecRMLL 2011   - TYPO3 le CMS de référence au gouvernement du Québec
RMLL 2011 - TYPO3 le CMS de référence au gouvernement du Québec
Yannick Pavard
 
Maintenance equipement info dans un environnement reseau
Maintenance equipement info dans un environnement reseau Maintenance equipement info dans un environnement reseau
Maintenance equipement info dans un environnement reseau JennellyHollywood Shookou
 

Similaire à Présentation sur splunk (20)

Ysance conference - cloud computing - aws - 3 mai 2010
Ysance   conference - cloud computing - aws - 3 mai 2010Ysance   conference - cloud computing - aws - 3 mai 2010
Ysance conference - cloud computing - aws - 3 mai 2010
 
Amazon Web Services User Group - France - 3 mai 2010 - Optimisation et Automa...
Amazon Web Services User Group - France - 3 mai 2010 - Optimisation et Automa...Amazon Web Services User Group - France - 3 mai 2010 - Optimisation et Automa...
Amazon Web Services User Group - France - 3 mai 2010 - Optimisation et Automa...
 
Etude Uima Gate Open Nlp
Etude Uima Gate Open NlpEtude Uima Gate Open Nlp
Etude Uima Gate Open Nlp
 
conception et création une base de donnée de réservation de vol
conception et création une base de donnée de réservation de vol conception et création une base de donnée de réservation de vol
conception et création une base de donnée de réservation de vol
 
X-Analysis Professional - FR
X-Analysis Professional - FRX-Analysis Professional - FR
X-Analysis Professional - FR
 
Salesforce Einstein analytics - Formation sur les-bases - By iMalka
Salesforce Einstein analytics - Formation sur les-bases - By iMalkaSalesforce Einstein analytics - Formation sur les-bases - By iMalka
Salesforce Einstein analytics - Formation sur les-bases - By iMalka
 
Fouille logiciel
Fouille logicielFouille logiciel
Fouille logiciel
 
Les technologies big data avec speech commentaries
Les technologies big data avec speech commentariesLes technologies big data avec speech commentaries
Les technologies big data avec speech commentaries
 
Sommaire, Plan Premiere Ebauche
Sommaire, Plan Premiere EbaucheSommaire, Plan Premiere Ebauche
Sommaire, Plan Premiere Ebauche
 
Apache solr andré bois-crettez 08
Apache solr   andré bois-crettez 08Apache solr   andré bois-crettez 08
Apache solr andré bois-crettez 08
 
seim.pptx
seim.pptxseim.pptx
seim.pptx
 
X-Analysis Professional - version française
X-Analysis Professional - version françaiseX-Analysis Professional - version française
X-Analysis Professional - version française
 
Marseille JUG Novembre 2013 Lucene Solr France Labs
Marseille JUG Novembre 2013 Lucene Solr France LabsMarseille JUG Novembre 2013 Lucene Solr France Labs
Marseille JUG Novembre 2013 Lucene Solr France Labs
 
Hr analytics & big data : Spark en action dans un contexte RH
Hr analytics & big data : Spark en action dans un contexte RHHr analytics & big data : Spark en action dans un contexte RH
Hr analytics & big data : Spark en action dans un contexte RH
 
MISE EN ŒUVRE ET IMPLEMENTATION SUR GLPI.pptx
MISE EN ŒUVRE ET IMPLEMENTATION SUR GLPI.pptxMISE EN ŒUVRE ET IMPLEMENTATION SUR GLPI.pptx
MISE EN ŒUVRE ET IMPLEMENTATION SUR GLPI.pptx
 
Synchroniser ses applications (plus) simplement
Synchroniser ses applications (plus) simplementSynchroniser ses applications (plus) simplement
Synchroniser ses applications (plus) simplement
 
Elastic Morocco user group meetup June
Elastic Morocco user group meetup JuneElastic Morocco user group meetup June
Elastic Morocco user group meetup June
 
RMLL 2011 - TYPO3 le CMS de référence au gouvernement du Québec
RMLL 2011   - TYPO3 le CMS de référence au gouvernement du QuébecRMLL 2011   - TYPO3 le CMS de référence au gouvernement du Québec
RMLL 2011 - TYPO3 le CMS de référence au gouvernement du Québec
 
Rapport de fin de stage maintenance info
Rapport de fin de stage  maintenance infoRapport de fin de stage  maintenance info
Rapport de fin de stage maintenance info
 
Maintenance equipement info dans un environnement reseau
Maintenance equipement info dans un environnement reseau Maintenance equipement info dans un environnement reseau
Maintenance equipement info dans un environnement reseau
 

Présentation sur splunk

  • 2. Introduction  Splunk est considérée comme étant l’une des plus puissante plate-forme d’analyse des données machine, des données que génèrent les machines en grande quantité mais qui sont rarement utilisé de façon efficace.  En effet les données machine (Machine data) sont déjà d’une importance capitale dans le domaine de la technologie et ne cesse de gagner de l’influence dans le monde des affaires (intelligence opérationnel).
  • 3. Introduction La meilleure façon de prendre conscience de la puissance ainsi que de la polyvalence de splunk est de se pencher sur les deux scénarios qui suivent : 1-le premier étant dans ‘’Data center ’’ 2-le second étant dans le département marketing
  • 4. Splunk à la rescousse dans un Datacenter :  Imaginant le cas de figure suivant : il est 2h du matin. Le téléphone sonne, votre patron appelle, pour vous informer que le site web de la compagnie est tombé en panne, et là instantanément un torrent de question vient vous harceler l’esprit .
  • 5. Splunk à la rescousse dans un Datacenter : (suite)  vous avez déployé splunk au préalable, il suffit juste de le lancer de votre emplacement en se connectant à votre serveur splunk, et d’effectuer des recherches sur vos fichiers log rediriger depuis vos serveurs : web, base de données, firewall, routeurs, etc.
  • 6. Splunk Dans Le Département Marketing:  Vous travaillez au sein du service de promotion d’une grande compagnie, La semaine dernière, les gars du Datacenter ont installé un nouveau tableau de bord Splunk qui montre (pour la dernière heure, le jour et semaine) tous les termes de recherche utilisés pour trouver le site web de la société.
  • 7. Le fonctionnement de splunk  Vue qu’on utilise splunk pour réponde à un certain nombre de questions, qui dépondent principalement de notre contexte professionnel on peut rapidement se rendre compte que cette tache peut se deviser en trois phases distinctes voir le graphe : Premièrement, identifier les données qui peuvent répondre à votre question. Troisièmement, afficher la réponse dans un rapport, tableau interactif, ou graphique pour la rendre intelligible à un grand nombre de gens. Deuxièmement, transformer les données en résultats qui peuvent répondre à vos question.
  • 8. Le fonctionnement de splunk    Le cœur de métier de splunk est de rendre les données machines utile pour les gens. En effet le gens qui ont créé les systèmes tel que : (Serveur web, load balencers, plateformes de médias sociaux, etc...),ils ont aussi spécifié les informations que ces derniers doivent écrire au sein des fichiers log quand il sont au en train de s’exécutées. Exemple (d’output dans un fichier log) : Action: ticked s:57, m:05, h:10, d:23, mo:03, y:2011 Action: ticked s:58, m:05, h:10, d:23, mo:03, y:2011 Action: ticked s:59, m:05, h:10, d:23, mo:03, y:2011 Action: ticked s:00, m:06, h:10, d:23, mo:03, y:2011
  • 9. Le fonctionnement de splunk Mais comment splunk conçoit-il les données machines? -Réponse:  Splunk divise les données machine brutes en morceaux d'information discrets connu sous le nom ‘’événements’’. en effet Lorsque vous effectuez une recherche simple, Splunk récupère les événements qui correspondent à vos termes de recherche.
  • 11. Le fonctionnement de splunk   La seule exigence concernant les données machine est le faite qu’elles soient textuel et non pas binaire, par exemple les fichiers images et son sont des exemples courant de données binaires, toutefois certains types de fichiers binaire comme le core dump qui ce produit lorsque un programme crashe peut être convertie en format texte. Splunk offre la possibilité de faire appelle à nos scripts afin de pouvoir réaliser ce type de conversion avant l'indexation des données Durant l’indexation Splunk peut lire les données à partir de plusieurs sources parmi on site : (les plus commune) Les fichiers Le réseau Les scripts d’entrée
  • 12. Le fonctionnement de splunk Comment Splunk traite les données machine au sein d’un Datacenter ? 1-Splunk Commence par indexer les données Ce qui signifie que Splunk collecte les données de différents endroits et les combine puis il les stocke dans un index centralisé, avant les administrateur système devait se logger dans différentes machines afin d’avoir accès au données 2-utilisation des indexes pour optimiser les recherches L’utilisation des indexes confère à Splunk un grand degré de rapidité lors des recherches de sources de problèmes dans les fichiers log 3-filtrage des résultats Splunk mais à disposition de l’utilisateur plusieurs outils permettant de filtrer les résultats ce qui implique par voie de conséquence une détection plus rapide de la racine du problème
  • 13. Le fonctionnement de splunk Remarque : Le Champ Timestamp (_time ) est considéré comme étant spécial dû au fait que les indexeurs l’utilise pour ordonner les évènements , il permet aussi à Splunk de rechercher efficacement des évènements appartenant un intervalle temporelle bien précis .le schéma qui suit montre de façon détaillée le processus d’indexage de Splunk.
  • 14. Le fonctionnement de splunk Les données que Splunk prend en Input sont appelées les données brut. Splunk les indexe on créant une map de mots basée sur le temps. Ce qu’il faut bien retenir c’est que ce processus ce déroule sans que les données ne soient modifiées . En effet l’indexe que construit Splunk est similaire aux indexes qui existent au dos des manuels scolaires, et qui pointent vers des pages en utilisant des mots spécifiques .cependant en Splunk les « pages » sont appelés événements Chaque évènement en Splunk dispose d’au moins quatre champs par défaut et qui sont fournis dans le schéma qui suit :
  • 15. Le fonctionnement de splunk: Afin de réaliser des recherches splunk offre une interface graphique bien accueillante comme on peut le voire dans l’animation qui suit:
  • 16. SPL : (Search Processing Language) Splunk offre une aide précieuse puisque il permet de tamiser les données provenant de plusieurs indexes de grandes taille pour ne conserver à la fin que les données utiles permettant ainsi de répondre à nos questions que sa soit d’un point de vue technologique (administration réseau ,sécurité informatique ) ou bien d’un point de vue intelligence opérationnelle (exemple : examiner les données utilisateurs de notre afin de déceler quelles sont les tendances futur ). En effet Splunk offre un outil très performant qui permet de réaliser des recherches d’une précision d’orfèvre, cet outil n’est rien d’autre que le langage SPL. Définition: SPL ou Search Processing Language est un langage de programmation à usage spécial conçu par Splunk, afin de gérer, la big data généré par un réseau de machine. A L'origine SPL est basé sur Unix Piping et SQL, son champ d'application comprend les données de recherche, de filtrage, de modification, de manipulation, d'insertion et de suppression.
  • 17. SPL : (Search Processing Language) L’exemple suivant donne un aperçu du potentiel qu’offre ce langage : sourcetype = syslog ERROR | top user | fields - percent En effet cette ligne de commande aura comme résultat tous les événements ayant comme sourcetype syslog et contenant la chaine de caractères ERROR ceci est pour le premier segment de la commande ensuite ce résultat sera rediriger comme input pour le 2éme segment de la commande et qui est (top user) et qui va fournir les 10 valeurs du champ user les plus récurant dans le input qu’il a reçu ensuit le résultat de ce 2éme segment servira comme input au 3éme segment (fields-percent ) ce segment a pour but d’éliminer la colonne percent qui est générer automatiquement lors de l’exécution de la commande top l’animation qui suit montre de manière détaillé l’exécution de cette commande
  • 18. SPL : (Search Processing Language) Les catégories de commandes Splunk Les commandes de tries les commandes de filtrages Les commandes de regroupement de résultats Les commandes sont: Les commandes sont search La commande est : Sort Where Dedup Head Tail Les commandes de reporting : La commande est: Top/rare Transaction Stats Chart timechart Le commandes de modification, filtrage, ajout de champs : Les commandes sont: Fields Replace Rex Eval Lookup
  • 19. SPL : (Search Processing Language)  Explication de l’Arborescence : 1- la commande sort : est une commande ayant pour but d’ordonner les résultats d’une recherche et de limiter de manière optionnel le nombre de résultats. 2- les commandes qui suivent sont des commandes de filtrages en autres termes se sont des commandes qui vont prendre un ensemble d’évènements ou de résultats comme entrée afin qu’ils subissent une opération de filtrage ayant comme objectif de fournir une sortie d’une dimension moindre que celle de l’entrée et qui ne conserve que les informations nécessaire : (search, where, dedup, head, tail). 3-la commande transaction est une commande de type Grouping Results comme le nom du type de la commande l’indique cette dernière a pour but de regrouper les évènements de façon à mettre en lumière des tendances (très apprécié dans le domaine de l’intelligence opérationnel ). 4- les commandes classifier dans la catégorie Reporting sont des commandes dont le cœur de métier est de générer des résumer pour les rapports en prenant comme entrée les résultats de recherche. Parmi ces commandes on site : (top/rare, stats, chart, timechart). 5-les commandes de type modification, filtrage, ajout de champs : ce sont des commandes ayant comme rôle de filtrer (supprimer) certains champs afin de ne se focaliser que sur les champs qui nous intéresse, ou bien modifier ou ajouter des champs pour enrichir nos résultats on site : (fields, replace, rex, eval, lookup).
  • 20. Le déroulement du stage   En effet le but de ce stage est la réalisation d’un outil de message syslog pour les équipements réseau de la DSI. Cette solution sera implémenter dans un premier temps dans un environnement ayant l’architecture suivante :
  • 21. Le déroulement du stage  La première phase a été d’établir une étude afin de déterminer les caractéristiques technique de l’environnement hardware sur lequel splunk devrait être déployé, ces derniers sont cité dans ce qui suit: les caractéristiques Hardware 1-le processeur : une puce Intel d'architecture x86 64bit. 2- 2 CPUs 4cores pour chacune d'ente elle soit un total de 8 cores , un minimum de 2.5 GHz pour chacun des cores 3-La mémoire vive : une RAM d'une taille de 8 GB. 4-la carte réseau : une carte de 1 Gb Ethernet , (optionnelle) une deuxième carte réseau Ethernet du même type pour la gestion du réseau
  • 22. Le déroulement du stage  Effectivement l’environnement matériel qui a été choisi est le suivant: 1-un serveur IBM System x3650 (offrant les caractéristiques technique vue précédemment) 2-Installation de la distribution centos 6.3 64 bits sur ce dernier
  • 23. Le déroulement du stage Sur le site web de la compagnie splunk : il n’existe aucune procédure d’installation spécifique à une distribution centos, cependant vue que centos est un équivalent open source de RHEL on adoptera la même procédure d’installation spécifiée pour ce dernier :  Pour installer splunk dans le répertoire par défaut /opt/Splunk rpm -i splunk_package_name.rpm ./splunk start --accept-license ./splunk enable boot-start Afin de se connecter à l’interface web de splunk il suffit de taper : http://<hostname>:port
  • 24. Possibilité à exploiter  Les SDK de Splunk sont écrits au-dessus de la APIs REST Splunk. est de nous fournir une large couverture de l'API REST dans un mode spécifique au langage utilisé. Afin de faciliter votre accès à notre moteur de recherche Splunk.  Les différentes SDKs fournis par splunk sont es suivantes: Python Java JavaScript PHP Ruby C#
  • 25. Possibilité à exploiter  tout ce qu’on vient de cité est intéressant, Cependant qu’elles sont les possibilités qu’offre de telle SDKs pouvant être exploitées afin de répondre au mieux à notre besoin: L’intégration avec d’autres outils de reporting Se connecter directement à splunk Intégrer les résultats de recherche de Splunk dans nos applications Extraire des données pour l'archivage Construire une interface utilisateur adopter à nos besoins en se basant sur la pile web existante
  • 26. Possibilité à exploiter  Exemple d’interface réalisée avec la SDK python:
  • 27. fin