SlideShare une entreprise Scribd logo
Getting Data In
27 Mars 2018
Stéphane Lapie | Senior Sales Engineer
During the course of this presentation, we may make forward-looking statements regarding future events or
the expected performance of the company. We caution you that such statements reflect our current
expectations and estimates based on factors currently known to us and that actual events or results could
differ materially. For important factors that may cause actual results to differ from those contained in our
forward-looking statements, please review our filings with the SEC.
The forward-looking statements made in this presentation are being made as of the time and date of its live
presentation. If reviewed after its live presentation, this presentation may not contain current or accurate
information. We do not assume any obligation to update any forward looking statements we may make. In
addition, any information about our roadmap outlines our general product direction and is subject to change
at any time without notice. It is for informational purposes only and shall not be incorporated into any contract
or other commitment. Splunk undertakes no obligation either to develop the features or functionality
described or to include any such feature or functionality in a future release.
Splunk, Splunk>, Listen to Your Data, The Engine for Machine Data, Splunk Cloud, Splunk Light and SPL are trademarks and registered trademarks of Splunk Inc. in
the United States and other countries. All other brand names, product names, or trademarks belong to their respective owners. ©2018 Splunk Inc. All rights reserved.
Forward-Looking Statements
© 2018 SPLUNK INC.
1. Architecture de collecte
2. Apps et Technology Add-ons
3. Démos / Exemples
4. Bonnes Pratiques
5. Ressources & Questions
Sujets de
discussion :
Architecture
de collecte
Search Heads
Interface graphique
Forwarders
collecte et transport
Indexers
indexation et calculs
Charge de travail et calculs distribués
Collecte répartie et flux sécurisés
+ de données
+ d’utilisateurs
+ de sources
Sans Agent
Architecture de base
Comment Splunk fonctionne, vu de haut
Qu’est-ce que Splunk peut ingérer ?
Exemples de Sources en Entreprise
Syslog
TCP/UDP
Event Logs,
Active Directory, OS Stats
Unix, Linux and Windows hosts
Universal Forwarder
Syslog Hosts
and Network Devices
Local File Monitoring
Universal Forwarder
Aggregation
host
Windows
Aggregated / API Data
Sources
Pre-filtering, API subscriptions
Heavy Forwarder
Mainframes*nix
Wire Data
Splunk Stream
Universal Forwarder or
HTTP Event Collector
DevOps, IoT,
Containers
HTTP Event Collector
(Agentless)
shell
API
perf
Données de Sources Distantes
• L’Universal Forwarder collecte des données locales pour les envoyer vers un ou
plusieurs Indexers
Extensible
• Des Milliers de Universal Forwarders peuvent être déployés avec très peu
d’impacte sur le réseau et la performance
Nombreuses Plateformes Supportées
• Disponible pour différents systèmes d’exploitation et architectures processeurs.
Empreinte minimale sur les ressources
Splunk Universal Forwarder
Distribution distincte :
https://www.splunk.com/en_us/download/universal-forwarder.html
Egalement pour des Sources Distantes
• Généralement utilisé pour agréger la donnée avant des firewalls, du routage et/ou
filtrage, modular inputs ou la réception d’appels REST (plus d’infos après)
“Nœud de Collecte” pour les appels API et scripts
• Pour les technologies uniquement accessibles par API et non par une installation
locale (AWS, Azure, vmware, …)
Support limité aux même plateformes que Splunk Enterprise
• Autonome, le Heavy Forwarder est généralement sur une machine virtuelle
Quand utiliser un Heavy Forwarder ?
Même distribution que pour les Rôles Principaux
Directement depuis des Applications
• Intégration facile, sécurisée (tokens) et “load-balancer-friendly”, pour envoyer des
données directement depuis des applications vers Splunk (JSON ou RAW)
Sans Agent
• Les données peuvent être envoyées directement aux Indexers, sans Forwarders
Supporté par de nombreuses plateformes de développement
• Bibliothèques et modules disponibles pour un grand nombre de technologies
(Docker, AWS Lambda, Java, C#, …) et sinon par API REST directement
Splunk HTTP Event Collector (HEC)
Une nouvelle manière de collecter à très grande échelle
Apps et Add-ons
Collecter avec des Apps & Add-Ons
• La première chose à regarder !
Méthode propre et pré-packagée
• App = solution complète
Composée d’un ou plusieurs "Technology Add-on"
• Add-on
o Abstraction de la collecte (log file, API, scripted
input, HEC)
o Contient généralement l’extraction de champs
(schémas à la volée)
o Contient les fichiers de configuration
(props/transforms) et d’éventuels scripts ou outils
de collecte
1600+ apps et add-ons:
https://splunkbase.com/
Où trouver les Apps ? Sur Splunkbase !
https://splunkbase.com/
Communauté Importante
dev.splunk.com
75,000+ questions
and answers
1,600+ apps
Local User Groups and
SplunkLive! events
http://community.splunk.comhttp://answers.splunk.comhttp://splunkbase.com http://dev.splunk.com
Getting Data In:
Démos
▶ Utilisation de l’interface “Prévisualisation de Données”
• Chargement d’un Fichier (vous devriez l’avoir fait lors de la session “Getting Started”)
▶ Installation et utilisation d’Apps et Add-ons
▶ Ecoute en continu de Fichiers (avec l’Universal Forwarder)
• Sur un répertoire et plusieurs fichiers en temps réel
• Architecture de collecte pour des données issues du protocole Syslog
Ce que vous aller voir
Getting Data In:
Bonnes Pratiques
Composants d’un Déploiement Réussi
Architecture
&
Infrastructure
Operations &
Supporting
Tools
Staffing
Getting
Data In
User
Onboarding
Inform
▶ Architecte
• Design et optimisation de la plateforme Splunk; distribution et suivi d’échelle
▶ Administrateur
• Configuration et maintient en condition de l’infrastructure Splunk
▶ "Search Expert" ou "Ninja"
▶ Développeur d’Apps
▶ Expert Métier
• Interprétation des données, classification et enrichissement (contexte)
• Travaille avec l’admin pour ajouter les données
Responsabilités PrincipalesArch
& Infra
Ops &
Tools
Staffing
Getting
Data In
User
Onboarding
Inform
▶ Etablir le processus d’ajout de
nouvelles sources et Apps
▶ Industrialisation et documentation
▶ Interview des clients et suivi
▶ Intégration à l’offre de service
Embarquer de Nouvelles Sources
Nouvelles Demandes
❑ Obtenir un extrait des données
❑ Avoir une description des données
▪ timestamp | timezone ■ simple/multi-ligne
▪ sourcetype ■ champs importants
❑ Description succincte du/des cas d’usages
▪ recherches | alertes | rapports | dashboards
❑ Quelle méthode de collecte ?
▪ UF | HTTP | syslog | API
❑ Quelle période de rétention ?
❑ Quelles permissions ?
❑ Association au “Common information Model”
▪ Technology Add-on disponible ?
❑ Validation
Arch
& Infra
Ops &
Tools
StaffingGetting
Data In
User
Onboarding
Inform
Staffing
Mesdames et Messieurs, l’embarquement va commencer !
Check-list : 6 points à vérifier à l’indexation
Source
Découpage
des
événements
Host
Index
SourcetypeHorodatage
▶ Rassembler le plus de détails possible :
• D’où proviennes les données ? Comment les collecter avec Splunk ?
• Quels groupes d’utilisateurs vont en avoir besoin ? Quelles permissions ?
• Etablir le volume d’indexation et la période de rétention requise
• Qui est le propriétaire ou expert de cette donnée ?
▶ Faites un plan :
• Obtenir des extraits “suffisants” pour tester
• Assigner un sourcetype existant ou en créer un nouveau
• Identifier les canvas et models qui peuvent s’appliquer (CIM compliance)
Zoom sur les Nouvelles Demandes
▶ Pour une même source identifiez les différents sourcetypes
• Attention : Syslog ce n’est pas un sourcetype !
• (plus de détails dans les slides suivants)
▶ Ne pas réinventer la roue : Utilisez les Apps & Add-on de splunkbase.com
▶ Utiliser un index “test” pour vérifier les paramètres d’indexation
• Interface de Prévisualisation
• Configuration du sourcetype
Zoom sur les Nouvelles Demandes
(suite)
▶ Trouver les éventuels problèmes d’indexation en amont
▶ ”Le tester c’est l’adopter!”
• Vérifier le bon découpage des événements (event-breaking)
• La reconnaissance du timestamp et l’horodatage correct (avec le bon fuseau horaire)
• L’anonymisation de certaines informations
▶ Dans la majorité des cas, vous pouvez tout faire sans toucher au fichier
props.conf
Prévisualisation = Succès
Mais si vous devez vraiment le faire…
Pensez toujours à ces quelques paramètres dans props.conf
[SL17]
TIME_PREFIX = ^
TIME_FORMAT = %Y-%m-%d %H:%M:%S
MAX_TIMESTAMP_LOOKAHEAD = 19
SHOULD_LINEMERGE = False
LINE_BREAKER = ([nr]+)
TRUNCATE = 10000
▶ Le “Common Information Model” structure la donnée, sans toucher à
l’événement brut
▶ C’est une convention de nommage
▶ Normaliser et catégoriser les informations permet de s’abstraire de la source et
de faire des analyses “agnostiques”
▶ Les données “CIM-compliant” peuvent être utilisées par des Apps existantes
(ES, PCI, Web Proxies, …)
Qu’est-ce que le CIM, et pourquoi c’est utile ?
▶ Syslog est un protocole, pas un vrai sourcetype
• Ce protocole embarque généralement plusieurs sourcetypes
▶ Quand il y a beaucoup de flux différents, il est préférable de les recevoir en amont de Splunk, sur
un serveur dédié (syslog-ng, rsyslog, …)
• Utilisez un UF ou HEC pour transporter les donnés vers Splunk :
 Pour assurer une bonne répartition de la charge et du stockage
 Pour sécuriser les flux et maitriser la bande passante
 Ségréguer les composants en cas d’incident
▶ Voir : https://www.splunk.com/blog/2017/03/30/syslog-ng-and-hec-scalable-aggregated-data-
collection-in-splunk.html pour plus d’infos
Réfléxion à propos de Syslog
Pour aller plus loin
https://splunkbase.com/app/2962/
▶ Pour collecter par REST API, Scripts ou Modular Inputs
▶ Interface guidée et certification de vos Add-ons
• De l’ajout de données jusqu’à la configuration des schémas et l’association au CIM
Add-on Builder!
▶ Videos!
https://www.splunk.com/view/SP-CAAAGB6
▶ E-Learning
https://www.splunk.com/view/SP-CAAAPX9
▶ Getting Data In – Splunk Docs
http://docs.splunk.com/Documentation/Splunk/latest/Data/WhatSplunkcanmonitor
▶ Getting Data In – Dev Manual (très exhaustif)
http://dev.splunk.com/view/dev-guide/SP-CAAAE3A
▶ .conf Sessions
http://conf.splunk.com/sessions/2017-sessions.html
▶ GOOGLE ;)
Où aller pour en apprendre plus ?
.conf18:
Monday, October 1 – Thursday, October 4
Splunk University:
Saturday, September 29 – Monday, October 1
ORLANDO, FLORIDA
Walt Disney World Swan and Dolphin Resort
Questions
© 2018 SPLUNK INC.
N’oubliez pas de noter cette session sur
surveymonkey.com/r/SLParis2018
Merci !

Contenu connexe

Similaire à SplunkLive! Paris 2018: Getting Data In

Apprentissage automatique avec RapidMiner
Apprentissage automatique avec RapidMinerApprentissage automatique avec RapidMiner
Apprentissage automatique avec RapidMiner
Majdi Hannachi
 
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataAzure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Microsoft
 
Introduction au #MicrosoftGraph demarrez vite et livrez rapidemment #MWCP18
Introduction au #MicrosoftGraph demarrez vite et livrez rapidemment #MWCP18Introduction au #MicrosoftGraph demarrez vite et livrez rapidemment #MWCP18
Introduction au #MicrosoftGraph demarrez vite et livrez rapidemment #MWCP18
Vincent Biret
 
2018-10-17 J1 7D - Introduction au Microsoft Graph démarrez vite et livrez ra...
2018-10-17 J1 7D - Introduction au Microsoft Graph démarrez vite et livrez ra...2018-10-17 J1 7D - Introduction au Microsoft Graph démarrez vite et livrez ra...
2018-10-17 J1 7D - Introduction au Microsoft Graph démarrez vite et livrez ra...
Modern Workplace Conference Paris
 
CDAP, la boîte à outil pour concevoir vos applications Big Data
CDAP,  la boîte à outil pour concevoir vos applications Big DataCDAP,  la boîte à outil pour concevoir vos applications Big Data
CDAP, la boîte à outil pour concevoir vos applications Big Data
Synaltic Group
 
Manage Traceability with Apache Atlas flexible metadata repository.
Manage Traceability with Apache Atlas flexible metadata repository.Manage Traceability with Apache Atlas flexible metadata repository.
Manage Traceability with Apache Atlas flexible metadata repository.
OW2
 
Ma stack d'outils agiles, tout un programme !
Ma stack d'outils agiles, tout un programme !Ma stack d'outils agiles, tout un programme !
Ma stack d'outils agiles, tout un programme !
Cédric Leblond
 
La voie du succès avec les bases de données de graphes, la Graph Data Scie...
 La voie du succès avec les bases de données de graphes, la Graph Data Scie... La voie du succès avec les bases de données de graphes, la Graph Data Scie...
La voie du succès avec les bases de données de graphes, la Graph Data Scie...
Neo4j
 
Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?
Victor Coustenoble
 
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
serge luca
 
Introduction au nouveau moteur de workflow de Microsoft : Flow
Introduction au nouveau moteur de workflow de Microsoft : FlowIntroduction au nouveau moteur de workflow de Microsoft : Flow
Introduction au nouveau moteur de workflow de Microsoft : Flow
Sabrine Chouk
 
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
OCTO Technology
 
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
AZUG FR
 
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
Marius Zaharia
 
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
Paris Open Source Summit
 
Alphorm.com Formation Logpoint SIEM: Le guide complet
Alphorm.com Formation Logpoint SIEM: Le guide completAlphorm.com Formation Logpoint SIEM: Le guide complet
Alphorm.com Formation Logpoint SIEM: Le guide complet
Alphorm
 
Global Office Bootcamp Montreal 2018 Introduction au Microsoft Graph
Global Office Bootcamp Montreal 2018 Introduction au Microsoft GraphGlobal Office Bootcamp Montreal 2018 Introduction au Microsoft Graph
Global Office Bootcamp Montreal 2018 Introduction au Microsoft Graph
Vincent Biret
 
Les bases de la securité informatique
Les bases de la securité informatiqueLes bases de la securité informatique
Les bases de la securité informatique
Mozes Pierre
 
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
FactoVia
 
AWS Summit Paris - Track 4 - Session 2 - Migration Cloud, modernisation des a...
AWS Summit Paris - Track 4 - Session 2 - Migration Cloud, modernisation des a...AWS Summit Paris - Track 4 - Session 2 - Migration Cloud, modernisation des a...
AWS Summit Paris - Track 4 - Session 2 - Migration Cloud, modernisation des a...
Amazon Web Services
 

Similaire à SplunkLive! Paris 2018: Getting Data In (20)

Apprentissage automatique avec RapidMiner
Apprentissage automatique avec RapidMinerApprentissage automatique avec RapidMiner
Apprentissage automatique avec RapidMiner
 
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataAzure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
 
Introduction au #MicrosoftGraph demarrez vite et livrez rapidemment #MWCP18
Introduction au #MicrosoftGraph demarrez vite et livrez rapidemment #MWCP18Introduction au #MicrosoftGraph demarrez vite et livrez rapidemment #MWCP18
Introduction au #MicrosoftGraph demarrez vite et livrez rapidemment #MWCP18
 
2018-10-17 J1 7D - Introduction au Microsoft Graph démarrez vite et livrez ra...
2018-10-17 J1 7D - Introduction au Microsoft Graph démarrez vite et livrez ra...2018-10-17 J1 7D - Introduction au Microsoft Graph démarrez vite et livrez ra...
2018-10-17 J1 7D - Introduction au Microsoft Graph démarrez vite et livrez ra...
 
CDAP, la boîte à outil pour concevoir vos applications Big Data
CDAP,  la boîte à outil pour concevoir vos applications Big DataCDAP,  la boîte à outil pour concevoir vos applications Big Data
CDAP, la boîte à outil pour concevoir vos applications Big Data
 
Manage Traceability with Apache Atlas flexible metadata repository.
Manage Traceability with Apache Atlas flexible metadata repository.Manage Traceability with Apache Atlas flexible metadata repository.
Manage Traceability with Apache Atlas flexible metadata repository.
 
Ma stack d'outils agiles, tout un programme !
Ma stack d'outils agiles, tout un programme !Ma stack d'outils agiles, tout un programme !
Ma stack d'outils agiles, tout un programme !
 
La voie du succès avec les bases de données de graphes, la Graph Data Scie...
 La voie du succès avec les bases de données de graphes, la Graph Data Scie... La voie du succès avec les bases de données de graphes, la Graph Data Scie...
La voie du succès avec les bases de données de graphes, la Graph Data Scie...
 
Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?
 
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
 
Introduction au nouveau moteur de workflow de Microsoft : Flow
Introduction au nouveau moteur de workflow de Microsoft : FlowIntroduction au nouveau moteur de workflow de Microsoft : Flow
Introduction au nouveau moteur de workflow de Microsoft : Flow
 
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
 
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
 
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
 
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
 
Alphorm.com Formation Logpoint SIEM: Le guide complet
Alphorm.com Formation Logpoint SIEM: Le guide completAlphorm.com Formation Logpoint SIEM: Le guide complet
Alphorm.com Formation Logpoint SIEM: Le guide complet
 
Global Office Bootcamp Montreal 2018 Introduction au Microsoft Graph
Global Office Bootcamp Montreal 2018 Introduction au Microsoft GraphGlobal Office Bootcamp Montreal 2018 Introduction au Microsoft Graph
Global Office Bootcamp Montreal 2018 Introduction au Microsoft Graph
 
Les bases de la securité informatique
Les bases de la securité informatiqueLes bases de la securité informatique
Les bases de la securité informatique
 
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
 
AWS Summit Paris - Track 4 - Session 2 - Migration Cloud, modernisation des a...
AWS Summit Paris - Track 4 - Session 2 - Migration Cloud, modernisation des a...AWS Summit Paris - Track 4 - Session 2 - Migration Cloud, modernisation des a...
AWS Summit Paris - Track 4 - Session 2 - Migration Cloud, modernisation des a...
 

Plus de Splunk

.conf Go 2023 - Data analysis as a routine
.conf Go 2023 - Data analysis as a routine.conf Go 2023 - Data analysis as a routine
.conf Go 2023 - Data analysis as a routine
Splunk
 
.conf Go 2023 - How KPN drives Customer Satisfaction on IPTV
.conf Go 2023 - How KPN drives Customer Satisfaction on IPTV.conf Go 2023 - How KPN drives Customer Satisfaction on IPTV
.conf Go 2023 - How KPN drives Customer Satisfaction on IPTV
Splunk
 
.conf Go 2023 - Navegando la normativa SOX (Telefónica)
.conf Go 2023 - Navegando la normativa SOX (Telefónica).conf Go 2023 - Navegando la normativa SOX (Telefónica)
.conf Go 2023 - Navegando la normativa SOX (Telefónica)
Splunk
 
.conf Go 2023 - Raiffeisen Bank International
.conf Go 2023 - Raiffeisen Bank International.conf Go 2023 - Raiffeisen Bank International
.conf Go 2023 - Raiffeisen Bank International
Splunk
 
.conf Go 2023 - På liv og død Om sikkerhetsarbeid i Norsk helsenett
.conf Go 2023 - På liv og død Om sikkerhetsarbeid i Norsk helsenett .conf Go 2023 - På liv og død Om sikkerhetsarbeid i Norsk helsenett
.conf Go 2023 - På liv og død Om sikkerhetsarbeid i Norsk helsenett
Splunk
 
.conf Go 2023 - Many roads lead to Rome - this was our journey (Julius Bär)
.conf Go 2023 - Many roads lead to Rome - this was our journey (Julius Bär).conf Go 2023 - Many roads lead to Rome - this was our journey (Julius Bär)
.conf Go 2023 - Many roads lead to Rome - this was our journey (Julius Bär)
Splunk
 
.conf Go 2023 - Das passende Rezept für die digitale (Security) Revolution zu...
.conf Go 2023 - Das passende Rezept für die digitale (Security) Revolution zu....conf Go 2023 - Das passende Rezept für die digitale (Security) Revolution zu...
.conf Go 2023 - Das passende Rezept für die digitale (Security) Revolution zu...
Splunk
 
.conf go 2023 - Cyber Resilienz – Herausforderungen und Ansatz für Energiever...
.conf go 2023 - Cyber Resilienz – Herausforderungen und Ansatz für Energiever....conf go 2023 - Cyber Resilienz – Herausforderungen und Ansatz für Energiever...
.conf go 2023 - Cyber Resilienz – Herausforderungen und Ansatz für Energiever...
Splunk
 
.conf go 2023 - De NOC a CSIRT (Cellnex)
.conf go 2023 - De NOC a CSIRT (Cellnex).conf go 2023 - De NOC a CSIRT (Cellnex)
.conf go 2023 - De NOC a CSIRT (Cellnex)
Splunk
 
conf go 2023 - El camino hacia la ciberseguridad (ABANCA)
conf go 2023 - El camino hacia la ciberseguridad (ABANCA)conf go 2023 - El camino hacia la ciberseguridad (ABANCA)
conf go 2023 - El camino hacia la ciberseguridad (ABANCA)
Splunk
 
Splunk - BMW connects business and IT with data driven operations SRE and O11y
Splunk - BMW connects business and IT with data driven operations SRE and O11ySplunk - BMW connects business and IT with data driven operations SRE and O11y
Splunk - BMW connects business and IT with data driven operations SRE and O11y
Splunk
 
Splunk x Freenet - .conf Go Köln
Splunk x Freenet - .conf Go KölnSplunk x Freenet - .conf Go Köln
Splunk x Freenet - .conf Go Köln
Splunk
 
Splunk Security Session - .conf Go Köln
Splunk Security Session - .conf Go KölnSplunk Security Session - .conf Go Köln
Splunk Security Session - .conf Go Köln
Splunk
 
Data foundations building success, at city scale – Imperial College London
 Data foundations building success, at city scale – Imperial College London Data foundations building success, at city scale – Imperial College London
Data foundations building success, at city scale – Imperial College London
Splunk
 
Splunk: How Vodafone established Operational Analytics in a Hybrid Environmen...
Splunk: How Vodafone established Operational Analytics in a Hybrid Environmen...Splunk: How Vodafone established Operational Analytics in a Hybrid Environmen...
Splunk: How Vodafone established Operational Analytics in a Hybrid Environmen...
Splunk
 
SOC, Amore Mio! | Security Webinar
SOC, Amore Mio! | Security WebinarSOC, Amore Mio! | Security Webinar
SOC, Amore Mio! | Security Webinar
Splunk
 
.conf Go 2022 - Observability Session
.conf Go 2022 - Observability Session.conf Go 2022 - Observability Session
.conf Go 2022 - Observability Session
Splunk
 
.conf Go Zurich 2022 - Keynote
.conf Go Zurich 2022 - Keynote.conf Go Zurich 2022 - Keynote
.conf Go Zurich 2022 - Keynote
Splunk
 
.conf Go Zurich 2022 - Platform Session
.conf Go Zurich 2022 - Platform Session.conf Go Zurich 2022 - Platform Session
.conf Go Zurich 2022 - Platform Session
Splunk
 
.conf Go Zurich 2022 - Security Session
.conf Go Zurich 2022 - Security Session.conf Go Zurich 2022 - Security Session
.conf Go Zurich 2022 - Security Session
Splunk
 

Plus de Splunk (20)

.conf Go 2023 - Data analysis as a routine
.conf Go 2023 - Data analysis as a routine.conf Go 2023 - Data analysis as a routine
.conf Go 2023 - Data analysis as a routine
 
.conf Go 2023 - How KPN drives Customer Satisfaction on IPTV
.conf Go 2023 - How KPN drives Customer Satisfaction on IPTV.conf Go 2023 - How KPN drives Customer Satisfaction on IPTV
.conf Go 2023 - How KPN drives Customer Satisfaction on IPTV
 
.conf Go 2023 - Navegando la normativa SOX (Telefónica)
.conf Go 2023 - Navegando la normativa SOX (Telefónica).conf Go 2023 - Navegando la normativa SOX (Telefónica)
.conf Go 2023 - Navegando la normativa SOX (Telefónica)
 
.conf Go 2023 - Raiffeisen Bank International
.conf Go 2023 - Raiffeisen Bank International.conf Go 2023 - Raiffeisen Bank International
.conf Go 2023 - Raiffeisen Bank International
 
.conf Go 2023 - På liv og død Om sikkerhetsarbeid i Norsk helsenett
.conf Go 2023 - På liv og død Om sikkerhetsarbeid i Norsk helsenett .conf Go 2023 - På liv og død Om sikkerhetsarbeid i Norsk helsenett
.conf Go 2023 - På liv og død Om sikkerhetsarbeid i Norsk helsenett
 
.conf Go 2023 - Many roads lead to Rome - this was our journey (Julius Bär)
.conf Go 2023 - Many roads lead to Rome - this was our journey (Julius Bär).conf Go 2023 - Many roads lead to Rome - this was our journey (Julius Bär)
.conf Go 2023 - Many roads lead to Rome - this was our journey (Julius Bär)
 
.conf Go 2023 - Das passende Rezept für die digitale (Security) Revolution zu...
.conf Go 2023 - Das passende Rezept für die digitale (Security) Revolution zu....conf Go 2023 - Das passende Rezept für die digitale (Security) Revolution zu...
.conf Go 2023 - Das passende Rezept für die digitale (Security) Revolution zu...
 
.conf go 2023 - Cyber Resilienz – Herausforderungen und Ansatz für Energiever...
.conf go 2023 - Cyber Resilienz – Herausforderungen und Ansatz für Energiever....conf go 2023 - Cyber Resilienz – Herausforderungen und Ansatz für Energiever...
.conf go 2023 - Cyber Resilienz – Herausforderungen und Ansatz für Energiever...
 
.conf go 2023 - De NOC a CSIRT (Cellnex)
.conf go 2023 - De NOC a CSIRT (Cellnex).conf go 2023 - De NOC a CSIRT (Cellnex)
.conf go 2023 - De NOC a CSIRT (Cellnex)
 
conf go 2023 - El camino hacia la ciberseguridad (ABANCA)
conf go 2023 - El camino hacia la ciberseguridad (ABANCA)conf go 2023 - El camino hacia la ciberseguridad (ABANCA)
conf go 2023 - El camino hacia la ciberseguridad (ABANCA)
 
Splunk - BMW connects business and IT with data driven operations SRE and O11y
Splunk - BMW connects business and IT with data driven operations SRE and O11ySplunk - BMW connects business and IT with data driven operations SRE and O11y
Splunk - BMW connects business and IT with data driven operations SRE and O11y
 
Splunk x Freenet - .conf Go Köln
Splunk x Freenet - .conf Go KölnSplunk x Freenet - .conf Go Köln
Splunk x Freenet - .conf Go Köln
 
Splunk Security Session - .conf Go Köln
Splunk Security Session - .conf Go KölnSplunk Security Session - .conf Go Köln
Splunk Security Session - .conf Go Köln
 
Data foundations building success, at city scale – Imperial College London
 Data foundations building success, at city scale – Imperial College London Data foundations building success, at city scale – Imperial College London
Data foundations building success, at city scale – Imperial College London
 
Splunk: How Vodafone established Operational Analytics in a Hybrid Environmen...
Splunk: How Vodafone established Operational Analytics in a Hybrid Environmen...Splunk: How Vodafone established Operational Analytics in a Hybrid Environmen...
Splunk: How Vodafone established Operational Analytics in a Hybrid Environmen...
 
SOC, Amore Mio! | Security Webinar
SOC, Amore Mio! | Security WebinarSOC, Amore Mio! | Security Webinar
SOC, Amore Mio! | Security Webinar
 
.conf Go 2022 - Observability Session
.conf Go 2022 - Observability Session.conf Go 2022 - Observability Session
.conf Go 2022 - Observability Session
 
.conf Go Zurich 2022 - Keynote
.conf Go Zurich 2022 - Keynote.conf Go Zurich 2022 - Keynote
.conf Go Zurich 2022 - Keynote
 
.conf Go Zurich 2022 - Platform Session
.conf Go Zurich 2022 - Platform Session.conf Go Zurich 2022 - Platform Session
.conf Go Zurich 2022 - Platform Session
 
.conf Go Zurich 2022 - Security Session
.conf Go Zurich 2022 - Security Session.conf Go Zurich 2022 - Security Session
.conf Go Zurich 2022 - Security Session
 

Dernier

De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'universitéDe l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
Université de Franche-Comté
 
OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdfOCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO Technology
 
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
OCTO Technology
 
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Laurent Speyser
 
Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024
UNITECBordeaux
 
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
OCTO Technology
 

Dernier (6)

De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'universitéDe l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
 
OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdfOCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
 
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
 
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
 
Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024
 
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
 

SplunkLive! Paris 2018: Getting Data In

  • 1. Getting Data In 27 Mars 2018 Stéphane Lapie | Senior Sales Engineer
  • 2. During the course of this presentation, we may make forward-looking statements regarding future events or the expected performance of the company. We caution you that such statements reflect our current expectations and estimates based on factors currently known to us and that actual events or results could differ materially. For important factors that may cause actual results to differ from those contained in our forward-looking statements, please review our filings with the SEC. The forward-looking statements made in this presentation are being made as of the time and date of its live presentation. If reviewed after its live presentation, this presentation may not contain current or accurate information. We do not assume any obligation to update any forward looking statements we may make. In addition, any information about our roadmap outlines our general product direction and is subject to change at any time without notice. It is for informational purposes only and shall not be incorporated into any contract or other commitment. Splunk undertakes no obligation either to develop the features or functionality described or to include any such feature or functionality in a future release. Splunk, Splunk>, Listen to Your Data, The Engine for Machine Data, Splunk Cloud, Splunk Light and SPL are trademarks and registered trademarks of Splunk Inc. in the United States and other countries. All other brand names, product names, or trademarks belong to their respective owners. ©2018 Splunk Inc. All rights reserved. Forward-Looking Statements
  • 3. © 2018 SPLUNK INC. 1. Architecture de collecte 2. Apps et Technology Add-ons 3. Démos / Exemples 4. Bonnes Pratiques 5. Ressources & Questions Sujets de discussion :
  • 5.
  • 6. Search Heads Interface graphique Forwarders collecte et transport Indexers indexation et calculs Charge de travail et calculs distribués Collecte répartie et flux sécurisés + de données + d’utilisateurs + de sources Sans Agent Architecture de base Comment Splunk fonctionne, vu de haut
  • 7. Qu’est-ce que Splunk peut ingérer ? Exemples de Sources en Entreprise Syslog TCP/UDP Event Logs, Active Directory, OS Stats Unix, Linux and Windows hosts Universal Forwarder Syslog Hosts and Network Devices Local File Monitoring Universal Forwarder Aggregation host Windows Aggregated / API Data Sources Pre-filtering, API subscriptions Heavy Forwarder Mainframes*nix Wire Data Splunk Stream Universal Forwarder or HTTP Event Collector DevOps, IoT, Containers HTTP Event Collector (Agentless) shell API perf
  • 8. Données de Sources Distantes • L’Universal Forwarder collecte des données locales pour les envoyer vers un ou plusieurs Indexers Extensible • Des Milliers de Universal Forwarders peuvent être déployés avec très peu d’impacte sur le réseau et la performance Nombreuses Plateformes Supportées • Disponible pour différents systèmes d’exploitation et architectures processeurs. Empreinte minimale sur les ressources Splunk Universal Forwarder Distribution distincte : https://www.splunk.com/en_us/download/universal-forwarder.html
  • 9. Egalement pour des Sources Distantes • Généralement utilisé pour agréger la donnée avant des firewalls, du routage et/ou filtrage, modular inputs ou la réception d’appels REST (plus d’infos après) “Nœud de Collecte” pour les appels API et scripts • Pour les technologies uniquement accessibles par API et non par une installation locale (AWS, Azure, vmware, …) Support limité aux même plateformes que Splunk Enterprise • Autonome, le Heavy Forwarder est généralement sur une machine virtuelle Quand utiliser un Heavy Forwarder ? Même distribution que pour les Rôles Principaux
  • 10. Directement depuis des Applications • Intégration facile, sécurisée (tokens) et “load-balancer-friendly”, pour envoyer des données directement depuis des applications vers Splunk (JSON ou RAW) Sans Agent • Les données peuvent être envoyées directement aux Indexers, sans Forwarders Supporté par de nombreuses plateformes de développement • Bibliothèques et modules disponibles pour un grand nombre de technologies (Docker, AWS Lambda, Java, C#, …) et sinon par API REST directement Splunk HTTP Event Collector (HEC) Une nouvelle manière de collecter à très grande échelle
  • 12. Collecter avec des Apps & Add-Ons • La première chose à regarder ! Méthode propre et pré-packagée • App = solution complète Composée d’un ou plusieurs "Technology Add-on" • Add-on o Abstraction de la collecte (log file, API, scripted input, HEC) o Contient généralement l’extraction de champs (schémas à la volée) o Contient les fichiers de configuration (props/transforms) et d’éventuels scripts ou outils de collecte 1600+ apps et add-ons: https://splunkbase.com/
  • 13. Où trouver les Apps ? Sur Splunkbase ! https://splunkbase.com/
  • 14. Communauté Importante dev.splunk.com 75,000+ questions and answers 1,600+ apps Local User Groups and SplunkLive! events http://community.splunk.comhttp://answers.splunk.comhttp://splunkbase.com http://dev.splunk.com
  • 16. ▶ Utilisation de l’interface “Prévisualisation de Données” • Chargement d’un Fichier (vous devriez l’avoir fait lors de la session “Getting Started”) ▶ Installation et utilisation d’Apps et Add-ons ▶ Ecoute en continu de Fichiers (avec l’Universal Forwarder) • Sur un répertoire et plusieurs fichiers en temps réel • Architecture de collecte pour des données issues du protocole Syslog Ce que vous aller voir
  • 18. Composants d’un Déploiement Réussi Architecture & Infrastructure Operations & Supporting Tools Staffing Getting Data In User Onboarding Inform
  • 19. ▶ Architecte • Design et optimisation de la plateforme Splunk; distribution et suivi d’échelle ▶ Administrateur • Configuration et maintient en condition de l’infrastructure Splunk ▶ "Search Expert" ou "Ninja" ▶ Développeur d’Apps ▶ Expert Métier • Interprétation des données, classification et enrichissement (contexte) • Travaille avec l’admin pour ajouter les données Responsabilités PrincipalesArch & Infra Ops & Tools Staffing Getting Data In User Onboarding Inform
  • 20. ▶ Etablir le processus d’ajout de nouvelles sources et Apps ▶ Industrialisation et documentation ▶ Interview des clients et suivi ▶ Intégration à l’offre de service Embarquer de Nouvelles Sources Nouvelles Demandes ❑ Obtenir un extrait des données ❑ Avoir une description des données ▪ timestamp | timezone ■ simple/multi-ligne ▪ sourcetype ■ champs importants ❑ Description succincte du/des cas d’usages ▪ recherches | alertes | rapports | dashboards ❑ Quelle méthode de collecte ? ▪ UF | HTTP | syslog | API ❑ Quelle période de rétention ? ❑ Quelles permissions ? ❑ Association au “Common information Model” ▪ Technology Add-on disponible ? ❑ Validation Arch & Infra Ops & Tools StaffingGetting Data In User Onboarding Inform Staffing
  • 21. Mesdames et Messieurs, l’embarquement va commencer ! Check-list : 6 points à vérifier à l’indexation Source Découpage des événements Host Index SourcetypeHorodatage
  • 22. ▶ Rassembler le plus de détails possible : • D’où proviennes les données ? Comment les collecter avec Splunk ? • Quels groupes d’utilisateurs vont en avoir besoin ? Quelles permissions ? • Etablir le volume d’indexation et la période de rétention requise • Qui est le propriétaire ou expert de cette donnée ? ▶ Faites un plan : • Obtenir des extraits “suffisants” pour tester • Assigner un sourcetype existant ou en créer un nouveau • Identifier les canvas et models qui peuvent s’appliquer (CIM compliance) Zoom sur les Nouvelles Demandes
  • 23. ▶ Pour une même source identifiez les différents sourcetypes • Attention : Syslog ce n’est pas un sourcetype ! • (plus de détails dans les slides suivants) ▶ Ne pas réinventer la roue : Utilisez les Apps & Add-on de splunkbase.com ▶ Utiliser un index “test” pour vérifier les paramètres d’indexation • Interface de Prévisualisation • Configuration du sourcetype Zoom sur les Nouvelles Demandes (suite)
  • 24. ▶ Trouver les éventuels problèmes d’indexation en amont ▶ ”Le tester c’est l’adopter!” • Vérifier le bon découpage des événements (event-breaking) • La reconnaissance du timestamp et l’horodatage correct (avec le bon fuseau horaire) • L’anonymisation de certaines informations ▶ Dans la majorité des cas, vous pouvez tout faire sans toucher au fichier props.conf Prévisualisation = Succès
  • 25. Mais si vous devez vraiment le faire… Pensez toujours à ces quelques paramètres dans props.conf [SL17] TIME_PREFIX = ^ TIME_FORMAT = %Y-%m-%d %H:%M:%S MAX_TIMESTAMP_LOOKAHEAD = 19 SHOULD_LINEMERGE = False LINE_BREAKER = ([nr]+) TRUNCATE = 10000
  • 26. ▶ Le “Common Information Model” structure la donnée, sans toucher à l’événement brut ▶ C’est une convention de nommage ▶ Normaliser et catégoriser les informations permet de s’abstraire de la source et de faire des analyses “agnostiques” ▶ Les données “CIM-compliant” peuvent être utilisées par des Apps existantes (ES, PCI, Web Proxies, …) Qu’est-ce que le CIM, et pourquoi c’est utile ?
  • 27. ▶ Syslog est un protocole, pas un vrai sourcetype • Ce protocole embarque généralement plusieurs sourcetypes ▶ Quand il y a beaucoup de flux différents, il est préférable de les recevoir en amont de Splunk, sur un serveur dédié (syslog-ng, rsyslog, …) • Utilisez un UF ou HEC pour transporter les donnés vers Splunk :  Pour assurer une bonne répartition de la charge et du stockage  Pour sécuriser les flux et maitriser la bande passante  Ségréguer les composants en cas d’incident ▶ Voir : https://www.splunk.com/blog/2017/03/30/syslog-ng-and-hec-scalable-aggregated-data- collection-in-splunk.html pour plus d’infos Réfléxion à propos de Syslog
  • 29. https://splunkbase.com/app/2962/ ▶ Pour collecter par REST API, Scripts ou Modular Inputs ▶ Interface guidée et certification de vos Add-ons • De l’ajout de données jusqu’à la configuration des schémas et l’association au CIM Add-on Builder!
  • 30. ▶ Videos! https://www.splunk.com/view/SP-CAAAGB6 ▶ E-Learning https://www.splunk.com/view/SP-CAAAPX9 ▶ Getting Data In – Splunk Docs http://docs.splunk.com/Documentation/Splunk/latest/Data/WhatSplunkcanmonitor ▶ Getting Data In – Dev Manual (très exhaustif) http://dev.splunk.com/view/dev-guide/SP-CAAAE3A ▶ .conf Sessions http://conf.splunk.com/sessions/2017-sessions.html ▶ GOOGLE ;) Où aller pour en apprendre plus ?
  • 31. .conf18: Monday, October 1 – Thursday, October 4 Splunk University: Saturday, September 29 – Monday, October 1 ORLANDO, FLORIDA Walt Disney World Swan and Dolphin Resort
  • 33. © 2018 SPLUNK INC. N’oubliez pas de noter cette session sur surveymonkey.com/r/SLParis2018 Merci !