Chapitre2 prise en_main_kibana

992 vues

Publié le

E learning log processing chapitre 2

Publié dans : Données & analyses
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
992
Sur SlideShare
0
Issues des intégrations
0
Intégrations
221
Actions
Partages
0
Téléchargements
28
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Chapitre2 prise en_main_kibana

  1. 1. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Comme nous l’avons vu dans le chapitre 1, Kibana est l’outil principal permettant l’analyse des logs. Le cours qui va suivre porte sur la version 3 de Kibana, sachant qu’une version 4 apportant des améliorations fera son apparition prochainement. Mais pas de panique, l’approche contextuelle reste bien entendu la même. Kibana
  2. 2. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Kibana, Concepts de base :
  3. 3. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  4. 4. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Onglet General : Title : le titre du panel dans le dashboard. Span : La largeur du panel dans le dashboard, Cocher la propriété Editable revient à rendre le panel modifiable. Inspect revient à autoriser la consultation du code source associé au panel. Panel Histogram : Configuration
  5. 5. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Onglet Panel Values : fonctions de regroupement des données : count, max, min, mean, total Transform Series : intervalle en s, afficher la dérivée (Derivative) de la courbe et prendre en compte les zeros (Zero fill) Time Options : - Le champ qui doit être pris en compte pour l’échelle - La Timezone qui correspond à celle du navigateur ou UTC - Le paramétrage de l’échelle de temps auto ou pas - La Résolution en nombre d’enregistrements verticaux
  6. 6. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Onglet Style Chart Options : Présentation par Bars, Lines ou Points de l’histogramme. xAxis et Yaxis pour l’affichage en abscisse et ordonnée. Selectable permet de rendre consultable une partie de l’histogram. Y Format : None, short ou bytes
  7. 7. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Multiple Series : Stack permet de cumuler les séries sur un même histogramme. On peut alors faire le choix d’exprimer les valeurs soit par dénombrement (Stack), soit par pourcentage d’une série par rapport au total des séries représentées. ( Cumulative ou Individual) Header / Legend: Header : Activer le bouton Zoom sur l’histogramme. View permet de créer un raccourci pour la mise en forme de l’histogramme Legend : Legend permet d’afficher la légende. S’il n’y a pas de légende, on peut afficher la requête correspondante grâce au champ Query. Counts permet de comptabiliser le nombre d’entrées pour chaque type d’enregistrement de l’histogramme.
  8. 8. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Grid : Min / Max : Permet de gérer l’échelle au niveau des valeurs min et max (valeur numérique) Recommandé : Laisser en Auto, pour des changements dynamiques.
  9. 9. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Histogram : Bars Panel Histogram : Lines
  10. 10. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  11. 11. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Onglet General : Title : le titre du panel dans le dashboard. Span : La largeur du panel dans le dashboard, Cocher la propriété Editable revient à rendre le panel modifiable. Inspect revient à autoriser la consultation du code source associé au panel. Panel Table : Configuration
  12. 12. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Terms mode : Field : Le champ sur lequel porte la Table Lenght: Le nombre de lignes de la Table Order: Count, ordre alphabétique Exclude: Permet d’ignorer les enregistrements du champ concerné qui est renseigner dans Field et dont le libellé correspond à la valeur saisie.
  13. 13. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Table :
  14. 14. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  15. 15. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Page globale Kibana 3 : -Query : Permet de fixer les éléments à considérer dans l’analyse Peut etre un rang, une valeur numérique, une chaine de caractères Critères multiples possibles -Filtering : Permet de mettre en place des critères de tri des données : -MUST / MUST NOT -Porte sur un champ -Porte sur la valeur d’un champ, un intervalle de valeurs -Possibilité de filtres multiples
  16. 16. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Chaque dashboard est constitué de rows. Ces rows se présentent comme ci-contre (ici sous leur forme la plus réduite au nombre de 6). Chaque row va pouvoir mettre en avant des critères d’analyse via des panels. On peut ajouter facilement une row grâce au bouton Il suffit ensuite d’ajouter simplement le nom d’une ligne et sa taille (Cf page suivante).
  17. 17. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING En cliquant sur , on peut visualiser les différentes lignes, les organiser et en ajouter une tout simplement à droite du panneau de visualisation comme expliqué précédemment.
  18. 18. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configurer une ligne de dashboard : Une fois la ligne créée, il faut la configurer : panels, etc… Pour cela, chaque ligne dispose à partir de sa création un micro panneau latéral comme ci-dessous : Collapse Raw : Réduit la ligne au minimum comme vu précédemment (uniquement le nom). Configure Raw : Utile pour réordonner des panels, en ajouter, définir leur taille. Add Panel : Raccourci pour la même fonctionnalité que l’ajout dans l’option Configure Raw. Il suffit ensuite de créer des panels en suivant les explications pour chaque type de panel.
  19. 19. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configuration générale d’un dashboard : La configuration se fait par le menu en haut à droite du dashboard : On y retrouve : -l’intervalle de temps pour lequel on veut les données. -Un bouton Refresh. -Bouton d’accueil du portail Kibana. -Bouton Load pour accéder aux dashboards d’un même portail. -Bouton Save pour sauvegarder les modifications -Bouton Share pour partager un dashboard via URL. -Bouton principal : Configure Dashboard
  20. 20. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Onglet General - Titre du dashboard - Style graphique : Dark/White - Editable : A cocher pour autoriser les modifications du dashboard - Hints permet l’affichage d’une suggestion d’ajout de panneau aux emplacements vides.
  21. 21. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Onglet Index - Default Index : Alias du Dashboard
  22. 22. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Onglet Index - Propriétés de sauvegarde : export, navigateur ou encore Elasticsearch - Propriétés d’upload via fichier, ou Elasticsearch - Propriétés de partage : Durée durant laquelle le partage est actif
  23. 23. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Onglet Timepicker - Options d’intervalle pour analyse ( ne dois pas dépasser la rétention des logs) - Paramétrage de l’auto-refresh du dashboard pour visualiser les nouvelles données (ne pas le mettre trop court pour des volumes importants) - Champ sur lequel porte les critères de temps (par défaut @timestamp). Le modifier uniquement si un changement de variable a été effectué.
  24. 24. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Gestion des échelles L’option Scale permet de gérer la mise à une échelle. Ici on divise par 1000 les valeurs pour avoir des valeurs plus significatives en ordonnée. On passe donc d’un maximum de 6000 ms à 6s.
  25. 25. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Gestion des échelles Le fait de passer l’option YFormat en type Short va permettre un autre type de simplifications des graphiques : Elle va permettre d’afficher les ordonnées en format simplifié. Exemple ici, 15 000 se transforme en 15 K.
  26. 26. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  27. 27. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Style : Bars, pie, list, total Legend : Position de la légende List Format : Horizontal ou Vertical Queries : choix habituel Panel Hits : Configuration
  28. 28. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Hits : Bars Panel Hits : Pie
  29. 29. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  30. 30. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Style : Bars, pie, table Legend : Position de la légende Legend Format : Horizontal ou Vertical Queries : choix habituel Panel Terms : Configuration Terms_mode: Terms ou Terms_stats Field : Le champ que l’on souhaite traiter Order : Count, Term ou inversé On peux également exclure des termes que l’on ne veut pas voir apparaître, séparés par une virgule. (Exclude Terms)
  31. 31. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Terms : Pie Panel Terms : Bars Panel Terms : Table
  32. 32. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  33. 33. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Queries : choix habituel Panel Bettermap: Configuration Coordinate Field : geoip.location Tooltip Field : Le champ qui est mis en valeur lorsque l’on place le pointeur de la souris. Max Points : Le nombre de points à prendre en compte. Le fixer au nombre d’enregistrements (nombre de hits).
  34. 34. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Bettermap
  35. 35. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  36. 36. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Panel Text : Configuration Mode : Text, HTML, Markdown (langage de balise semblable à HTML) Content : Le texte que l’on souhaite saisir.
  37. 37. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Text NB : Possibilité d’insérer des liens href, etc …
  38. 38. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  39. 39. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Style : Bars, pie, table Legend : Position de la légende Legend Format : Horizontal ou Vertical Queries : choix habituel Panel Map : Configuration Field : Le champ sur lequel porte la synthèse du panel Max : Le nombre de valeurs que l’on souhaite prendre en compte Map : Le choix du planisphère : Monde, Europe et USA
  40. 40. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Map
  41. 41. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  42. 42. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Panel Trends : Configuration Time Ago: Délai pour la mise en place de l’échelle Font Size : Taille de la police d’écriture List Format : Format de la liste (vertical ou horizontal) Reverse Colors : Inversion des couleurs rouge et vert (uniquement pour aspect graphique)
  43. 43. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Trends
  44. 44. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  45. 45. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Panel Sparklines: Configuration Chart Value : Count, Term ou inversé Time Field : Le champ que l’on souhaite traiter Derivative : Afficher la dérivée ou affichage classique
  46. 46. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Sparklines

×