Mastering Kubernetes, Juli 2022, Franz Wimmer (@zalintyre, Senior Software Engineer bei QAware). == Dokument bitte herunterladen, falls unscharf! Please download slides if blurred! == Cloud Observability mit Loki, Prometheus, Tempo und Grafana Observability ist eine entscheidende Komponente jeder ernsthaften Kubernetes-basierten Plattform. Nur so können der zuverlässige Betrieb Cloud-nativer Anwendungen und das schnelle Debugging kniffligster Probleme, die nur in der Produktionsumgebung auftreten, durch die Entwickler gewährleistet werden. Die wesentlichen Säulen guter Observability sind Logs, Metriken und Traces. Es gibt eine große Anzahl kommerzieller Tools und SaaS-Anbieterr, welche die Aggregation und Analyse der relevanten Diagnosedaten unterstützen. In diesem Vortrag verwenden wir hingegen einen vollständig auf Open-Source-Bausteinen basierenden Stack: Promtail zum Weiterleiten von Logs an Loki, Prometheus zum Sammeln von Metriken und Tempo zum Empfangen von Traces. Wir zeigen zudem, wie mit der neuen Exemplars-Storage-Funktion der schnelle Übergang von Metriken zu Traces und Logs möglich wird.

1. qaware.de
Cloud Observability mit Loki,
Prometheus, Tempo und Grafana
Franz Wimmer
franz.wimmer@qaware.de
@zalintyre @zalintyre.chaos.social

2. Franz Wimmer
Senior Software Engineer @ QAware GmbH
Seit 4 Jahren bei QAware
Studium Informatik an der TH Rosenheim
Vorlesung “Cloud Computing” @ TH Rosenheim
Entwicklung von Cloud Native Applications
DevOps Engineer
Public Speaking *
QAware | 2
* https://codefoundry.de/talks.html

3. Was ist eigentlich Observability?
Wie gut weiß ich über den internen Zustand meines Systems Bescheid, wenn
ich mir seine Ausgaben ansehe? (vgl. [Kal])
Was hat so ein modernes System als Ausgabe?
■ Eine Webseite?
■ Eine REST-API?
■ E-Mails an den Admin?
■ Ein spärlich gepflegtes Logfile?
Was ist, wenn das System aus vielen Microservices besteht?
QAware | 3

4. Was ist eigentlich Observability?
“Observability” meint heute typischerweise drei Themen:
■ Logs
■ Metriken
■ Traces
Alles zusammen ermöglicht einen Einblick auch in verteilte Microservices.
QAware | 4

5. Warum Observability?

6. Damals
Der Monolith
QAware | 6

7. Heute
Die Microservices
QAware | 7

8. [ ]
Der (Open-Source-)Stack
QAware | 8

9. Metriken:
Prometheus

10. Prometheus
QAware | 10
Zeitreihendatenbank für Echtzeitmetriken
PromQL für mächtige Queries
Alerting inklusive!
Seit: 2012
Lizenz: Apache 2.0

11. Metriken: Grundlagen
QAware | 11
Metriken sind Messwerte, die den aktuellen Zustand des Systems abbilden.
Beispiele:
■ CPU-Auslastung
■ Größe des JVM-Heaps
■ Anzahl der Aufrufe einer Schnittstelle
Die Metriken werden vom zu überwachenden System bereitgestellt.
Metriken können auch Metadaten haben.

12. Metriken: Grundlagen
QAware | 12
# HELP process_open_fds Number of open file descriptors.
# TYPE process_open_fds gauge
process_open_fds 8
# HELP process_resident_memory_bytes Resident memory size in bytes.
# TYPE process_resident_memory_bytes gauge
process_resident_memory_bytes 2.326528e+07
# HELP process_start_time_seconds Start time of the process since unix epoch
in seconds.
# TYPE process_start_time_seconds gauge
process_start_time_seconds 1.65566242485e+09
# HELP process_virtual_memory_bytes Virtual memory size in bytes.
# TYPE process_virtual_memory_bytes gauge
process_virtual_memory_bytes 1.782685696e+09
Im Grafana-Universum ist Prometheus
für die Metriken zuständig.
Prometheus zieht alle 15s Metriken von
allen konfigurierten Zielen.
Der Transport erfolgt meist über
HTTP: GET /metrics
Hier passiert noch keine Aggregation.
Dafür ist der Konsument zuständig.

13. Metric Types
QAware | 13
Metriken haben verschiedene Typen, um Daten abzubilden:
■ Counter
Eine Zahl, die entweder inkrementiert oder zurückgesetzt werden kann.
■ Gauge
Eine Metrik, die sich beliebig nach oben oder unten verändern kann.
■ Histogram
Werte in “Buckets” - z.B. die Dauer von Requests
■ Summary
Ähnlich zum Histogram, fasst Werte zusammen

14. PromQL
QAware | 14
PromQL ist eine mächtige Query Language, um die gewünschten Metriken zu filtern / aggregieren.
Die ganze Zeitreihe:
http_requests_total
Filter nach Labels:
http_requests_total{job="apiserver", handler="/api/comments"}
Rate berechnen:
rate(http_requests_total[5m])[30m:1m]

15. Prometheus: Architektur
QAware | 15
Bild: https://prometheus.io/docs/introduction/overview/

16. Konfiguration (Anwendung)
Beispiel: Quarkus & Micrometer
QAware | 16
# Gradle:
implementation("io.quarkus:quarkus-micrometer-registry-prometheus")
# Maven:
<dependency>
<groupId>io.quarkus</groupId>
<artifactId>quarkus-micrometer-registry-prometheus</artifactId>
</dependency>

17. Konfiguration (Anwendung)
Beispiel: microprofile-metrics
QAware | 17
@Gauge(unit = MetricUnits.NONE, name = "queueSize")
public int getQueueSize() {
return queue.size;
}
# Gradle
implementation("io.quarkus:quarkus-smallrye-metrics")
# Maven
<dependency>
<groupId>io.quarkus</groupId>
<artifactId>quarkus-smallrye-metrics</artifactId>
</dependency>

18. Konfiguration (Prometheus)
Die Metriken einsammeln
QAware | 18
global:
scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
scrape_configs:
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: "prometheus"
static_configs:
- targets: ["localhost:9090"]
- job_name: "Saturn node exporter"
scheme: https
static_configs:
- targets: ["saturn.qaware.de"]
basic_auth:
username: "*******************"
password: "*******************"

19. Logs:
Loki

20. Loki
QAware | 20
Jedes System hat Logs. Aber immer in einem anderen Format.
Loki ist der Log-Aggregator im Grafana-Ökosystem.
Passiver Log-Speicher - Logs müssen anders beschafft werden.
Promtail wird möglichst lokal installiert und schiebt die Logs zu Loki.
Seit: 2018
Lizenz: AGPL 3.0

21. Architektur
QAware | 21
Bild: https://grafana.com/oss/loki/

22. Promtail-Deployment: Helm
QAware | 22
apiVersion: v2
name: promtail
version: 1.0.0-SNAPSHOT
description: Chart to deploy grafana promtail
dependencies:
# https://github.com/grafana/helm-charts/blob/main/charts/promtail/Chart.yaml
- name: promtail
version: 3.11.0
repository: https://grafana.github.io/helm-charts
promtail:
# https://github.com/grafana/helm-charts/blob/main/charts/promtail/values.yaml
config:
snippets:
pipelineStages:
# not cri, because we're running in minikube with docker runtime
- docker: {}
lokiAddress: http://loki.loki:3100/loki/api/v1/push

23. Promtail-Deployment: Classic
QAware | 23
clients:
- url: "https://loki.qaware.de/loki/api/v1/push"
basic_auth:
username: loki
password: ****************
scrape_configs:
- job_name: journal
journal:
json: true
max_age: 12h
labels:
host: saturn
job: systemd-journal
relabel_configs:
- source_labels: ['__journal__systemd_unit']
target_label: 'unit'
Vorsicht: Labels nicht zu dynamisch verteilen!
https://grafana.com/blog/2020/04/21/how-labels-in-loki-can-make-log-queries-faster-and-easier/

24. LogQL
QAware | 24
Auch Loki hat eine eigene Query Language.
count_over_time({foo="bar"}[1m]) > 10
{host="$host", job="systemd-journal"}
| json
| line_format "{{ .unit }}: {{ .MESSAGE }}"
|= "$search"

25. Traces:
Tempo

26. Tempo
QAware | 26
Traces im Grafana-Ökosystem!
SDKs für verschiedene Plattformen
Kompatibel zu verschiedenen Tracing Agents:
■ Jaeger
■ Zipkin
■ Opentracing
■ Opentelemetry
Seit: 2020
Lizenz: AGPL 3.0

27. Architektur
QAware | 27
Bild: https://grafana.com/docs/tempo/latest/getting-started/

28. Traces: Grundlagen
QAware | 28
Traces visualisieren, welche Wege ein Request durch die Microservices genommen hat…
… und wo vielleicht ein Fehler passiert ist!

29. Traces: Grundlagen
QAware | 29
Bild: https://grafana.com/blog/2021/09/23/intro-to-distributed-tracing-with-tempo-opentelemetry-and-grafana-cloud/

30. Metriken und Traces verbinden?
Exemplars!
QAware | 30
Unterstützt z.B. in Micrometer 1.9
Bild: https://grafana.com/blog/2021/03/31/intro-to-exemplars-which-enable-grafana-tempos-distributed-tracing-at-massive-scale/

31. Visualisierung:
Grafana

32. Grafana
QAware | 32
Visualisierung für viele verschiedene Datenquellen:
■ Prometheus
■ Loki
■ Tempo
■ InfluxDB
■ ...
Seit: 2014
Lizenz: AGPL 3.0

33. Dashboards
QAware | 33
Daten aller Art werden in Dashboards visualisiert.

34. Grafana - Dashboards
QAware | 34
Keine Angst: Man muss Dashboards nicht mühsam selbst zusammenklicken.
https://grafana.com/grafana/dashboards/

35. Showcase

36. Mehr aus dem Grafana-Universum

37. k6
QAware | 37
Lasttests? k6!
Gebaut mit Go - die Tests werden in JavaScript geschrieben.
Testergebnisse landen in einer InfluxDB - visualisiert wird mit Grafana.

38. Further reading
QAware | 38
Blog: https://blog.qaware.de/posts/cloud-observability-grafana-spring-boot/
Showcase: https://github.com/zalintyre/cloud-observability-grafana-spring-boot
Grafana: https://grafana.com/
Prometheus: https://prometheus.io/
Loki: https://grafana.com/oss/loki/
Tempo: https://grafana.com/oss/tempo/
k6: https://github.com/grafana/k6

39. Quellen
QAware | 39
[Kal] R.E. Kalman,
On the general theory of control systems,
IFAC Proceedings Volumes,
Volume 1, Issue 1,
1960,
Pages 491-502,
ISSN 1474-6670,
https://doi.org/10.1016/S1474-6670(17)70094-8.
(https://www.sciencedirect.com/science/article/pii/S1474667017700948)

40. qaware.de
QAware GmbH
Aschauer Straße 32
81549 München
Tel. +49 89 232315-0
info@qaware.de
twitter.com/qaware
linkedin.com/company/qaware-gmbh
xing.com/companies/qawaregmbh
slideshare.net/qaware
github.com/qaware