PKR-Lab

60060 - Monitoring und Alerting — Hintergründe

Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-core/6-hintergruende/60060-monitoring-und-alerting.md

Monitoring und Alerting — Hintergründe

Begründungen zu argocd/apps/tech/monitoring/ (VictoriaMetrics, Grafana, Alertmanager, Scrapes, Regeln), zum Logging-Stack und zu den
Anbindungen nicht-clusterinterner Hosts. Betrieb und Fehlersuche: 300q0. Bedienung: 20060,
20050, 300j0.
Die Push-Seite auf den Hosts (Rolle vmagent) steht in 60020.
Übersicht dieser Kategorie: 60000.


Alertmanager-Routing

InfoInhibitor landet im Blackhole, Watchdog geht an den Telefon-Caller. Alle übrigen Alerts werden nur zugestellt, wenn eine der folgenden Routen passt:

Bedingung Empfänger
nur alertname=Watchdog Webhook /watchdog am Telefon-Caller (10020), jede Minute
page=true Webhook /alert am Telefon-Caller (Anruf), zusätzlich zu den folgenden Routen (continue: true)
severity=critical ntfy /Home-Lab (iOS-Push) über die ntfy-bridge: Der Alertmanager sendet an http://ntfy-bridge.ntfy-bridge.svc.cluster.local:8080/alert, die Bridge erzeugt je Alarm eine ntfy-Nachricht
nur alertname=BananaPiAlarmmonitorDown n8n-Webhook des Workflows „Banana-Pi-Down → Zammad-Ticket“ (30020)

Lautstärke der ntfy-Meldungen

Anlass am 2026-10-11: Auf dem Handy kamen rund 65 bis 175 ntfy-Nachrichten am Tag an (Zähler messages_published des ntfy-Servers). Im Cache des Topics Home-Lab standen 64 Nachrichten aus knapp 10 Stunden: 32 DeploymentUnavailable, 18 TooHighMemoryUsage,
8 HostHighTemperature, 4 worker-*Down, 2 ArgoAppDegraded, davon rund 40 % „✅ erledigt“. Gewünscht ist: nur melden, was wirklich kritisch ist, nicht kurze Spitzen. Folgende Stellschrauben wurden gedreht:

Änderung Begründung
HostHighTemperature: max by (host) (node_hwmon_temp_celsius) >= 95 für 3 Minuten (vorher: je Sensor, ab 80 °C für 1 Minute) Der Homeserver hat rund 17 Sensoren, jeder konnte einzeln auslösen, und der Alertmanager-Webhook wird von der ntfy-Bridge pro Alarm in eine Nachricht aufgelöst. Gemessen über 7 Tage (VictoriaMetrics, 30-s-Auflösung, höchster Sensor): ab 80 °C gab es 704 Phasen von mindestens 1 Minute (die CPU springt kurz auf Spitzen und fällt wieder), ab 90 °C und 3 Minuten 7, ab 93 °C 1, ab 95 °C und 3 Minuten keine. Der thermal_watchdog schaltet bei 100 °C nach 90 Sekunden ab und schickt davor eine eigene ntfy-Meldung (Topic Home-Lab-System). 95 °C über 3 Minuten ist also die Vorwarnung, die nur bei einer echten Dauerlage kommt. Der NAS erreicht höchstens 63 °C.
DeploymentUnavailable und StatefulSetUnavailable: for von 1 auf 5 Minuten Jeder Rollout einer App mit strategy: Recreate (isc-news-bot, alert-caller, …) hat kurz keinen verfügbaren Pod und löste nach 1 Minute aus, dazu kam das Auf und Ab beim Abbau von Authentik. Fünf Minuten ohne Pod sind ein echter Ausfall. Die Erkennung verzögert sich um 4 Minuten.
Standardregel TooHighMemoryUsage (VictoriaMetrics): severity: warning, for: 15m (vorher critical, 5 min) über defaultRules.rules.TooHighMemoryUsage.spec in values.yaml Die Regel hat nicht fälschlich ausgelöst, sondern lag an ihrer Schwelle: Der vmsingle-Pod nutzte am Testtag 906 MiB von 1024 MiB (83 %, Spitze der letzten 24 h: 91 %) und die Regel springt bei 80 %. Als warning erscheint sie weiter in Alertmanager und Grafana, geht aber nicht mehr als Push raus. Das Grundproblem bleibt: vmsingle sitzt knapp unter seinem Speicherlimit. VictoriaMetrics richtet seine Caches nach dem Limit (memory.allowedPercent: 60), mehr Limit kann deshalb zu mehr Verbrauch führen. Entweder resources.limits.memory erhöhen und beobachten, oder allowedPercent senken. Der Override kommt über den Sync-Job des Charts (rules.rules in dessen ConfigMap), erst der nächste Sync wendet ihn auf die VMRule …-rule-vm-health an.
Standardregeln AlertmanagerFailedToSendAlerts und AlertmanagerClusterFailedToSendAlerts: for: 20m (vorher 5 min) über defaultRules.rules.<Name>.spec in values.yaml Der Watchdog sendet jede Minute an den externen Dead-Man-Switch (100.123.214.4, über Tailscale). Die Regeln teilen die Fehler durch alle Zustellungen über ein 15-min-Fenster und lösen ab 1 % aus. Schon ein einzelnes Timeout reicht dafür, die critical-Variante ging am 2026-11-16 um 02:07Z deshalb als Push raus (in 7 Tagen 17 solcher Timeouts). Mit for: 20m bleibt ein einzelner Fehlversuch unter der Schwelle, eine dauerhaft nicht erreichbare Gegenstelle meldet sich nach 20 min.
ntfy-Receiver: send_resolved: false Die „✅ erledigt“-Nachrichten machten rund 40 % der Menge aus. Wer wissen will, ob ein Alarm vorbei ist, sieht es in Grafana oder im Alertmanager. Wieder einschalten: send_resolved: true beim Receiver ntfy.

Nicht angefasst, aber als Hebel vorhanden: Die ntfy-Bridge schickt bei jeder Änderung einer Alarm-Gruppe alle Alarme der Gruppe erneut (eine Nachricht je Alarm im Webhook-Body), auch die bereits gemeldeten. Ein Zwischenspeicher nach Fingerprint in ntfy-bridge würde das abstellen. Der Telefon-Weg (phone)
ist davon nicht betroffen: Er meldet je Gruppe erst nach der Pause (CALL_COOLDOWN) erneut.

Telefon-Alarm

Bedienung und Einrichtung: 10020. Der Caller als Chart: 60040, als Ansible-Rolle für eine externe VM: 60020.

Routing (argocd/apps/tech/monitoring/values.yaml)

Regeln in vmrule-paging.yaml (alle vier am 2026-10-11 gegen den Live-VictoriaMetrics abgefragt, keine feuerte)

Regeln (VMRule)

Regel Begründung
vmrule-controlplane-1 Verfügbarkeit des zweiten k3s-Servers. Ohne Cordon-Ausnahme: Die Vorgängerregel worker-0Down nahm Nodes aus, die kube_node_spec_unschedulable == 1 meldeten, weil der Power-Manager worker-0 meistens ausgeschaltet ließ. controlplane-1 läuft dauerhaft und trägt ein etcd-Mitglied, jede Abwesenheit ist ein Befund. absent(…== 1) statt == 0 auf die Ready-Condition, damit auch ein aus dem Cluster entfernter Node feuert. Zusätzlich ControlPlane1MemoryRequestsHigh: Der weiche Taint (PreferNoSchedule) hält ungepinnte Pods nicht sicher fern, die Warnung kommt, wenn die Memory-Requests auf dem Node mehr als die Hälfte der zuweisbaren Menge belegen (controlPlane1.memoryRequestsRatio).
vmrule-etcd Zwei Mitglieder tragen kein Ausfallrisiko des Datastores, deshalb schauen die Regeln auf Leader, erreichbare Mitglieder (count(up{job="k3s-etcd"} == 1) < etcd.expectedMembers, der Sollwert steigt mit ControlPlane-2 auf 3), aktive Peers, Leaderwechsel, WAL-fsync (p99 über 500 ms) und die Datenbankgröße gegen das Kontingent. Keine Regeln für die Snapshot-Kopie: Das node-exporter-DaemonSet läuft ohne den systemd-Collector (node_systemd_* fehlt auf den Hosts, geprüft am 2026-11-05), eine Regel auf node_systemd_unit_state oder node_systemd_timer_last_trigger_seconds würde nie feuern. Stattdessen meldet das Kopier-Skript Fehler selbst per ntfy (Rolle k3s, Priorität 4), ausbleibende Läufe fallen damit nicht auf. Die Default-Regelgruppe etcd und kubeEtcd des Charts bleiben aus: Sie erwarten Prometheus-Standardlabels, die k3s nicht liefert. Die Metriken kommen über etcd-expose-metrics auf Port 2381 (vmstaticscrape-etcd).
vmrule-paging (Telefon-Alarm) Die einzigen Regeln mit dem Label page: "true". Begründungen je Regel: Abschnitt Telefon-Alarm.
vmrule-argocd (GitOps-Gesundheit) Anlass: Die Sync-Operation von monitoring hing vom 2026-09-15 bis 2026-09-19 unbemerkt (sie wartete auf einen nie gesunden DaemonSet), aufgefallen ist es nur von Hand. Grundlage sind die Metriken des application-controller (argocd_app_info mit health_status, sync_status, operation, Scrape in vmscrape-argocd.yaml). Das Label operation ist leer, solange keine Sync-Operation läuft. Der Controller-Pod öffnet den Port metrics (8082) immer, und die NetworkPolicy argocd-application-controller erlaubt Zugriff aus jedem Namespace, dafür ist keine Änderung an ArgoCD nötig. Erfasst wird der Hub (TECH + PROD), der separate ENTW-ArgoCD (eigener Cluster) nicht. Alle Alerts laufen über die vorhandene Route (Gotify + ntfy).
vmrule-cronjobs (Backups) Alert, wenn der letzte erfolgreiche Lauf zu lange her ist. Bewusst nicht kube_job_status_failed > 0: Fehlgeschlagene Jobs bleiben in der Historie stehen und würden nach der Reparatur weiter feuern. Anlass: Die Authentik-Backups schlugen in den Nächten auf den 17. und 18.09.2026 fehl (BackoffLimitExceeded) und wurden nur zufällig bemerkt. Datensicherungen laufen täglich (nachts), nach 30 h ohne Erfolg fehlt mindestens eine Sicherung. Gilt für den Hub-Cluster (TECH), kube-state-metrics-Daten anderer Cluster sind nicht enthalten.
vmrule-capulus-backups Backups, die der capulus-operator verwaltet. Die erzeugten CronJobs heißen wie die App (z. B. vaultwarden), BackupJobStale filtert auf backup im Namen und erfasst sie deshalb nicht. CapulusBackupStale (über 30 h ohne Erfolg) und CapulusBackupFailed (letzter Lauf fehlgeschlagen, greift auch ohne je erfolgreichen Lauf) nehmen pausierte Backups aus (capulus_backup_suspended). CapulusBackupOperatorDown meldet fehlende Metriken des Operators, 600c0
vmrule-banana-pi (Ausfall des Alarmmonitors) Host-Ebene, unabhängig vom App-Level-Heartbeat in alamos-apager (der nur ntfy auslöst). absent_over_time statt up == 0: Der Pi wird nicht vom Cluster gescrapt (Pods haben keinen Pfad zu Tailscale-Peers), sondern pusht seine Metriken per remote_write. Fällt er aus, wird up nicht auf 0 gesetzt (das setzte eine laufende Scrape-Verbindung voraus), die Zeitreihe hört einfach auf und gilt nach der Staleness-Frist als fehlend. up == 0 würde deshalb nie feuern. absent_over_time erkennt „seit 10 Minuten kein einziger Sample mehr“ (Pi oder Push-Pfad down). for: 10m ist bewusst träge (deutlich über einem kurzen Reboot), damit nicht jeder Neustart ein Ticket erzeugt. severity=critical löst die bestehenden Routen (Gotify, ntfy) und die n8n-Route aus.
vmrule-temperature Vorwarnung kurz vor dem Abschalten: Der heißeste Sensor eines Hosts (max by (host), eine Meldung je Host statt einer je Sensor) liegt mindestens 3 Minuten lang bei 95 °C. Vorher stand die Schwelle bei 80 °C für 1 Minute, das löste bei den Lastspitzen des Homeservers dauernd aus (Begründung: Lautstärke der ntfy-Meldungen). severity: critical geht an ntfy. Das eigentliche Herunterfahren bei 100 °C läuft nicht über diesen Alert, sondern über den lokalen thermal_watchdog auf dem Host, der auch dann noch funktioniert, wenn der Cluster wegen der Hitze schon klemmt (60020).
vmrule-host-services (JournalUploadFailed) node_systemd_unit_state{name="systemd-journal-upload.service", state="failed"} == 1 seit 15 Minuten, severity: warning. Anlass: Der Journal-Upload war auf dem Homeserver vom 2026-10-02 bis 2026-10-18 und auf worker-1 und beiden Pis ausgefallen, ohne dass es jemand merkte; die Host-Logs fehlten in VictoriaLogs. Als Metrik des node_exporter-Systemd-Collectors unabhängig von VictoriaLogs selbst. Warnstufe, weil warning nur im Alertmanager-Verlauf und nicht per ntfy ankommt (Abschnitt Lautstärke der ntfy-Meldungen). Wiederherstellung: 60020.
vmrule-resources Reine Warnstufen (severity: warning, werden seit dem Entfernen von Gotify nirgends zugestellt). Die Shutdown-Schwellen für CPU/RAM (90 %) laufen nicht über Alertmanager, sondern über den lokalen resource_watchdog.
k3s-Komponenten Regeln für controller-manager, scheduler und etcd sind deaktiviert: Sie laufen im einen k3s-Serverprozess und sind nicht als eigene Pods erreichbar (an 127.0.0.1 gebunden, kube-proxy ist eingebaut, k3s nutzt eine eingebettete SQLite-Datenbank, es gibt kein etcd). Gescrapt wird nur, was k3s tatsächlich exponiert.

Schlafende Hosts und Inhibit-Regeln

worker-1 ist im Normalbetrieb aus (Cluster-Power-Manager: cordon, drain, poweroff), die Infotafel wird zeitgesteuert heruntergefahren. Bis 2026-11-15 hielten beide rund 30 Alerts dauerhaft offen: DaemonSet-Pods auf worker-1 (KubePodNotReady, KubeDaemonSetMisScheduled, KubeDaemonSetRolloutStuck), kubelet (KubeletInstanceUnreachable, KubeNodeUnreachable), TargetDown für node-exporter, kubelet, smartctl, entw-vm (läuft auf worker-1) und Infotafel, dazu TooManyScrapeErrors/TooManyLogs des vmagent.


Schreib-Endpunkte vm-write und logs-write (Basic-Auth)

Hosts außerhalb des Clusters schicken Metriken (vmagent → https://vm-write.tech.homeserver/api/v1/write) und Journal-Logs (systemd-journal-upload → https://logs-write.tech.homeserver/insert/journald) über Traefik in den Cluster. Beide Ingresses waren ohne jede Authentifizierung für das ganze LAN und Tailnet offen: Wer sie erreichte, konnte gefälschte Metriken (zum Beispiel up-Reihen) oder Log-Zeilen einspeisen oder den Speicher füllen. Eine IP-Allowlist scheidet aus, weil Traefik die Client-Adresse hinter dem ServiceLB nicht sieht (Incident 024).

Scrapes und Labels

Ziel Hintergrund
ugreen-nas (192.168.178.97) Eigene UGOS-Firmware, nicht Teil des k3s-Clusters, daher kein VMNodeScrape/DaemonSet. Stattdessen zwei manuell auf dem NAS laufende Docker-Container (node-exporter und smartctl-exporter, 20000, „Monitoring“) per VMStaticScrape. host: ugreen-nas und kind: nas sind der Filter der Hardware-Dashboards.
prod-vm (.99) und entw-vm (.100) Eigenständige k3s-Cluster (kein Beitritt zu TECH), deshalb wie ugreen-nas/infotafel per VMStaticScrape als Gast-OS über node_exporter (Rolle, aktiviert in prod.yml/entw.yml, Port 9100) erfasst. Es sind Metriken aus Sicht des Gastes (CPU/RAM/Disk/Netz), die Sicht des Hypervisors (qemu-Prozess) liefert der jeweilige Host. host plus kind: vm sind der Dashboard-Filter.
infotafel (192.168.178.98, Xibo-Pi) Hängt am normalen Heim-LAN, anders als der Vereinsheim-Pi (Tailscale-only, vmagent-Push). Der Cluster kann node_exporter deshalb direkt per VMStaticScrape scrapen. instance: infotafel matcht die eigenen Panels im „1002011-pis“-Dashboard, host: infotafel (kind: pi) die Hardware-Dashboards, kein weiterer Dashboard-Change nötig.
smartctl-Exporter (Port 9633) Speist die Panels „Laufwerke“/„S.M.A.R.T.“. Das NAS hat seinen eigenen Exporter. controlplane-1 ist enthalten (läuft dauerhaft, früher als worker-0 bewusst nicht). worker-1 steht wieder im Scrape. Sein TargetDown unterdrückt die Inhibit-Regel zu Worker1Schlaeft (Abschnitt Schlafende Hosts). Historisch: 192.168.178.95:9633 (host: worker-0) ergänzen. instance ist hier der Hostname (wie bei den anderen Static-Scrapes), host/kind der einheitliche Dashboard-Filter.
Node-exporter-DaemonSet: host/kind host (= k8s-Nodename) und kind tragen dieselben Labels wie die VMStaticScrapes der Nicht-Cluster-Hosts, damit alle Server einheitlich über host gefiltert werden. instance bleibt bewusst IP:Port, Alert-Regeln wie worker-0Down matchen darauf. Die Werte überschreiben die komplette Default-spec des Charts (Listen werden nicht gemergt), Selector und Endpoint stehen deshalb vollständig in den Values.
DaemonSet-Rollout mit schlafenden Workern worker-0/worker-1 werden nur bei Bedarf geweckt und sind sonst absichtlich aus, für k8s dauerhaft „unreachable“. Jedes DaemonSet toleriert unreachable/not-ready ohne tolerationSeconds (Kubernetes-Default, nicht konfigurierbar), der alte Pod auf einem schlafenden Worker bleibt beim Chart-Update dauerhaft „Terminating“. Beim Default maxUnavailable: 1 blockiert genau dieser eine Pod jeden weiteren Rollout, auch auf gesunden Nodes (homeserver), und die App bleibt dauerhaft „Progressing“ statt „Healthy“ (d0000, „Grafana zeigte nach Recovery nur noch UGREEN-NAS-Werte“). Fix: genug Unavailable-Budget, dass beide Worker gleichzeitig „stuck“ sein können, ohne den Rollout auf dem Homeserver zu blockieren.
Push-Endpunkt vm-write (ingress-vm-write.yaml) Für Tailscale-only-Hosts, die ihre Metriken selbst pushen (aktuell nur der Vereinsheim-Pi), weil Pods keinen Pfad zu Tailscale-Peers haben. Freigegeben ist nur /api/v1/write, nicht die volle VictoriaMetrics-API (Query bleibt cluster-intern). Davor liegt keine Auth, der Schutz ist die LAN-/Tailscale-Netzwerkgrenze (gleiches Prinzip wie bei alamos-apager). https:// ist Pflicht (60020).
Relabeling beim Empfang (configmap-vmsingle-relabel.yaml) VMSingle--relabelConfig setzt host/kind für den Vereinsheim-Alarmmonitor. Der Pi bekommt beides nicht beim Scrapen (er pusht), und ein Ansible-Lauf gegen den produktiven Alarmmonitor soll dafür nicht nötig sein. Die vmagent-Rolle setzt beide Labels inzwischen selbst. Die Regeln greifen nur, solange host/kind nicht gesetzt sind (host="" = Label fehlt) und werden dann von selbst wirkungslos. Betroffen sind nur Serien mit instance="vereinsheim-alarmmonitor", alle anderen laufen unverändert durch.
maxConcurrentInserts: "16" Der Default ist an das CPU-Limit gekoppelt (hier 2 bei 1000m). Ein Insert hält seinen Slot, solange der Client den Body noch sendet: Der über Tailscale pushende Vereinsheim-Pi (viele parallele vmagent-Queues, hängende http→https-Umleitung) belegte die Slots, sodass vmalert nicht mehr schreiben konnte (Alert RemoteWriteDroppingData, vm_concurrent_insert_limit_reached_total steigt). Die Requests sind klein und warten nur auf I/O, daher kaum Speicher-/CPU-Mehrbedarf.
Traefik-Metriken Siehe 60040 (traefik-metrics-Service, honorLabels).

VictoriaMetrics und Grafana


Logging (VictoriaLogs)