60060 - Monitoring und Alerting — Hintergründe
Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-core/6-hintergruende/60060-monitoring-und-alerting.md
Monitoring und Alerting — Hintergründe
Begründungen zu argocd/apps/tech/monitoring/ (VictoriaMetrics, Grafana, Alertmanager, Scrapes, Regeln), zum Logging-Stack und zu den
Anbindungen nicht-clusterinterner Hosts. Betrieb und Fehlersuche: 300q0. Bedienung: 20060,
20050, 300j0.
Die Push-Seite auf den Hosts (Rolle vmagent) steht in 60020.
Übersicht dieser Kategorie: 60000.
Alertmanager-Routing
InfoInhibitor landet im Blackhole, Watchdog geht an den Telefon-Caller. Alle übrigen Alerts werden nur zugestellt, wenn eine der folgenden Routen passt:
| Bedingung | Empfänger |
|---|---|
nur alertname=Watchdog |
Webhook /watchdog am Telefon-Caller (10020), jede Minute |
page=true |
Webhook /alert am Telefon-Caller (Anruf), zusätzlich zu den folgenden Routen (continue: true) |
severity=critical |
ntfy /Home-Lab (iOS-Push) über die ntfy-bridge: Der Alertmanager sendet an http://ntfy-bridge.ntfy-bridge.svc.cluster.local:8080/alert, die Bridge erzeugt je Alarm eine ntfy-Nachricht |
nur alertname=BananaPiAlarmmonitorDown |
n8n-Webhook des Workflows „Banana-Pi-Down → Zammad-Ticket“ (30020) |
- Keine Entwarnungen: Der ntfy-Receiver hat
send_resolved: false. Eine Meldung „✅ erledigt“ gibt es nicht mehr, nur noch die Meldung beim Auftreten (siehe Lautstärke der ntfy-Meldungen). - Warnungen werden nicht zugestellt: Gotify (früher Empfänger für alle Alerts) ist im Oktober 2026 samt Bridge entfernt worden. Alerts mit
severity=warning/info
sind seitdem nur in Alertmanager und Grafana sichtbar, nurcriticallöst einen Push aus. - Der n8n-Pfad ist rein additiv: Die anderen Alamos-Raspberry-Pis bekommen bewusst weiterhin kein Ticket pro Ausfall
(30010), nur dieser eine Alertname bekommt den zusätzlichen Weg. - Warum explizite Geschwister-Routen: Ein nacktes Top-Level-Receiver wird nicht mit einer passenden Kind-Route kombiniert, Alertmanager fällt nur darauf
zurück, wenn gar keine Kind-Route passt. Der Fan-out „critical (+ Banana Pi)“ ist deshalb als explizite Geschwister-Routen modelliert. Die
n8n-Route hatcontinue: trueund fällt so zur nächsten passenden Route durch. - Reihenfolge: Die n8n-Route (nur dieser Alertname) muss vor der
severity=critical-Route stehen. Die hat keincontinue: trueund würde die Auswertung sonst
dort beenden.
Lautstärke der ntfy-Meldungen
Anlass am 2026-10-11: Auf dem Handy kamen rund 65 bis 175 ntfy-Nachrichten am Tag an (Zähler messages_published des ntfy-Servers). Im Cache des Topics Home-Lab standen 64 Nachrichten aus knapp 10 Stunden: 32 DeploymentUnavailable, 18 TooHighMemoryUsage,
8 HostHighTemperature, 4 worker-*Down, 2 ArgoAppDegraded, davon rund 40 % „✅ erledigt“. Gewünscht ist: nur melden, was wirklich kritisch ist, nicht kurze Spitzen. Folgende Stellschrauben wurden gedreht:
| Änderung | Begründung |
|---|---|
HostHighTemperature: max by (host) (node_hwmon_temp_celsius) >= 95 für 3 Minuten (vorher: je Sensor, ab 80 °C für 1 Minute) |
Der Homeserver hat rund 17 Sensoren, jeder konnte einzeln auslösen, und der Alertmanager-Webhook wird von der ntfy-Bridge pro Alarm in eine Nachricht aufgelöst. Gemessen über 7 Tage (VictoriaMetrics, 30-s-Auflösung, höchster Sensor): ab 80 °C gab es 704 Phasen von mindestens 1 Minute (die CPU springt kurz auf Spitzen und fällt wieder), ab 90 °C und 3 Minuten 7, ab 93 °C 1, ab 95 °C und 3 Minuten keine. Der thermal_watchdog schaltet bei 100 °C nach 90 Sekunden ab und schickt davor eine eigene ntfy-Meldung (Topic Home-Lab-System). 95 °C über 3 Minuten ist also die Vorwarnung, die nur bei einer echten Dauerlage kommt. Der NAS erreicht höchstens 63 °C. |
DeploymentUnavailable und StatefulSetUnavailable: for von 1 auf 5 Minuten |
Jeder Rollout einer App mit strategy: Recreate (isc-news-bot, alert-caller, …) hat kurz keinen verfügbaren Pod und löste nach 1 Minute aus, dazu kam das Auf und Ab beim Abbau von Authentik. Fünf Minuten ohne Pod sind ein echter Ausfall. Die Erkennung verzögert sich um 4 Minuten. |
Standardregel TooHighMemoryUsage (VictoriaMetrics): severity: warning, for: 15m (vorher critical, 5 min) über defaultRules.rules.TooHighMemoryUsage.spec in values.yaml |
Die Regel hat nicht fälschlich ausgelöst, sondern lag an ihrer Schwelle: Der vmsingle-Pod nutzte am Testtag 906 MiB von 1024 MiB (83 %, Spitze der letzten 24 h: 91 %) und die Regel springt bei 80 %. Als warning erscheint sie weiter in Alertmanager und Grafana, geht aber nicht mehr als Push raus. Das Grundproblem bleibt: vmsingle sitzt knapp unter seinem Speicherlimit. VictoriaMetrics richtet seine Caches nach dem Limit (memory.allowedPercent: 60), mehr Limit kann deshalb zu mehr Verbrauch führen. Entweder resources.limits.memory erhöhen und beobachten, oder allowedPercent senken. Der Override kommt über den Sync-Job des Charts (rules.rules in dessen ConfigMap), erst der nächste Sync wendet ihn auf die VMRule …-rule-vm-health an. |
Standardregeln AlertmanagerFailedToSendAlerts und AlertmanagerClusterFailedToSendAlerts: for: 20m (vorher 5 min) über defaultRules.rules.<Name>.spec in values.yaml |
Der Watchdog sendet jede Minute an den externen Dead-Man-Switch (100.123.214.4, über Tailscale). Die Regeln teilen die Fehler durch alle Zustellungen über ein 15-min-Fenster und lösen ab 1 % aus. Schon ein einzelnes Timeout reicht dafür, die critical-Variante ging am 2026-11-16 um 02:07Z deshalb als Push raus (in 7 Tagen 17 solcher Timeouts). Mit for: 20m bleibt ein einzelner Fehlversuch unter der Schwelle, eine dauerhaft nicht erreichbare Gegenstelle meldet sich nach 20 min. |
ntfy-Receiver: send_resolved: false |
Die „✅ erledigt“-Nachrichten machten rund 40 % der Menge aus. Wer wissen will, ob ein Alarm vorbei ist, sieht es in Grafana oder im Alertmanager. Wieder einschalten: send_resolved: true beim Receiver ntfy. |
Nicht angefasst, aber als Hebel vorhanden: Die ntfy-Bridge schickt bei jeder Änderung einer Alarm-Gruppe alle Alarme der Gruppe erneut (eine Nachricht je Alarm im Webhook-Body), auch die bereits gemeldeten. Ein Zwischenspeicher nach Fingerprint in ntfy-bridge würde das abstellen. Der Telefon-Weg (phone)
ist davon nicht betroffen: Er meldet je Gruppe erst nach der Pause (CALL_COOLDOWN) erneut.
Telefon-Alarm
Bedienung und Einrichtung: 10020. Der Caller als Chart: 60040, als Ansible-Rolle für eine externe VM: 60020.
Routing (argocd/apps/tech/monitoring/values.yaml)
- Die drei neuen Routen stehen vor den bestehenden, die bestehenden sind unverändert. Die alte Route
InfoInhibitor|Watchdog→blackholebleibt stehen und ist fürWatchdogjetzt unerreichbar, sie fängt weiterhin
InfoInhibitorab. Watchdoghat eigene Takte (group_wait: 0s,group_interval: 1m,repeat_interval: 1m), damit der Caller jede Minute einen Ping bekommt. Der Wachhund-Timeout am Caller ist 10 min, ein einzelner verspäteter Ping stört also nicht.page=truehatcontinue: true: Der Anruf kommt zusätzlich zu ntfy (severity=critical) und, beim Banana-Pi-Alarm, zu n8n.send_resolved: false, weil das Telefon bei Entwarnung nicht klingeln soll.- Geprüft mit
amtool config routes testgegen Alertmanager 0.32.1:Watchdog→ nurwatchdog;page=true+critical→phone,ntfy; Banana-Pi mitpage=true→phone,n8n-banana-pi-down,ntfy; alles ohnepageunverändert. - Beide Receiver zeigen auf den Service des Callers im Cluster (
http://alert-caller.alert-caller.svc.cluster.local:9310/watchdogund/alert). Läuft der Pod nicht, ruft Alertmanager jede Minute ins Leere (WarnungAlertmanagerFailedToSendAlerts, die nirgends zugestellt wird).
Der Caller läuft vorerst im selben Cluster, ein Totalausfall führt deshalb zu keinem Anruf (Entscheidung, siehe 10020). Für eine externe VM zeigen die URLs auf deren Tailscale-IP. Der Weg Pod → Tailnet funktioniert dafür (Flannel maskiert auf die Tailnet-IP des Homeservers,
mittcpdumpauftailscale0nachgewiesen), die Pods kommen bei der Gegenstelle alshomeserveran. Offen ist nur die ACL zur VM.
Das relativiert die Aussage zum Alarmmonitor unter Scrapes und Labels: Der Pi wird per Push angebunden, weil seine Ports vom Homeserver aus nicht antworten, nicht weil der Pod-Pfad fehlt.
Regeln in vmrule-paging.yaml (alle vier am 2026-10-11 gegen den Live-VictoriaMetrics abgefragt, keine feuerte)
-
Alle Ausdrücke nutzen das Label
host, nichtjoboderinstance: Der DaemonSet-Scrape hatjob="node-exporter", die statischen Scrapes tragen ihrenjobName(prod-vm-node-exporter,ugreen-nas-node-exporter), obwohl in der
VMStaticScrapeein anderesjobsteht.instanceist beim DaemonSet IP:Port, bei den statischen Scrapes der Hostname. Nurhostist überall gleich. -
NodeDownPagingerfasst nurhomeserver,prod-vmundugreen-nas. Die Worker schlafen im Normalbetrieb (cordoned,up == 0),entw-vmläuft auf worker-1,infotafelist ein Kiosk. Ohne den Filter hätte die Regel am Testtag
vier Alarme geliefert.homeserverist trotzdem drin: Es deckt den Fall, dass nur der Exporter ausfällt. Fällt der ganze Homeserver aus, sterben vmalert und Alertmanager mit, das erkennt der Watchdog. -
PodCrashLoopPaging:group_left(reason)ersetzt das Labelreasonder linken Seite (CrashLoopBackOff) durch die letzte Abbruchursache (OOMKilled,Error, …), weilgroup_leftgleichnamige Labels der linken Seite überschreibt.
Beim Test mit dem real abstürzendenvlagent-Pod wurde ausCrashLoopBackOffkorrektError. Der Zweigor on(namespace, pod, container)liefert den Alarm trotzdem, falls es keine letzte Abbruchursache gibt, dann bleibtreasonbei
CrashLoopBackOff. Erfasst ist nurvaultwarden: Authentik, das zweite Ziel aus der Aufgabe, gibt es im Repo nicht mehr. Weitere Namespaces kommen in den Regexnamespace=~"…"(beide Stellen). -
DiskFailurePaging:smartctl_device_smart_statusist 1 bei „bestanden“.smartctl_device_critical_warninggibt es nur bei NVMe. Beide Metriken tragenhostunddevice. Ein schlafender Worker liefert nach dem Staleness-Zeitraum keine Reihe mehr und
löst nichts aus. -
KubeApiDownPaging:absent(up{job="apiserver"} == 1)deckt „Ziel auf 0“ und „Ziel verschwunden“ ab. Die Default-RegelKubeAPIDownbleibt unverändert und geht weiter nur an ntfy. -
Helm-Escaping: vmalert-Platzhalter stehen in
templates/als{{{{ $labels.host }}}}. Die Rohstring-Schreibweise braucht keine Maskierung der"in PromQL (host="…"), anders als die{{ "…" }}-Form der älteren Regeln. -
Die Annotationen
ansage,grund,kontextundkontext_textliest nur der Caller. Der ntfy-Pfad kennt sie nicht und zeigt weitersummary.
Webhook-Authentifizierung (argocd/apps/tech/monitoring/values.yaml) -
Die drei Webhooks zum Caller (
watchdogan Pod und Pi,phone) tragenhttp_config.authorization.credentials_file. Der Alertmanager liest den Token aus/etc/vm/secrets/alert-caller-token/token, das der Operator aus
spec.secrets: [alert-caller-token]mountet. Der Token steht nicht in der Konfiguration, die inline im Repo liegt. ntfy-Bridge und n8n bleiben ohne Token. -
Reihenfolge ist riskant: Ein VMAlertmanager mit
spec.secrets, dessen Secret fehlt, startet nicht (ContainerCreating), und dann fallen alle Alarme aus. Das SealedSecret liegt deshalb im selben Chart (templates/sealedsecret-alert-caller-token.yaml)
und kommt im selben Sync. Der Sealed-Secrets-Controller entschlüsselt es binnen Sekunden, das Mounten wiederholt sich von selbst. Nach einer Änderung die Alertmanager-Logs undamtool config showprüfen. -
Der Token darf keinen Zeilenumbruch enthalten (
printf '%s'beim Versiegeln, das Skriptscripts/seal-alert-caller-token.shtut das), sonst würde der Header ungültig.
Regeln (VMRule)
| Regel | Begründung |
|---|---|
vmrule-controlplane-1 |
Verfügbarkeit des zweiten k3s-Servers. Ohne Cordon-Ausnahme: Die Vorgängerregel worker-0Down nahm Nodes aus, die kube_node_spec_unschedulable == 1 meldeten, weil der Power-Manager worker-0 meistens ausgeschaltet ließ. controlplane-1 läuft dauerhaft und trägt ein etcd-Mitglied, jede Abwesenheit ist ein Befund. absent(…== 1) statt == 0 auf die Ready-Condition, damit auch ein aus dem Cluster entfernter Node feuert. Zusätzlich ControlPlane1MemoryRequestsHigh: Der weiche Taint (PreferNoSchedule) hält ungepinnte Pods nicht sicher fern, die Warnung kommt, wenn die Memory-Requests auf dem Node mehr als die Hälfte der zuweisbaren Menge belegen (controlPlane1.memoryRequestsRatio). |
vmrule-etcd |
Zwei Mitglieder tragen kein Ausfallrisiko des Datastores, deshalb schauen die Regeln auf Leader, erreichbare Mitglieder (count(up{job="k3s-etcd"} == 1) < etcd.expectedMembers, der Sollwert steigt mit ControlPlane-2 auf 3), aktive Peers, Leaderwechsel, WAL-fsync (p99 über 500 ms) und die Datenbankgröße gegen das Kontingent. Keine Regeln für die Snapshot-Kopie: Das node-exporter-DaemonSet läuft ohne den systemd-Collector (node_systemd_* fehlt auf den Hosts, geprüft am 2026-11-05), eine Regel auf node_systemd_unit_state oder node_systemd_timer_last_trigger_seconds würde nie feuern. Stattdessen meldet das Kopier-Skript Fehler selbst per ntfy (Rolle k3s, Priorität 4), ausbleibende Läufe fallen damit nicht auf. Die Default-Regelgruppe etcd und kubeEtcd des Charts bleiben aus: Sie erwarten Prometheus-Standardlabels, die k3s nicht liefert. Die Metriken kommen über etcd-expose-metrics auf Port 2381 (vmstaticscrape-etcd). |
vmrule-paging (Telefon-Alarm) |
Die einzigen Regeln mit dem Label page: "true". Begründungen je Regel: Abschnitt Telefon-Alarm. |
vmrule-argocd (GitOps-Gesundheit) |
Anlass: Die Sync-Operation von monitoring hing vom 2026-09-15 bis 2026-09-19 unbemerkt (sie wartete auf einen nie gesunden DaemonSet), aufgefallen ist es nur von Hand. Grundlage sind die Metriken des application-controller (argocd_app_info mit health_status, sync_status, operation, Scrape in vmscrape-argocd.yaml). Das Label operation ist leer, solange keine Sync-Operation läuft. Der Controller-Pod öffnet den Port metrics (8082) immer, und die NetworkPolicy argocd-application-controller erlaubt Zugriff aus jedem Namespace, dafür ist keine Änderung an ArgoCD nötig. Erfasst wird der Hub (TECH + PROD), der separate ENTW-ArgoCD (eigener Cluster) nicht. Alle Alerts laufen über die vorhandene Route (Gotify + ntfy). |
vmrule-cronjobs (Backups) |
Alert, wenn der letzte erfolgreiche Lauf zu lange her ist. Bewusst nicht kube_job_status_failed > 0: Fehlgeschlagene Jobs bleiben in der Historie stehen und würden nach der Reparatur weiter feuern. Anlass: Die Authentik-Backups schlugen in den Nächten auf den 17. und 18.09.2026 fehl (BackoffLimitExceeded) und wurden nur zufällig bemerkt. Datensicherungen laufen täglich (nachts), nach 30 h ohne Erfolg fehlt mindestens eine Sicherung. Gilt für den Hub-Cluster (TECH), kube-state-metrics-Daten anderer Cluster sind nicht enthalten. |
vmrule-capulus-backups |
Backups, die der capulus-operator verwaltet. Die erzeugten CronJobs heißen wie die App (z. B. vaultwarden), BackupJobStale filtert auf backup im Namen und erfasst sie deshalb nicht. CapulusBackupStale (über 30 h ohne Erfolg) und CapulusBackupFailed (letzter Lauf fehlgeschlagen, greift auch ohne je erfolgreichen Lauf) nehmen pausierte Backups aus (capulus_backup_suspended). CapulusBackupOperatorDown meldet fehlende Metriken des Operators, 600c0 |
vmrule-banana-pi (Ausfall des Alarmmonitors) |
Host-Ebene, unabhängig vom App-Level-Heartbeat in alamos-apager (der nur ntfy auslöst). absent_over_time statt up == 0: Der Pi wird nicht vom Cluster gescrapt (Pods haben keinen Pfad zu Tailscale-Peers), sondern pusht seine Metriken per remote_write. Fällt er aus, wird up nicht auf 0 gesetzt (das setzte eine laufende Scrape-Verbindung voraus), die Zeitreihe hört einfach auf und gilt nach der Staleness-Frist als fehlend. up == 0 würde deshalb nie feuern. absent_over_time erkennt „seit 10 Minuten kein einziger Sample mehr“ (Pi oder Push-Pfad down). for: 10m ist bewusst träge (deutlich über einem kurzen Reboot), damit nicht jeder Neustart ein Ticket erzeugt. severity=critical löst die bestehenden Routen (Gotify, ntfy) und die n8n-Route aus. |
vmrule-temperature |
Vorwarnung kurz vor dem Abschalten: Der heißeste Sensor eines Hosts (max by (host), eine Meldung je Host statt einer je Sensor) liegt mindestens 3 Minuten lang bei 95 °C. Vorher stand die Schwelle bei 80 °C für 1 Minute, das löste bei den Lastspitzen des Homeservers dauernd aus (Begründung: Lautstärke der ntfy-Meldungen). severity: critical geht an ntfy. Das eigentliche Herunterfahren bei 100 °C läuft nicht über diesen Alert, sondern über den lokalen thermal_watchdog auf dem Host, der auch dann noch funktioniert, wenn der Cluster wegen der Hitze schon klemmt (60020). |
vmrule-host-services (JournalUploadFailed) |
node_systemd_unit_state{name="systemd-journal-upload.service", state="failed"} == 1 seit 15 Minuten, severity: warning. Anlass: Der Journal-Upload war auf dem Homeserver vom 2026-10-02 bis 2026-10-18 und auf worker-1 und beiden Pis ausgefallen, ohne dass es jemand merkte; die Host-Logs fehlten in VictoriaLogs. Als Metrik des node_exporter-Systemd-Collectors unabhängig von VictoriaLogs selbst. Warnstufe, weil warning nur im Alertmanager-Verlauf und nicht per ntfy ankommt (Abschnitt Lautstärke der ntfy-Meldungen). Wiederherstellung: 60020. |
vmrule-resources |
Reine Warnstufen (severity: warning, werden seit dem Entfernen von Gotify nirgends zugestellt). Die Shutdown-Schwellen für CPU/RAM (90 %) laufen nicht über Alertmanager, sondern über den lokalen resource_watchdog. |
| k3s-Komponenten | Regeln für controller-manager, scheduler und etcd sind deaktiviert: Sie laufen im einen k3s-Serverprozess und sind nicht als eigene Pods erreichbar (an 127.0.0.1 gebunden, kube-proxy ist eingebaut, k3s nutzt eine eingebettete SQLite-Datenbank, es gibt kein etcd). Gescrapt wird nur, was k3s tatsächlich exponiert. |
Schlafende Hosts und Inhibit-Regeln
worker-1 ist im Normalbetrieb aus (Cluster-Power-Manager: cordon, drain, poweroff), die Infotafel wird zeitgesteuert heruntergefahren. Bis 2026-11-15 hielten beide rund 30 Alerts dauerhaft offen: DaemonSet-Pods auf worker-1 (KubePodNotReady, KubeDaemonSetMisScheduled, KubeDaemonSetRolloutStuck), kubelet (KubeletInstanceUnreachable, KubeNodeUnreachable), TargetDown für node-exporter, kubelet, smartctl, entw-vm (läuft auf worker-1) und Infotafel, dazu TooManyScrapeErrors/TooManyLogs des vmagent.
worker-1Downfeuerte trotz Ausschluss.… unless kube_node_spec_unschedulable{node="worker-1"} == 1vergleicht Labelsätze. Links stehenup-Reihen des node-exporters bzw.kube_node_status_conditionmitcondition/status, rechts eine andere Reihe, sie passen nie zusammen undunlessfiltert nichts.unless on() (…)ignoriert die Labels.- Signalalarme mit
severity: none.Worker1Schlaeft(cordoned und nicht Ready, 5 min) undInfotafelAus(up == 0, 5 min) stehen invmrule-worker-1.yaml.nonepasst auf keine Route und landet im Blackhole. Sie sind nur Quelle für Inhibit-Regeln inalertmanager.config.inhibit_rules. - Inhibit-Regeln ohne
equal. Die Folgealarme tragen fast nie ein gemeinsames Label mit der Quelle (DaemonSet-Alerts haben nurdaemonset/namespace,KubePodNotReadynur den Pod-Namen). Die Ziele sind deshalb eng gefasst:node="worker-1",instancevon worker-1 bzw.entw-vm,TargetDownnur für die betroffenen Jobs,KubePodNotReadynur für die DaemonSet-Pod-Muster. Preis: Solange worker-1 schläft, sindKubeDaemonSet*clusterweit stumm. Ein echtes DaemonSet-Problem auf einem anderen Node fällt dann nur überKubePodNotReady/KubePodCrashLoopingauf. - Nur cordoned zählt als schlafend. Ein Worker, der ohne cordon ausgeht, löst
Worker1Schlaeftnicht aus. Diese Lücke schließt der Power-Manager: Er cordont einen Worker, der länger als 10 min unerreichbar ist (20020). - Fehlender Weckruf fällt nicht auf. Bleibt worker-1 aus, obwohl der Power-Manager ihn wecken wollte, ist er weiter cordoned und
Worker1Schlaeftunterdrückt alles. Das meldet der Power-Manager selbst (20020). - CPU-Limit 500m für node-exporter und vmagent. Bei 200m meldete
CPUThrottlingHigh28–52 % gedrosselte Perioden, der mittlere Verbrauch lag unter 0,1 Core. Die Drosselung kommt von kurzen Spitzen beim Scrape. - Geprüft mit
amtool check-configim Alertmanager-Pod und einer Simulation gegen die 36 aktiven Alerts vom 2026-11-15: 25 unterdrückt,worker-1Down(2) durchon()behoben.
Schreib-Endpunkte vm-write und logs-write (Basic-Auth)
Hosts außerhalb des Clusters schicken Metriken (vmagent → https://vm-write.tech.homeserver/api/v1/write) und Journal-Logs (systemd-journal-upload → https://logs-write.tech.homeserver/insert/journald) über Traefik in den Cluster. Beide Ingresses waren ohne jede Authentifizierung für das ganze LAN und Tailnet offen: Wer sie erreichte, konnte gefälschte Metriken (zum Beispiel up-Reihen) oder Log-Zeilen einspeisen oder den Speicher füllen. Eine IP-Allowlist scheidet aus, weil Traefik die Client-Adresse hinter dem ServiceLB nicht sieht (Incident 024).
- Traefik-Middleware
basicAuthje Namespace (vm-write-authinmonitoring,logs-write-authinlogging), Benutzerdatei als SealedSecret (writeAuth.encryptedUsersin denvalues.yaml). Die Middleware hängt per Annotationtraefik.ingress.kubernetes.io/router.middlewaresam Ingress und wird nur gerendert, wennwriteAuth.enabled: trueundencryptedUsersgesetzt sind. Standard istfalse: Der Code ist ausgerollt, ohne dass sich etwas ändert. - Zwei getrennte Zugänge (
vm-writer,logs-writer).systemd-journal-uploadkann Zugangsdaten nur in der URL (https://logs-writer:<pw>@…) mitgeben und schreibt die URL bei Fehlern ins Journal; das Passwort kann also in den Logs landen. Ein Leck des Log-Zugangs gibt damit nicht den Metrik-Zugang frei./etc/systemd/journal-upload.confist0640 root:jupload-cred, der Dienst bekommt die Gruppe perSupplementaryGroups(Drop-incredentials.conf). - Clients: Rolle
vmagent(-remoteWrite.basicAuth.username/passwordFile, Datei/etc/vmagent/write-auth-password,0640 root:vmagent) und Rollejournal_uploadaus den Vault-Variablenvault_vm_write_auth_user/_passwordundvault_logs_write_auth_user/_password(perdefault(''): ohne Variablen bleibt alles wie vorher). Der Cluster-interne vmagent und der Log-Collector schreiben direkt auf die Services und sind nicht betroffen. - Reihenfolge ohne Lücke: (1)
scripts/seal-write-auth.sherzeugt Zugangsdaten, versiegelt sie in beidevalues.yamlund schreibt die Vault-Variablen in eine Datei. (2) Merge, Vault-Variablen eintragen, Rollenläufe mit Tagsvmagentundjournal-uploadauf allen Hosts (die Clients senden die Zugangsdaten, der Server ignoriert sie noch). (3) Prüfen:curl -u vm-writer:<pw> -X POST https://vm-write.tech.homeserver/api/v1/writeliefert nicht401. (4)writeAuth.enabled: truein beidenvalues.yaml, Merge. Ab dann liefert der Aufruf ohne Zugangsdaten401. Rollback:enabled: false.
Scrapes und Labels
| Ziel | Hintergrund |
|---|---|
ugreen-nas (192.168.178.97) |
Eigene UGOS-Firmware, nicht Teil des k3s-Clusters, daher kein VMNodeScrape/DaemonSet. Stattdessen zwei manuell auf dem NAS laufende Docker-Container (node-exporter und smartctl-exporter, 20000, „Monitoring“) per VMStaticScrape. host: ugreen-nas und kind: nas sind der Filter der Hardware-Dashboards. |
prod-vm (.99) und entw-vm (.100) |
Eigenständige k3s-Cluster (kein Beitritt zu TECH), deshalb wie ugreen-nas/infotafel per VMStaticScrape als Gast-OS über node_exporter (Rolle, aktiviert in prod.yml/entw.yml, Port 9100) erfasst. Es sind Metriken aus Sicht des Gastes (CPU/RAM/Disk/Netz), die Sicht des Hypervisors (qemu-Prozess) liefert der jeweilige Host. host plus kind: vm sind der Dashboard-Filter. |
infotafel (192.168.178.98, Xibo-Pi) |
Hängt am normalen Heim-LAN, anders als der Vereinsheim-Pi (Tailscale-only, vmagent-Push). Der Cluster kann node_exporter deshalb direkt per VMStaticScrape scrapen. instance: infotafel matcht die eigenen Panels im „1002011-pis“-Dashboard, host: infotafel (kind: pi) die Hardware-Dashboards, kein weiterer Dashboard-Change nötig. |
| smartctl-Exporter (Port 9633) | Speist die Panels „Laufwerke“/„S.M.A.R.T.“. Das NAS hat seinen eigenen Exporter. controlplane-1 ist enthalten (läuft dauerhaft, früher als worker-0 bewusst nicht). worker-1 steht wieder im Scrape. Sein TargetDown unterdrückt die Inhibit-Regel zu Worker1Schlaeft (Abschnitt Schlafende Hosts). Historisch: 192.168.178.95:9633 (host: worker-0) ergänzen. instance ist hier der Hostname (wie bei den anderen Static-Scrapes), host/kind der einheitliche Dashboard-Filter. |
Node-exporter-DaemonSet: host/kind |
host (= k8s-Nodename) und kind tragen dieselben Labels wie die VMStaticScrapes der Nicht-Cluster-Hosts, damit alle Server einheitlich über host gefiltert werden. instance bleibt bewusst IP:Port, Alert-Regeln wie worker-0Down matchen darauf. Die Werte überschreiben die komplette Default-spec des Charts (Listen werden nicht gemergt), Selector und Endpoint stehen deshalb vollständig in den Values. |
| DaemonSet-Rollout mit schlafenden Workern | worker-0/worker-1 werden nur bei Bedarf geweckt und sind sonst absichtlich aus, für k8s dauerhaft „unreachable“. Jedes DaemonSet toleriert unreachable/not-ready ohne tolerationSeconds (Kubernetes-Default, nicht konfigurierbar), der alte Pod auf einem schlafenden Worker bleibt beim Chart-Update dauerhaft „Terminating“. Beim Default maxUnavailable: 1 blockiert genau dieser eine Pod jeden weiteren Rollout, auch auf gesunden Nodes (homeserver), und die App bleibt dauerhaft „Progressing“ statt „Healthy“ (d0000, „Grafana zeigte nach Recovery nur noch UGREEN-NAS-Werte“). Fix: genug Unavailable-Budget, dass beide Worker gleichzeitig „stuck“ sein können, ohne den Rollout auf dem Homeserver zu blockieren. |
Push-Endpunkt vm-write (ingress-vm-write.yaml) |
Für Tailscale-only-Hosts, die ihre Metriken selbst pushen (aktuell nur der Vereinsheim-Pi), weil Pods keinen Pfad zu Tailscale-Peers haben. Freigegeben ist nur /api/v1/write, nicht die volle VictoriaMetrics-API (Query bleibt cluster-intern). Davor liegt keine Auth, der Schutz ist die LAN-/Tailscale-Netzwerkgrenze (gleiches Prinzip wie bei alamos-apager). https:// ist Pflicht (60020). |
Relabeling beim Empfang (configmap-vmsingle-relabel.yaml) |
VMSingle--relabelConfig setzt host/kind für den Vereinsheim-Alarmmonitor. Der Pi bekommt beides nicht beim Scrapen (er pusht), und ein Ansible-Lauf gegen den produktiven Alarmmonitor soll dafür nicht nötig sein. Die vmagent-Rolle setzt beide Labels inzwischen selbst. Die Regeln greifen nur, solange host/kind nicht gesetzt sind (host="" = Label fehlt) und werden dann von selbst wirkungslos. Betroffen sind nur Serien mit instance="vereinsheim-alarmmonitor", alle anderen laufen unverändert durch. |
maxConcurrentInserts: "16" |
Der Default ist an das CPU-Limit gekoppelt (hier 2 bei 1000m). Ein Insert hält seinen Slot, solange der Client den Body noch sendet: Der über Tailscale pushende Vereinsheim-Pi (viele parallele vmagent-Queues, hängende http→https-Umleitung) belegte die Slots, sodass vmalert nicht mehr schreiben konnte (Alert RemoteWriteDroppingData, vm_concurrent_insert_limit_reached_total steigt). Die Requests sind klein und warten nur auf I/O, daher kaum Speicher-/CPU-Mehrbedarf. |
| Traefik-Metriken | Siehe 60040 (traefik-metrics-Service, honorLabels). |
VictoriaMetrics und Grafana
- Ein-Knoten-TSDB reicht für einen Heimserver. Erst bei mehr als 1 Mio. aktiven Serien wäre
vmclustersinnvoll. Ein Limit verwirft Scrapes fehlerhafter
Targets, statt den Speicher zu sprengen. - Speicher der VMSingle: Lag auf
nas(NFS), bis das UGREEN-NASall_squasherzwang und VictoriaMetrics beim Öffnen bestehender Storage-Parts mit
„permission denied“ abstürzte (20000). TSDB-Daten sind reiner State, daher lokaler Storage (fest aufhomeserver).
Bewusst ohne Datenmigration neu aufgesetzt (nur 15 Tage Retention, Verdacht auf teilbeschädigte Parts durch die vorherigen Schreibfehler).
retentionPeriodakzeptierth/d/w/y, ein Wert ohne Einheit gilt als Monate (15d, nicht15). - CRDs:
crds.plain: truerendert die VictoriaMetrics-CRDs (VMSingle,VMAgent,VMAlert,VMServiceScrape, …) als normale Templates, weil ArgoCD den
crds/-Ordner von Helm standardmäßig ignoriert. Beim Löschen des Charts bleiben die CRDs erhalten (sicherer Default). Die Admission-Webhook-Policy steht auf
Ignore, um Sync-Loop-Races gegen den Operator-Webhook bei der Erstinstallation zu vermeiden. Prometheus-ServiceMonitorwerden automatisch in
VMServiceScrapekonvertiert, damit Apps mit Prometheus-Monitoren ohne Umbau funktionieren. Hand geschriebene Monitore sind trotzdemVMServiceScrape,
weil die CRDmonitoring.coreos.com/v1im Cluster nicht installiert ist (Lehre aus der Authentik-Runde, dort erst nachträglich korrigiert). - Grafana: Erreichbar unter
https://grafana.tech.homeserverüber Traefik. Das Admin-Passwort wird automatisch erzeugt und liegt im Secretmonitoring-grafana
(kubectl -n monitoring get secret monitoring-grafana -o jsonpath='{.data.admin-password}' | base64 -d; echo). Bewusst kein SSO davor (Nutzerentscheidung
22.08.2026, gilt unverändert, auch nach dem Entfernen von Authentik): keine wichtigen Daten hinter Grafana, der eigene Login reicht.
Plugins: Infinity (direkte HTTP/JSON-Abfragen in Panels, für die Dashboards Pegelonline, DWD, ELWIS), die VictoriaLogs-Datasource und Polystat (Waben-Übersicht im
Ordner „Hardware“). - Speicher: 512Mi waren zu knapp (OOMKilled am 2026-09-19, RSS 488 MB beim Kill). Grafana 12 baut Suchindizes (bleve) im Speicher auf und startet vier Plugin-Prozesse
(gpx_*), die im selben cgroup zählen. - Grafana-ServiceAccount liest nur ConfigMaps, in zwei Namespaces. Das Grafana-Chart hängt an den ServiceAccount
monitoring-grafanaeine ClusterRole mitget/list/watchaufconfigmapsundsecretsaller Namespaces, sobald ein Sidecar aktiv ist, und zwar unabhängig vonsidecar.*.resource. Grafana ist übergrafana-tech.pke-lab.deöffentlich, das Token liegt im Pod: Ein Fehler im Grafana-Prozess (Dateilesen, SSRF) hätte damit den Schlüssel von Sealed Secrets und alle Datenbankpasswörter des Clusters preisgegeben. Gegenmaßnahmen:grafana.sidecar.dashboards/datasources.resource: configmap(die Sidecars suchen keine Secrets mehr),grafana.rbac.create: falseund eine eigene ClusterRolemonitoring-grafana-sidecarmit nurconfigmapssamt eigenem Binding (templates/rbac-grafana-sidecar.yaml). Ein anderes Binding stattrbac.useExistingClusterRole, weil sich dieroleRefeines bestehenden ClusterRoleBindings nicht ändern lässt. Die Dashboard-Suche ist von allen Namespaces aufmonitoring,pacmanbegrenzt (dort liegen alle 72 ConfigMaps mit dem Label). Ein Dashboard in einem neuen Namespace braucht den Eintrag insidecar.dashboards.searchNamespace. Das Token landet weiterhin auch im Grafana-Hauptcontainer, das Chart kann es nicht pro Container verteilen. - Dashboard-Ordner: Der Sidecar lädt jede ConfigMap mit dem Label
grafana_dashboard=1(inmonitoring).folderAnnotationplus
provider.foldersFromFilesStructuremachen aus der Annotationgrafana_foldereinen echten Grafana-Ordner („Anwendungen (TECH)“, „Hardware“, „Kubernetes (TECH)“,
„Monitoring-Stack“; live verifiziert 2026-09-20). Wird ein Ordner umbenannt, entsteht ein neuer Grafana-Ordner, der alte leere muss von Hand gelöscht werden. job-dashboard-folderssortiert die vom Chartvictoria-metrics-k8s-stackgezogenen Standard-Dashboards („Kubernetes / …“ → „Kubernetes (TECH)“, „Node Exporter …“ →
„Hardware“, „VictoriaMetrics …“/„Prometheus …“/„Alertmanager …“/„Grafana …“ → „Monitoring-Stack“) in eigene Ordner. Warum ein eigener Job: Der eingebaute Sync-Job unterstützt keine
Ordner-Zuweisung pro Dashboard (geprüft gegen die deployte Chart-Version 0.91.2 und Upstream 0.92.1,defaultDashboards.annotationsgilt nur global für alle). Der Job trägt die
Annotation anhand des JSON-Feldes.titlenachträglich ein (robuster als Key-Matching, das Titel-Präfix bleibt über Chart-Versionen stabil). Hook-Weight 5 (größer als 0 des Sync-Jobs)
stellt sicher, dass er erst nach dem Sync-Job läuft, sonst würde jeder Sync-Job-Lauf (bei jedem Helm-Upgrade) die Annotationen wieder zurücksetzen. Das Job-Image bündeltkubectlund
jq(exakte Version unkritisch, nurget/patchauf ConfigMaps). Tag1.30.1existiert auf Docker Hub nicht (ImagePullBackOff, der Hook blockierte den ArgoCD-Sync von
monitoringseit 2026-09-19), daher1.30.14.- Pro-App-Dashboards (
dashboardApps) entfallen (Stand 2026-11-12): Auf Wunsch entfernt, damit die Dashboards übersichtlich bleiben. Es bleiben das Hardware-Mainboard und die Detail-Dashboards im Ordner „Hardware“ sowie das Rhein-Pegel-Dashboard. Die früheren handgebauten Dashboards für Zammad, Pacman-Besucher und „1002011-pis“ wurden ebenfalls entfernt.
Logging (VictoriaLogs)
- Der Grafana-Sidecar im Namespace
monitoringsucht persearchNamespace: ALLnach ConfigMaps mit dem Datasource-Label, daher findet er die VictoriaLogs-Datasource aus dem
Logging-Chart. - VictoriaLogs liegt wie VMSingle auf
local-path, fest aufhomeserver. Der Collector (DaemonSet, ein Pod pro Node) hängt bei einer URL ohne Pfad automatisch/insert/nativean. - Journal-Upload der Hosts: 60020.