PKR-Lab

20050 - GitOps- und Backup-Alerts

Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-core/2-betrieb-hardware/20050-gitops-und-backup-alerts.md

GitOps- und Backup-Alerts

Zwei Regelgruppen im Monitoring-Chart melden Störungen, die bisher nur von Hand aufgefallen sind:
ArgoCD-Anwendungen, die nicht gesund werden oder hängen, und CronJobs (vor allem Datensicherungen), die
nicht mehr erfolgreich laufen. Beide laufen über die vorhandene Alertmanager-Route und erreichen damit
ntfy, allerdings nur mit severity: critical. Regeln mit severity: warning (die meisten unten) werden seit dem Entfernen von Gotify im Oktober 2026 nicht mehr zugestellt, siehe 60060.

Anlass waren zwei reale Vorfälle:

Geltungsbereich

Beide Gruppen gehören zur Hub-Instanz (TECH). Der Hub-ArgoCD verwaltet auch die PROD-Applications
(prod-<app>), sie sind mit erfasst. Nicht erfasst: die eigenständige ENTW-ArgoCD-Instanz (Trainingsumgebung) und
CronJobs im PROD-Cluster, etwa das Immich-Backup: in der Hub-VictoriaMetrics existieren nur die drei TECH-CronJobs
(damals authentik-postgres-backup, vaultwarden-backup, github-release-watcher, geprüft am 2026-09-20; Authentik ist inzwischen entfernt).

ArgoCD (vmrule-argocd.yaml)

Grundlage ist argocd_app_info des application-controllers. Der Controller öffnet den Port metrics (8082)
immer, und seine NetworkPolicy erlaubt Zugriff aus jedem Namespace: nötig war nur ein
VMPodScrape, keine Änderung an ArgoCD.

Alert Bedingung Schwere
ArgoAppDegraded health_status = Degraded oder Missing, seit 10 min critical
ArgoAppOutOfSync sync_status = OutOfSync, seit 1 h warning
ArgoAppProgressing health_status = Progressing, seit 30 min warning
ArgoSyncOperationStuck Label operation nicht leer (Sync läuft), seit 30 min warning
ArgoMetricsMissing absent(argocd_app_info), seit 10 min warning

ArgoMetricsMissing ist der Totmannschalter: ohne Metriken schweigen alle anderen. Direkt nach dem Ausrollen
kann er kurz feuern, bis vmagent den neuen Scrape übernommen hat.

CronJobs und Backups (vmrule-cronjobs.yaml)

Bewusst auf den letzten erfolgreichen Lauf und nicht auf kube_job_status_failed: fehlgeschlagene Jobs
bleiben in der Historie und würden nach der Reparatur weiter feuern.

Alert Bedingung Schwere
BackupJobStale CronJob mit backup im Namen, letzter Erfolg älter als 30 h critical
CronJobStale alle anderen CronJobs, letzter Erfolg älter als das 1,5-fache des Zeitplan-Intervalls, mindestens 36 h warning

Ausgesetzte CronJobs (suspend: true, z. B. der wöchentliche zammad-cronjob-reindex) sind ausgenommen. Die
Schwellen passen zu täglichen Nachtläufen (Vaultwarden 01:30): eine ausgefallene Nacht meldet sich
am Vormittag danach. Erfasst sind nur CronJobs, die schon einmal erfolgreich waren; ein CronJob, der nie lief,
erzeugt keine Serie.

Das Intervall von CronJobStale ergibt sich aus kube_cronjob_next_schedule_time - kube_cronjob_status_last_schedule_time.
Tägliche Jobs melden sich weiter nach 36 h, wöchentliche wie zammad-scheduler-restart (So 04:30) erst nach 10,5 Tagen.
Vorher galten 36 h für alle, der wöchentliche Job meldete sich deshalb jeden Montagnachmittag (Anlass 2026-11-16).

Grenze: die Regeln sehen nur, ob der Job erfolgreich endete. Ein „erfolgreicher“ Lauf mit leerem Dump
(so ein 0-Byte-Dump trat bei Authentik schon auf) fällt hier nicht auf; das prüfen die Skripte der Backups selbst.

Geprüft

Vor dem Ausrollen gegen die laufende Hub-VictoriaMetrics: alle Ausdrücke parsen; BackupJobStale und
CronJobStale liefern für den Ist-Zustand keinen Treffer (Backups 10 h alt, Watcher 0,1 h), dieselben
Ausdrücke mit 1-h-Schwelle liefern Treffer, die Logik greift also. absent(argocd_app_info) trifft
erwartungsgemäß, solange der Scrape noch nicht deployt ist. Die ArgoCD-Metrik samt Labels
(health_status, sync_status, operation, autosync_enabled, project) wurde direkt am Controller-Port
geprüft. Die gerenderten Objekte bestehen kubeconform mit dem CRD-Katalog. Nicht getestet ist ein echtes
Feuern der ArgoCD-Alerts, da aktuell alle Applications gesund sind.


Fehlersuche

kubectl -n argocd get applications.argoproj.io                                 # Zustand je App
kubectl -n monitoring get vmrule | grep -E 'argocd|cronjobs'                   # Regeln vorhanden?
kubectl get cronjob -A                                                          # CronJobs und letzter Lauf
kubectl get jobs -A --sort-by=.metadata.creationTimestamp | tail
Symptom Ursache Lösung
Kein Alarm, obwohl eine App Degraded ist Alert (severity: critical) ist im Alertmanager nicht geroutet oder ntfy-bridge scheitert ntfy-bridge, Monitoring
Alarme mit severity: warning kommen nicht an seit dem Entfernen von Gotify nicht mehr zugestellt gewollt, Hinweis oben im Dokument
ArgoMetricsMissing feuert nach dem Ausrollen vmagent hat den Scrape noch nicht übernommen einige Minuten warten
ArgoAppOutOfSync nach manuellem Eingriff Auto-Sync aus, zum Beispiel durch cubi autosync oder cubi scale cubi, Auto-Sync wieder aktivieren
BackupJobStale Backup-CronJob nicht erfolgreich in 30 h Job-Pod und Logs prüfen, NAS-Backup
CronJobStale für ausgesetzte Jobs nur aktive CronJobs werden erfasst prüfen, ob suspend: true gesetzt ist
Backup-Lauf „erfolgreich“, aber leerer Dump die Regeln prüfen nur, ob der Job endet Skript des Backups und Größe der Dump-Datei prüfen

Allgemeine Fehlersuche: zentrale Fehlersuche.