20050 - GitOps- und Backup-Alerts
Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-core/2-betrieb-hardware/20050-gitops-und-backup-alerts.md
GitOps- und Backup-Alerts
Zwei Regelgruppen im Monitoring-Chart melden Störungen, die bisher nur von Hand aufgefallen sind:
ArgoCD-Anwendungen, die nicht gesund werden oder hängen, und CronJobs (vor allem Datensicherungen), die
nicht mehr erfolgreich laufen. Beide laufen über die vorhandene Alertmanager-Route und erreichen damit
ntfy, allerdings nur mit severity: critical. Regeln mit severity: warning (die meisten unten) werden seit dem Entfernen von Gotify im Oktober 2026 nicht mehr zugestellt, siehe 60060.
Anlass waren zwei reale Vorfälle:
- Die Sync-Operation der App
monitoringhing vom 2026-09-15 bis 2026-09-19 (sie wartete auf einen nie
gesunden node-exporter-DaemonSet). Aufgefallen ist es von Hand. - Die Authentik-Datensicherung schlug in den Nächten auf den 17. und 18.09. fehl (
BackoffLimitExceeded; die
Pod-Logs sind nicht mehr vorhanden, die Ursache ist daher nicht belegt). Kurz zuvor war ein Netzwerk-Startup-Race
als Ursache für 0-Byte-Dumps gefunden worden (Kommentar im Backup-Chart). Erst der dritte Lauf gelang wieder;
bemerkt wurde es nur zufällig in der Job-Historie.
Geltungsbereich
Beide Gruppen gehören zur Hub-Instanz (TECH). Der Hub-ArgoCD verwaltet auch die PROD-Applications
(prod-<app>), sie sind mit erfasst. Nicht erfasst: die eigenständige ENTW-ArgoCD-Instanz (Trainingsumgebung) und
CronJobs im PROD-Cluster, etwa das Immich-Backup: in der Hub-VictoriaMetrics existieren nur die drei TECH-CronJobs
(damals authentik-postgres-backup, vaultwarden-backup, github-release-watcher, geprüft am 2026-09-20; Authentik ist inzwischen entfernt).
ArgoCD (vmrule-argocd.yaml)
Grundlage ist argocd_app_info des application-controllers. Der Controller öffnet den Port metrics (8082)
immer, und seine NetworkPolicy erlaubt Zugriff aus jedem Namespace: nötig war nur ein
VMPodScrape, keine Änderung an ArgoCD.
| Alert | Bedingung | Schwere |
|---|---|---|
ArgoAppDegraded |
health_status = Degraded oder Missing, seit 10 min |
critical |
ArgoAppOutOfSync |
sync_status = OutOfSync, seit 1 h |
warning |
ArgoAppProgressing |
health_status = Progressing, seit 30 min |
warning |
ArgoSyncOperationStuck |
Label operation nicht leer (Sync läuft), seit 30 min |
warning |
ArgoMetricsMissing |
absent(argocd_app_info), seit 10 min |
warning |
ArgoMetricsMissing ist der Totmannschalter: ohne Metriken schweigen alle anderen. Direkt nach dem Ausrollen
kann er kurz feuern, bis vmagent den neuen Scrape übernommen hat.
CronJobs und Backups (vmrule-cronjobs.yaml)
Bewusst auf den letzten erfolgreichen Lauf und nicht auf kube_job_status_failed: fehlgeschlagene Jobs
bleiben in der Historie und würden nach der Reparatur weiter feuern.
| Alert | Bedingung | Schwere |
|---|---|---|
BackupJobStale |
CronJob mit backup im Namen, letzter Erfolg älter als 30 h |
critical |
CronJobStale |
alle anderen CronJobs, letzter Erfolg älter als das 1,5-fache des Zeitplan-Intervalls, mindestens 36 h | warning |
Ausgesetzte CronJobs (suspend: true, z. B. der wöchentliche zammad-cronjob-reindex) sind ausgenommen. Die
Schwellen passen zu täglichen Nachtläufen (Vaultwarden 01:30): eine ausgefallene Nacht meldet sich
am Vormittag danach. Erfasst sind nur CronJobs, die schon einmal erfolgreich waren; ein CronJob, der nie lief,
erzeugt keine Serie.
Das Intervall von CronJobStale ergibt sich aus kube_cronjob_next_schedule_time - kube_cronjob_status_last_schedule_time.
Tägliche Jobs melden sich weiter nach 36 h, wöchentliche wie zammad-scheduler-restart (So 04:30) erst nach 10,5 Tagen.
Vorher galten 36 h für alle, der wöchentliche Job meldete sich deshalb jeden Montagnachmittag (Anlass 2026-11-16).
Grenze: die Regeln sehen nur, ob der Job erfolgreich endete. Ein „erfolgreicher“ Lauf mit leerem Dump
(so ein 0-Byte-Dump trat bei Authentik schon auf) fällt hier nicht auf; das prüfen die Skripte der Backups selbst.
Geprüft
Vor dem Ausrollen gegen die laufende Hub-VictoriaMetrics: alle Ausdrücke parsen; BackupJobStale und
CronJobStale liefern für den Ist-Zustand keinen Treffer (Backups 10 h alt, Watcher 0,1 h), dieselben
Ausdrücke mit 1-h-Schwelle liefern Treffer, die Logik greift also. absent(argocd_app_info) trifft
erwartungsgemäß, solange der Scrape noch nicht deployt ist. Die ArgoCD-Metrik samt Labels
(health_status, sync_status, operation, autosync_enabled, project) wurde direkt am Controller-Port
geprüft. Die gerenderten Objekte bestehen kubeconform mit dem CRD-Katalog. Nicht getestet ist ein echtes
Feuern der ArgoCD-Alerts, da aktuell alle Applications gesund sind.
Fehlersuche
kubectl -n argocd get applications.argoproj.io # Zustand je App
kubectl -n monitoring get vmrule | grep -E 'argocd|cronjobs' # Regeln vorhanden?
kubectl get cronjob -A # CronJobs und letzter Lauf
kubectl get jobs -A --sort-by=.metadata.creationTimestamp | tail
| Symptom | Ursache | Lösung |
|---|---|---|
Kein Alarm, obwohl eine App Degraded ist |
Alert (severity: critical) ist im Alertmanager nicht geroutet oder ntfy-bridge scheitert |
ntfy-bridge, Monitoring |
Alarme mit severity: warning kommen nicht an |
seit dem Entfernen von Gotify nicht mehr zugestellt | gewollt, Hinweis oben im Dokument |
ArgoMetricsMissing feuert nach dem Ausrollen |
vmagent hat den Scrape noch nicht übernommen | einige Minuten warten |
ArgoAppOutOfSync nach manuellem Eingriff |
Auto-Sync aus, zum Beispiel durch cubi autosync oder cubi scale |
cubi, Auto-Sync wieder aktivieren |
BackupJobStale |
Backup-CronJob nicht erfolgreich in 30 h | Job-Pod und Logs prüfen, NAS-Backup |
CronJobStale für ausgesetzte Jobs |
nur aktive CronJobs werden erfasst | prüfen, ob suspend: true gesetzt ist |
| Backup-Lauf „erfolgreich“, aber leerer Dump | die Regeln prüfen nur, ob der Job endet | Skript des Backups und Größe der Dump-Datei prüfen |
Allgemeine Fehlersuche: zentrale Fehlersuche.