PKR-Lab

d0000 - Incident-Report — 12.08.2026: ApplicationSet-Migration löscht 32 Apps

Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-core/d-sicherheit/d0000-incident-2026-08-12.md

Incident-Report — 12.08.2026: ApplicationSet-Migration löscht 32 Apps

Postmortem zur Platform/Workloads-AppProject-Migration vom August 2026 (heutiger Stand der AppProjects: capulus-core/b-kubernetes-gitops/b0020-argocd-projects.md).
Festgehalten, damit die Ursachen bekannt bleiben und die noch offenen
Wiederherstellungs-Schritte nicht verloren gehen.


Was passiert ist (Kurzfassung)

  1. feat-update-security wurde nach main gemerged — die neue Ordnerstruktur
    (argocd/apps/platform/*, argocd/apps/workloads/*) war damit live.
  2. Die alte Bootstrap-ApplicationSet (home-server-apps, Generator-Pfad
    argocd/apps/*) beobachtete weiterhin main und fand dort nur noch
    platform/workloads als vermeintliche "Apps" — alle 34 echten Apps
    verschwanden aus ihrer generierten Liste.
  3. Per ApplicationSet-Default-Verhalten wurden alle nicht mehr generierten
    Applications automatisch geprunt — 32 von 34 Apps wurden gelöscht
    (Application-Objekt + die von ihnen verwalteten Kubernetes-Ressourcen).
    Nur minio und monitoring überlebten (ihre Applications waren zu dem
    Zeitpunkt bereits in einem Fehlerzustand und wurden nicht mehr aktiv vom
    Controller angefasst).

Ursache: Ein Deploy-Fehler meinerseits — die neue ApplicationSet
hätte vor dem Merge nach main angewendet werden müssen, nicht danach.
Das korrekte Vorgehen steht jetzt explizit in
capulus-core/b-kubernetes-gitops/b0020-argocd-projects.md → Rollout-Hinweis.


Datenrettung — was wiederhergestellt wurde

Kubernetes-Ressourcen (Deployments, Applications) lassen sich aus Git neu
erzeugen — die eigentliche Sorge waren die Nutzdaten auf PVCs. Rettung
war möglich, weil:

Vaultwarden (lokaler Storage, kein Retain-Schutz)

NAS-gestützte Apps (Nextcloud, Immich, Paperless-ngx, Wiki.js, Mealie,

n8n, MinIO, Xibosignage)

App Datenstand nach Restore
Vaultwarden 11.08., 23:30 Uhr (NAS-Backup)
Nextcloud 24.–26.07.
Immich (Postgres + 500 Gi Library) 24.–28.07.
Paperless-ngx 7.–12.08. (teils selbiger Tag)
Wiki.js 28.07.
Mealie 07.08.
n8n 12.08., 16:13 Uhr
MinIO 23.07.
Xibosignage 05.–12.08.
Authentik, Zammad, monitoring (VictoriaMetrics) nie betroffen (StatefulSet-PVCs überleben Application-Prune)
Uptime Kuma 23.07. (ältester verfügbarer Stand — local-path, kein NAS-Backup; mehrere Migrations-Leftover-PVs geprüft, nur zwei enthielten tatsächlich Daten)
Grafana (Dashboards/Admin-Login) nicht wiederherstellbar — lief schon immer auf local-path ohne jedes Backup. Dashboards selbst sind aber nicht betroffen (kommen als ConfigMaps aus Git, nicht aus der SQLite). Nur individuelle UI-Änderungen (eigenes Passwort, manuell angelegte Dashboards/Ordner) sind weg — Login funktioniert wieder mit dem ursprünglichen Secret grafana-admin (68 Tage alt, nie geändert)

Offene Punkte (Stand: Ende dieser Session)


Nachtrag — Grafana zeigte nach Recovery nur noch UGREEN-NAS-Werte

Separates, aber durch denselben Tag verursachtes Problem (nicht Teil der
App-Löschung oben): Nach der Recovery zeigte das Dashboard
"Home Server Auslastung" (inzwischen durch die Hardware-Dashboards ersetzt)
nur noch ugreen-nas-Werte, keine mehr für homeserver.

Ursache: Das prometheus-node-exporter-DaemonSet nutzt
RollingUpdate mit maxUnavailable: 1/maxSurge: 0 und toleriert per
tolerations: [{operator: Exists}] alle Taints — inklusive
node.kubernetes.io/unreachable auf worker-0/worker-1 (beide seit
diesem bzw. seit 07.08. nicht erreichbar, siehe Node-Conditions
NodeStatusUnknown — Kubelet stopped posting node status). Der
RollingUpdate-Controller aktualisiert Nodes nacheinander und blieb am
alten Pod auf worker-1 hängen, der wegen des unerreichbaren Kubelets
dauerhaft in Terminating feststeckte. Dadurch kam der Rollout nie
beim eigentlich gesunden homeserver-Node an — dort existierte
zwischenzeitlich gar kein node-exporter-Pod mehr, obwohl der Node
selbst nie ein Problem hatte. Nur die statische ugreen-nas-Metrik
(eigener VMStaticScrape, kein Kubernetes-Pod) lief unabhängig davon
weiter, was den Eindruck erweckte, das Dashboard sei fehlkonfiguriert.

Fix: feststeckenden Pod hart löschen, damit der Rollout freikommt:

kubectl -n monitoring delete pod <alter-node-exporter-pod-auf-totem-node> --force --grace-period=0

ArgoCDs selfHeal: true hat danach automatisch den Rest der
monitoring-Release neu ausgerollt.

Lektion: Ein DaemonSet mit blanket-Toleration (operator: Exists)
und RollingUpdate/maxSurge: 0 kann durch einen einzigen dauerhaft
unerreichbaren Node den Rollout für alle Nodes blockieren — auch für
komplett gesunde. worker-0/worker-1 sind laut
capulus-ansible/2-betrieb-hardware/20020-cluster-power-manager.md ohnehin
nur bei Bedarf per WoL an, das ist normal — aber node-exporter-Ausfälle
auf homeserver selbst sind ein starkes Indiz für genau dieses
Rollout-Deadlock-Muster, nicht für ein Dashboard-Problem. Bei zukünftigen
"Grafana zeigt keine Werte mehr"-Fällen zuerst kubectl -n monitoring get daemonset (Feld DESIRED vs. tatsächlich laufende Pods) statt am
Dashboard-JSON zu suchen.


Direkt umgesetzte Fixes aus diesem Incident