d0000 - Incident-Report — 12.08.2026: ApplicationSet-Migration löscht 32 Apps
Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-core/d-sicherheit/d0000-incident-2026-08-12.md
Incident-Report — 12.08.2026: ApplicationSet-Migration löscht 32 Apps
Postmortem zur Platform/Workloads-AppProject-Migration vom August 2026 (heutiger Stand der AppProjects: capulus-core/b-kubernetes-gitops/b0020-argocd-projects.md).
Festgehalten, damit die Ursachen bekannt bleiben und die noch offenen
Wiederherstellungs-Schritte nicht verloren gehen.
Was passiert ist (Kurzfassung)
feat-update-securitywurde nachmaingemerged — die neue Ordnerstruktur
(argocd/apps/platform/*,argocd/apps/workloads/*) war damit live.- Die alte Bootstrap-ApplicationSet (
home-server-apps, Generator-Pfad
argocd/apps/*) beobachtete weiterhinmainund fand dort nur noch
platform/workloadsals vermeintliche "Apps" — alle 34 echten Apps
verschwanden aus ihrer generierten Liste. - Per ApplicationSet-Default-Verhalten wurden alle nicht mehr generierten
Applications automatisch geprunt — 32 von 34 Apps wurden gelöscht
(Application-Objekt + die von ihnen verwalteten Kubernetes-Ressourcen).
Nurminioundmonitoringüberlebten (ihre Applications waren zu dem
Zeitpunkt bereits in einem Fehlerzustand und wurden nicht mehr aktiv vom
Controller angefasst).
Ursache: Ein Deploy-Fehler meinerseits — die neue ApplicationSet
hätte vor dem Merge nach main angewendet werden müssen, nicht danach.
Das korrekte Vorgehen steht jetzt explizit in
capulus-core/b-kubernetes-gitops/b0020-argocd-projects.md → Rollout-Hinweis.
Datenrettung — was wiederhergestellt wurde
Kubernetes-Ressourcen (Deployments, Applications) lassen sich aus Git neu
erzeugen — die eigentliche Sorge waren die Nutzdaten auf PVCs. Rettung
war möglich, weil:
- Alle relevanten StorageClasses (
local-path,nas,immich-nas) einen
gelöschten PVC nicht sofort physisch löschen — beinas/immich-nasbleibt
die zugehörigePersistentVolumeim ZustandReleasedmit intaktem
NFS-Verzeichnis liegen (Reclaim PolicyRetain). local-pathhat Reclaim PolicyDelete— hier ist die Rettung riskanter
(siehe Vaultwarden unten).
Vaultwarden (lokaler Storage, kein Retain-Schutz)
- Primäre Vault-PVC (
local-path) war unrettbar (ReclaimDelete, Daten
physisch weg). - Wiederhergestellt aus dem nächtlichen NAS-Backup
(capulus-core/2-betrieb-hardware/20010-nas-backup.md):db.sqlite3+rsa_key.pem,
Stand 11.08., 23:30 Uhr. Datenverlust: alles, was zwischen 23:30 und
dem Incident geändert wurde (z. B. ein zwischenzeitlicher
Master-Passwort-Wechsel eines Nutzers). - Lektion: die Restore-Kopie behielt zunächst die Dateibesitzer aus dem
Backup (uid 1000). Vaultwardens Container läuft zwar alsroot, aber mit
capabilities: drop: [ALL]— kein Capability-Bypass für fremde Dateien.
Ergebnis:"attempt to write a readonly database", Login schlug mit
generischem Fehler fehl (Passwort war die ganze Zeit korrekt). Gefixt per
chown -R 0:0auf die PVC. Diese Klasse Fehler betrifft potenziell jede
App mitcapabilities: drop: [ALL]und individuellem Storage — bei
zukünftigen Restores auflocal-pathimmer Ownership explizit prüfen,
nicht nur Dateigröße.
NAS-gestützte Apps (Nextcloud, Immich, Paperless-ngx, Wiki.js, Mealie,
n8n, MinIO, Xibosignage)
- Erster Restore-Versuch nutzte
cp -a(Ownership-Preservation) von einem
unprivilegierten Alpine-Pod auf die altenRetain-PVs. Das schlug still
fehl — BusyBox'cp -abricht bei den erwartetenchown-Fehlern (NAS
erzwingtall_squash, jederchown-Versuch scheitert) einzelne
Verzeichnis-Kopien ab, ohne den Gesamtlauf mit Exit-Code ungleich 0 zu
beenden. Ergebnis: mehrere Apps liefen scheinbar fehlerfrei wieder hoch,
aber mit faktisch leerer/unvollständiger Datenbank (z. B. Immich: 0 Fotos,
1 neu angelegter User statt der alten Accounts). - Lektion, jetzt in capulus-core/b-kubernetes-gitops/b0020-argocd-projects.md und hier
festgehalten: Bei NAS/all_squash-Storage niecp -averwenden.
cp -r(ohne Ownership-Preservation) funktioniert, weil der Squash die
Ownership sowieso überschreibt — der Versuch, sie zu erhalten, ist nicht
nur unnötig, sondern bei BusyBox aktiv gefährlich (stille Teil-Fehler).
Nach jedem Restore die tatsächliche Datenmenge prüfen (Zeilenanzahl in
einer echten Tabelle wieuser/asset/recipes), nicht nur Dateigrößen
oderls-Output — beides hatte im ersten Versuch fälschlich nach Erfolg
ausgesehen. - Korrigierter Restore (
cp -r) lief für: Nextcloud (data/html/postgres),
Immich-Postgres, Paperless-ngx (4 Volumes), Wiki.js-Postgres, Mealie, n8n,
MinIO, Xibosignage (3 Volumes) — Datenstand siehe Tabelle unten.
| App | Datenstand nach Restore |
|---|---|
| Vaultwarden | 11.08., 23:30 Uhr (NAS-Backup) |
| Nextcloud | 24.–26.07. |
| Immich (Postgres + 500 Gi Library) | 24.–28.07. |
| Paperless-ngx | 7.–12.08. (teils selbiger Tag) |
| Wiki.js | 28.07. |
| Mealie | 07.08. |
| n8n | 12.08., 16:13 Uhr |
| MinIO | 23.07. |
| Xibosignage | 05.–12.08. |
| Authentik, Zammad, monitoring (VictoriaMetrics) | nie betroffen (StatefulSet-PVCs überleben Application-Prune) |
| Uptime Kuma | 23.07. (ältester verfügbarer Stand — local-path, kein NAS-Backup; mehrere Migrations-Leftover-PVs geprüft, nur zwei enthielten tatsächlich Daten) |
| Grafana (Dashboards/Admin-Login) | nicht wiederherstellbar — lief schon immer auf local-path ohne jedes Backup. Dashboards selbst sind aber nicht betroffen (kommen als ConfigMaps aus Git, nicht aus der SQLite). Nur individuelle UI-Änderungen (eigenes Passwort, manuell angelegte Dashboards/Ordner) sind weg — Login funktioniert wieder mit dem ursprünglichen Secret grafana-admin (68 Tage alt, nie geändert) |
Offene Punkte (Stand: Ende dieser Session)
- Immich-Server-Library — nachträglich verifiziert (13.08.):
asset-Tabelle in Postgres hat 5134 Zeilen,/data/libraryenthält
5070 tatsächliche Dateien (~98,8 % Deckung, Differenz plausibel durch
Assets ohne eigene Library-Datei, z. B. reine Sidecar-/Motion-Parts).
PVC-Nutzung 126 Gi. Kopie war also entgegen der ursprünglichen Notiz
am Ende doch (nahezu) vollständig durchgelaufen. Empfehlung: zur
letzten Sicherheit einmal Immichs eingebauten "Verify"/"Missing
files"-Job über die Admin-UI laufen lassen. - Uptime Kuma wiederhergestellt (Stand 23.07.) — zusätzliche Lektion:
Uptime Kuma 2.x braucht nebenkuma.dbeinedb-config.json
({"type":"sqlite"}) im Datenverzeichnis, sonst hält die App die DB
für nicht vorhanden und startet den Ersteinrichtungs-Assistenten statt
die wiederhergestellten Daten zu laden. Fehlte im alten Backup
(vermutlich von einer Version vor der Mehrere-DB-Backends-Umstellung). - Grafana — kein Datenverlust im eigentlichen Sinn: Dashboards kommen
aus Git (ConfigMaps), nicht aus der SQLite. Login-Problem war das
ursprüngliche, nie geändertegrafana-admin-Secret (68 Tage alt),
README referenzierte einen veralteten Secret-Namen (monitoring-grafana
stattgrafana-admin) — korrigiert. - Alle wiederhergestellten Apps auf tatsächliche Funktionsfähigkeit
geprüft (13.08., per DB-Zeilenanzahl/Dateicount statt nur
ArgoCD-Health, da genau das den Immich-Beinahe-Fehler beim Incident
verursacht hatte): Wikijs 56 Seiten, n8n SQLite-DB ~10 MB (nicht
leer), Mealie SQLite-DB ~1,5 MB (nicht leer), Paperless-ngx 15
Originaldokumente. Xibosignage-DB ist leer (0 Layouts/Displays/Media)
— das ist kein Restore-Schaden, die Instanz war laut Nutzer nie
mit echten Inhalten befüllt. Login-Stichproben (UI-seitig) stehen
weiterhin aus — reine Handarbeit, nicht per CLI verifizierbar. - Vaultwarden: Nutzer, deren Passwort zwischen 11.08. 23:30 Uhr und
dem Incident geändert wurde, kommen mit dem aktuellen Passwort nicht
mehr rein (betrifft mind.[email protected], siehe oben) — Nutzer
informieren, ggf. Accounts über/adminneu einladen und Backups
(Bitwarden-Export) importieren lassen. -
nextcloud-postgresqlcrash-loopte mitPANIC: could not open file "global/pg_control": Permission denied— dieselbe Fehlerklasse wie
Vaultwarden (Container erwartetuid 999, Restore-Kopie hinterließ
root:root). Perchown -R 999:999behoben. Zusätzlich stand die
nextcloud-Deployment selbst auf 0 Replicas (vermutlich aus einem
Zwischenschritt dieser Session übrig geblieben) — wieder auf 1 skaliert. -
nextcloud(App selbst): der vordem dokumentierte Crash-Loop wegen
all_squash/rsync-chown (Begründung in 60050, Stand 26.07., vor
diesem Incident) tritt aktuell (13.08., Stand 23h Pod-Laufzeit, 0
Restarts) nicht auf — Pod läuft stabil aufnas-Storage. Kommentar
im values.yaml entsprechend korrigiert. Ursache für das
Verschwinden unklar (evtl. durch den Incident-Restore selbst
behoben, dacp -rohne Ownership-Preservation lief) — im Auge
behalten, ob es wiederkehrt. -
monitoring: ein Grafana-Dashboard-ConfigMap überschreitet das
256 KB-Annotation-Limit für client-side-apply — vorbestehendes
Chart-Problem, verhindert vollständigen Sync einiger ConfigMaps
(Metriken/PVC selbst nicht betroffen). Bestätigt weiterhin aktiv
(13.08.):monitoring-victoria-metrics-k8s-stack-node-exporter-full,
~268 KB. Deshalb steht die ArgoCD-Appmonitoringdauerhaft auf
ProgressingstattSynced/Healthy— kein neuer Fund, nur
bestätigt, weiterhin ungelöst und außerhalb des Scopes dieses
Incidents. - Aufräumen: temporäre Restore-Skripte lagen im Scratchpad dieser
Session — nicht Teil des
Repos, brauchen kein Aufräumen im Repo selbst, aber falls ähnliche
Skripte nochmal gebraucht werden, liegt das Muster (NFS-Read-Only-Mount
+cp -rauf die Ziel-PVC) hier dokumentiert vor.
Nachtrag — Grafana zeigte nach Recovery nur noch UGREEN-NAS-Werte
Separates, aber durch denselben Tag verursachtes Problem (nicht Teil der
App-Löschung oben): Nach der Recovery zeigte das Dashboard
"Home Server Auslastung" (inzwischen durch die Hardware-Dashboards ersetzt)
nur noch ugreen-nas-Werte, keine mehr für homeserver.
Ursache: Das prometheus-node-exporter-DaemonSet nutzt
RollingUpdate mit maxUnavailable: 1/maxSurge: 0 und toleriert per
tolerations: [{operator: Exists}] alle Taints — inklusive
node.kubernetes.io/unreachable auf worker-0/worker-1 (beide seit
diesem bzw. seit 07.08. nicht erreichbar, siehe Node-Conditions
NodeStatusUnknown — Kubelet stopped posting node status). Der
RollingUpdate-Controller aktualisiert Nodes nacheinander und blieb am
alten Pod auf worker-1 hängen, der wegen des unerreichbaren Kubelets
dauerhaft in Terminating feststeckte. Dadurch kam der Rollout nie
beim eigentlich gesunden homeserver-Node an — dort existierte
zwischenzeitlich gar kein node-exporter-Pod mehr, obwohl der Node
selbst nie ein Problem hatte. Nur die statische ugreen-nas-Metrik
(eigener VMStaticScrape, kein Kubernetes-Pod) lief unabhängig davon
weiter, was den Eindruck erweckte, das Dashboard sei fehlkonfiguriert.
Fix: feststeckenden Pod hart löschen, damit der Rollout freikommt:
kubectl -n monitoring delete pod <alter-node-exporter-pod-auf-totem-node> --force --grace-period=0
ArgoCDs selfHeal: true hat danach automatisch den Rest der
monitoring-Release neu ausgerollt.
Lektion: Ein DaemonSet mit blanket-Toleration (operator: Exists)
und RollingUpdate/maxSurge: 0 kann durch einen einzigen dauerhaft
unerreichbaren Node den Rollout für alle Nodes blockieren — auch für
komplett gesunde. worker-0/worker-1 sind laut
capulus-ansible/2-betrieb-hardware/20020-cluster-power-manager.md ohnehin
nur bei Bedarf per WoL an, das ist normal — aber node-exporter-Ausfälle
auf homeserver selbst sind ein starkes Indiz für genau dieses
Rollout-Deadlock-Muster, nicht für ein Dashboard-Problem. Bei zukünftigen
"Grafana zeigt keine Werte mehr"-Fällen zuerst kubectl -n monitoring get daemonset (Feld DESIRED vs. tatsächlich laufende Pods) statt am
Dashboard-JSON zu suchen.
Direkt umgesetzte Fixes aus diesem Incident
capulus-ansible/roles/argocd/templates/bootstrap-appprojects.yaml.j2:platform-
AppProject erlaubt jetzt zusätzlichkube-systemals Ziel-Namespace
(traefik-config/coredns-customdeployen dorthin, nicht in ihren
eigenen App-Namespace — das fehlte in der ersten Fassung).argocd/bootstrap/root-applicationset.yaml: zwei komplett unabhängige
ApplicationSet-Ressourcen statt einer mit Per-Generator-Template-Override
(Details: capulus-core/b-kubernetes-gitops/b0020-argocd-projects.md).