60040 - Helm-Charts im TECH-Cluster — Hintergründe
Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-core/6-hintergruende/60040-helm-charts-tech.md
Helm-Charts im TECH-Cluster — Hintergründe
Begründungen zu argocd/apps/tech/*/values.yaml, zu den Chart-Templates und den Dockerfiles der TECH-Apps. Bedienung der Apps steht in
den Docs unter 3-apps-workloads/. Themen mit eigenem Doc: Monitoring in 60060, lldap in
60070, carplay-api in 60080, pacman in
60090, der MDM-Stack in 600d0. PROD-Apps stehen in 60050.
Gemeinsame Muster
Scheduling auf controlplane-1 (Toleration und bevorzugte Affinity)
Planung: 400a0. controlplane-1 trägt den weichen Taint capulus.homeserver/protected=true:PreferNoSchedule, damit ungepinnte Pods den Node meiden. Eine App, die dort laufen soll, bekommt zwei Werte in der values.yaml:
| Wert | Inhalt | Begründung |
|---|---|---|
tolerations |
capulus.homeserver/protected, Exists, PreferNoSchedule |
Hebt den Score-Malus des Taints für diese App auf |
affinity.nodeAffinity.preferredDuringSchedulingIgnoredDuringExecution |
Gewicht 100 auf kubernetes.io/hostname In [controlplane-1] |
Zieht die App dorthin, ohne sie festzunageln. Fällt controlplane-1 aus, weicht sie auf controlplane-0 aus |
Kein nodeSelector: Ein hartes Pinning hielte die App bei Ausfall von controlplane-1 in Pending. Pods wandern erst, wenn sie neu gestartet werden (Rollout nach der Wertänderung), laufende Pods werden nicht verschoben. Die Charts brauchen dafür tolerations und affinity im Pod-Template. In pacman fehlten die Felder und wurden ergänzt.
HPA und replicas: null
- Bei Charts, deren Values-Schema keine Autoscaling-Schlüssel kennt (headlamp, kubeseal-webgui, zammad nginx/railsserver), definiert der
Wrapper eine eigeneHorizontalPodAutoscaler-Vorlage.scaleTargetRef.nameist der literale Deployment-Name, den der
Upstream-Chart rendert (perhelm templategeprüft), kein Helm-include, weil die Templates des Upstream-Charts nicht uns gehören. - Der Replica-Wert steht in den Values auf
null(nicht weggelassen): Das Upstream-Template rendertreplicas:leer,
Kubernetes behandelt das Feld als nicht gesetzt, defaultet bei der Erstellung auf 1 und rührt es danach nicht mehr an. So bekämpft
selfHealvon ArgoCD den HPA nicht bei jedem Sync. Ein festes1würde die Deployments nach jedem HPA-Scale-Up sofort auf 1
zurücksetzen. Der Wert „Only used whileautoscaling.enabledis false“ gilt in allen anderen Charts: Danach übernimmt der HPA. - Skaliert wird oft nur nach CPU: Memory-Utilization triggerte bei zammad-railsserver ständig auf
maxReplicas, obwohl die
CPU-Last einstellig blieb (Rails pendelt sich dauerhaft über 80 % des Requests ein, normales RAM-Verhalten). Bei cloudflared,
pacman und whoami ist der Footprint winzig oder speicherunabhängig. - Der Ignore-Eintrag im ApplicationSet-Template (60030)
ist das Gegenstück auf ArgoCD-Seite.
Speicher: local-path, NAS und Squash
local-pathbindet den Pod an den Node, auf dem die PVC zuerst provisioniert wird. Diese Apps sind deshalb fest auf
homeservergepinnt (aktuell ohnehin der einzige Ready-Node), damit der Scheduler sie nicht zufällig auf worker-0/worker-1 legt
(20000).- Die StorageClass
nas(NFS, UGREEN NAS192.168.178.97, RAID1) ersetzt die altehdd-StorageClass (worker-0/sda). Eigenschaften:
reclaimPolicy: Retain(Daten bleiben beim Löschen der PVC),volumeBindingMode: Immediate(NFS ist von jedem Node mountbar), keine
Volume-Expansion (dernfs-subdir-external-provisionerkann PVCs nicht vergrößern). Pods brauchen keine NodeAffinity mehr, und der
Provisioner läuft auf jedem Node, die „Bindung“ ist der NFS-Mount und nicht der lokale Pfad. Die Leader-Election des Provisioners
läuft über Endpoints im eigenen Namespace. immich-nasist ein eigener Provisioner für den Export/volume2/immich-storage, getrennt vom generischen Export
/volume1/k8s-storage: Kapazitätsplanung und Backup der Fotobibliothek bleiben so unabhängig vom übrigen Cluster-Storage. Er ist mit
no_root_squashexportiert.- Das NAS erzwingt inzwischen
all_squashauf dernas-Klasse (keinno_root_squashmehr verfügbar), auch Root-Requests werden
gesquasht. Deshalb liegen reine State-Daten auflocal-path: die Postgres-Datenverzeichnisse von Zammad, Nextcloud, Wiki.js und
Immich, VictoriaMetrics und Vaultwarden. Dateien und Blobs bleiben aufnas. Ein Umzug bestehender PVCs braucht das
Migrations-Runbook in 20000, dennstorageClassNameist immutable. local-pathlegt das Verzeichnis alsroot:root(0777) an.fsGroupsetzt nur die Gruppe, nicht den Owner, deshalb scheitert der
internechmod-Fixup eines Nicht-root-Postgres (UID 1001) wie zuvor auf NFS. Der Bitnami-Fix ist ein Init-Container
(volumePermissions), der einmalig als root vorchownt.
Root-Container und runAsNonRoot
Diese Images laufen bewusst als root oder brauchen einen Root-Start, ein erzwungenes runAsNonRoot/runAsUser bricht sie:
| App | Grund |
|---|---|
| uptime-kuma | Das Image hat kein USER und erwartet root: Der Entrypoint (/app/extra/entrypoint.sh) chownt /app/data selbst nach $PUID:$PGID und wechselt danach per setpriv. Mit erzwungenem Nicht-root-Start scheitert der chown immer mit „Operation not permitted“, unabhängig von StorageClass und Volume-Ownership. PUID/PGID steuern den Privilege-Drop (läuft am Ende als 1000:1000). |
| uptime-kuma (CORS) | Die Website ruft die Status-Page-API im Browser ab, Kuma sendet dafür keine CORS-Header. Die Middleware uptime-kuma-cors am öffentlichen Ingress erlaubt nur die Website-Ursprünge und nur lesende Methoden. Ohne sie bleibt der Live-Status auf updates.html leer („nicht abrufbar“), obwohl die Status-Page 200 liefert. |
| lldap | Der Entrypoint startet als root, chownt /app und /data auf UID/GID (Default 1000) und wechselt per gosu (gleiches Muster wie uptime-kuma). |
| vaultwarden | Das offizielle Image läuft als root (kein USER), anders als n8n. |
| pihole | FTL braucht root plus Capabilities (NET_ADMIN/NET_RAW laut Upstream-Doku, auch ohne DHCP), um Port 53 zu binden. Kein drop: ALL mehr: Der Entrypoint braucht das normale Docker-Default-Set (u. a. CHOWN, SETGID, SETUID, FOWNER), um auf den internen pihole-User zu wechseln und Volume-Dateien zu chownen. Mit drop: ALL brach der Start mit einer Kette von „Operation not permitted“ ab. Da der Container ohnehin als root läuft (Single-Tenant-Node), bringt selektives Droppen hier keinen relevanten Gewinn. |
| pacman | Distroless-Image: Das Basis-Image :nonroot hat bereits die numerische UID 65532. USER nonroot (symbolisch) im Dockerfile würde einen nicht-numerischen User in die OCI-Config schreiben, den die runAsNonRoot-Prüfung des kubelet ablehnt („image has non-numeric user (nonroot)“). Das Dockerfile setzt deshalb die numerische UID explizit (USER 65532:65532), das ist derselbe Wert wie der Image-Default. |
Seccomp und n8n-Image. Die selbst gebauten und gehärteten Charts (alamos-apager, alamos-relay, carplay-api, cloudflared in TECH und PROD, github-release-watcher, mediamtx, ntfy-bridge, wiki-docs-sync) setzen im Container-securityContext seccompProfile: RuntimeDefault. Containerd wendet ohne diese Angabe kein Seccomp-Profil an. Die Images (Python, cloudflared, mediamtx) wurden vorab lokal unter Dockers Standardprofil, als Nicht-root, mit --read-only und --cap-drop ALL gestartet. Nicht umgestellt sind Charts mit Root-Start oder Fremd-Images (Tabelle oben, außerdem Zammad, Monitoring, Argo Workflows, Semaphore, MinIO, n8n, Nextcloud, Immich und weitere), weil ein Profil dort nur pro App mit Test eingeführt werden kann. Das n8n-Image bekommt kein explizites USER: Es läuft ohnehin als node, und jede Änderung am Dockerfile löst einen Rebuild und Neustart des empfindlichen n8n aus (SQLite auf dem NAS).
Die Dockerfiles von carplay-api und pacman sind Multi-Stage-Builds: Ein statisches Go-Binary kommt auf ein Distroless-Image ohne Shell,
Paketmanager und libc — nichts, was ein Angreifer im kompromittierten Container nutzen könnte, und nichts zu patchen. Beim carplay-api ist
die im Image gesetzte UID nur der Image-Default, das securityContext des Deployments (runAsUser: 1000) überschreibt sie.
Images und Build
- Keine schwebenden Tags.
lldapsteht aufv0.6.3und quickchart (Xibo) aufv1.8.1; das warenstableundlatestmit demselben Digest wie die konkreten Tags, der Wechsel ändert also nichts am laufenden Image. Das einzige verbleibendebusyboxohne Tag gehört zum Helm-Test-Pod des Zammad-Charts (wget-Test), der nicht deployt wird und sich über Values nicht ändern lässt. Renovate schreibt die Digests dazu (f0020). - Tags sind zur Reproduzierbarkeit gepinnt. Selbst gebaute Images (pacman, carplay-api, n8n, isc-news-bot, alert-caller) baut
.github/workflows/build-images.ymlbei jeder Änderung anDockerfile/src; der Lauf öffnet einen PR, derimage.tagsetzt
(600a0, f0060). - Ist das GHCR-Package privat, braucht der Namespace ein Pull-Secret:
kubectl -n carplay-api create secret docker-registry ghcr-pull --docker-server=ghcr.io --docker-username=<user> --docker-password=<pat>. - Chart-Versionen schweben:
argo-workflowshängt mitversion: "*"am Community-Chart (beobachtet zum Zeitpunkt
der Erstellung: argo-helm 1.0.x). Ein neuer Upstream-Stand wird also automatisch gezogen. Eine konkrete Version
festlegen, sobald sie mithelm search repogeprüft ist. Das frühereminio-Chart ist mit dem Wechsel auf Garage entfallen.
Externe Hosts, Namen und ForwardAuth
- Externe Hosts hängen am Cloudflare-Tunnel-Wildcard (
*.pkr-lab.de) und werden an Traefik weitergereicht
(c0040). Externe Namen tragen einen Bindestrich statt Punkt (Cloudflares kostenloses
Universal-SSL deckt nur eine Label-Ebene ab), z. B.wiki-prod.pkr-lab.de. Zwei Namen weichen bewusst vom App-Namen ab:status
stattuptime-kuma(damit die eingesetzte Software nicht aus der URL erkennbar ist) undsupportstattzammad(so lautet der
öffentliche Hostname in cloudflared). - Kein zentrales SSO: Authentik-ForwardAuth ist im Oktober 2026 entfernt worden, jede App sichert sich mit ihrem eigenen Login. Das war für
Vaultwarden (die Bitwarden-Apps und Browser-Erweiterungen sprechen die API direkt, Master-Passwort und eigenes 2FA sichern sie, ein Redirect würde
Login/Sync brechen), Grafana (keine wichtigen Daten dahinter, Nutzerentscheidung 22.08.2026), den externen Status-Host von Uptime Kuma, Xibo (nur das
CMS-Login), mediamtx (eigene interne Auth, siehe unten) und lldap (nur intern) schon vorher so. - Zweite Ingresses: Bei Semaphore als
semaphore-api.tech.homeserver, weil die Rollesemaphore_bootstrapdie REST-API ohne
Browser-Session-Cookie anspricht. Uptime Kuma hat weiterhin den-native-Ingress aus der Authentik-Zeit, der ohne SSO nur ein zweiter Host auf
dieselbe App ist. Alle vom*.homeserver-Wildcard automatisch aufgelöst. - Admin-Tools bleiben intern (lldap, Headlamp, Semaphore, MinIO: „Nicht freigeben“ in
e0000). Ein Dienst wird nur öffentlich, wenn seiningress.hostseinen
eigenen*-pkr-lab.de-Host enthält.
Zertifikate und TLS
Warum es kein Wildcard-Zertifikat gibt. Ein echtes *.homeserver ist strukturell unmöglich (Single-Label-TLD, RFC-6125-/
X509_check_host-Regel, unabhängig vom Tool, siehe d0040). Das Zertifikat
homeserver-wildcard-tls (Namespace kube-system) enthält deshalb eine explizite dnsNames-Liste, tier-behaftet
(<app>.tech.homeserver, <app>.prod.homeserver). Ein neuer Host braucht einen Eintrag dort plus Commit. Das ist inhärent zur
fehlenden Wildcard-Fähigkeit, nicht spezifisch für cert-manager.
| Stelle | Begründung |
|---|---|
| cert-manager statt manuellem Ablauf | Ersetzt „SAN-Liste live aus dem Cluster ziehen, mit openssl signieren, kubeseal“ und das committete SealedSecret. cert-manager erneuert vor Ablauf (duration/renewBefore), der Kalender-Reminder für den 11.11.2028 entfällt. Der alte SealedSecret trug noch die untierte Liste von vor der Domain-Tier-Migration, das war der eigentliche Grund für Hostname-Mismatches auf jedem tier-behafteten Host. |
| SAN-Einträge, die man leicht vergisst | argocd.tech.homeserver (Web-UI per Ingress), der Journal-Upload-Host (Rolle journal_upload: ohne Eintrag scheitert die TLS-Prüfung, und der Upload-Dienst läuft in eine Fehlerschleife), nextcloud.prod.homeserver (originServerName des TECH-Tunnels für die PROD-Hosts, siehe 028), alamos-relay.prod.homeserver und pacman.prod.homeserver (liefen noch in TECH, hatten aber keinen SAN-Eintrag: TLS-Prüfung gegen https://alamos-relay.prod.homeserver scheiterte mit Hostname-Mismatch, Sweep 2026-09-24). Authentik braucht einen Hostnamen (Authelia brauchte wegen einer statischen Cookie-Domain pro Tier zwei), die lldap-Web-UI ist LAN/Tailscale-only. |
| ClusterIssuer nutzt die bestehende Root-CA | Kein SelfSigned-Bootstrap mit neu erzeugter Root-CA (der cert-manager-Standardweg): Das würde eine komplett neue CA erzeugen und auf jedem Client-Gerät einen erneuten Trust-Store-Rollout brauchen. Stattdessen wird die vorhandene CA (rootCA.pem/rootCA-key.pem) einmalig als Kubernetes-Secret importiert, das auf allen Geräten installierte pki/homeserver-root-ca.pem bleibt gültig (Befehl in d0040, „Einmaliger Import“). |
| CA-Key nicht als SealedSecret | Der CA-Key wandert bewusst ins Cluster (cert-manager muss selbst signieren und erneuern können), ist aber höherwertig als ein App-Secret: Ein Leak der Sealed-Secrets-Controller-Keys aus dem Repo darf ihn nicht mit offenlegen. Der Import bleibt ein einmaliger manueller kubectl create secret-Schritt außerhalb von GitOps, das Secret existiert nur im Cluster. |
| PROD: eigene Intermediate-CA | Der PROD-Issuer signiert mit einer PROD-eigenen Intermediate-CA aus der gemeinsamen Root-CA (Entscheidung 0.3, Baustein 4 in 40080). Clients vertrauen weiter nur der Root-CA, kein neuer Trust-Rollout. Der Root-Key verlässt den Rechner nicht, nur der Intermediate-Key liegt in PROD (Secret homeserver-ca-keypair im Namespace cert-manager, einmalig manuell importiert, nie im Repo, auch nicht versiegelt). Das PROD-Zertifikat hat dieselben Secret-/Namespace-Namen (homeserver-wildcard-tls in kube-system), damit das TLSStore unverändert greift, aber nur die *.prod.homeserver-Hosts. |
| cert-manager-Values | CRDs sind Teil des Helm-Release (ArgoCD wendet alles in einem Sync an, kein manueller Vorab-Schritt). Sie bleiben erhalten, falls die App aus ArgoCD entfernt wird: Ein versehentliches Prune soll nicht alle Zertifikatsdefinitionen mitreißen. Die startupapicheck ist deaktiviert: Ihr Job hängt bei jedem Sync ein zusätzliches Job-Objekt an, das manuell aufgeräumt werden müsste (ArgoCD prunt abgeschlossene Jobs nicht), die echte Verifikation läuft über den Status des Certificate. |
TLSStore default |
Der Name default ist keine freie Wahl, sondern die von Traefik reservierte Sonder-Ressource, die für jeden Router ohne explizites TLSStore gilt. Ohne sie fiele jeder Router auf Traefiks selbstsigniertes Zertifikat zurück (Browser-Warnung trotz Verschlüsselung). Bewusst ein TLSStore statt spec.tls.secretName an jedem der ~36 Ingress-Objekte. |
Globaler HTTP→HTTPS-Redirect (ports.web.http.redirections) |
Ohne ihn beantwortet Traefik Port 80 für jeden Host weiterhin unverschlüsselt, das Zertifikat greift nur auf :443. Sichtbar wurde das über Authentik: Dessen ForwardAuth-Middleware berechnet die Rückkehr-URL dynamisch aus dem tatsächlichen Request-Schema (trustForwardHeader: true), kam der Request über Port 80, blieb der gesamte Login-Flow samt Auth-Cookie auf Klartext-HTTP. cloudflared zeigt für externe Hosts ohnehin auf den HTTPS-Entrypoint und ist vom Redirect nicht betroffen. |
| Folge des Redirects | Der Redirect ist ein 308, und viele Clients folgen ihm bei POST nicht (urllib, systemd-journal-upload, ansible.builtin.uri). Deshalb sind https:// und der Port Pflicht bei journal_upload, semaphore_api_base, vmagent und der Zammad-URL des github-release-watcher (60020). |
Traefik-Metriken und HelmChartConfig
- Die
HelmChartConfigbraucht ein explizitesmetadata.namespace: kube-system(wiecoredns-custom). Ohne landet das Objekt in
der Namenskonvention des ApplicationSets (Namespacetraefik-config, passend zum Ordner), wo k3s’ interner helm-controller es nie
findet, weil er nur nach einerHelmChartConfigmit demselben Namen und Namespace wie das zugehörigeHelmChartsucht. expose.default: falsenimmt Port 9100 nicht nur aus dem Ingress, sondern komplett aus dem generiertentraefik-Service
(kubectl get svc traefik -n kube-systemzeigte nurweb/websecure). DerVMServiceScrapereferenziert einen Service-Port namens
metrics, ohne den lief der Scrape ins Leere: VictoriaMetrics hatte nulltraefik_*-Metriken, und alle „User Requests“-Panels in den
generierten Pro-App-Dashboards standen dauerhaft auf „No data“ (korrigiert 2026-09-15, live verifiziert). Der Fix
metrics.prometheus.service.enabled: truelässt den Traefik-Chart einen zusätzlichen, rein clusterinternen ClusterIP-Service
traefik-metricsmit einem Portmetricsrendern (gleicher Selektor plusapp.kubernetes.io/component: metrics), ohne Port 9100 auf den
externen LoadBalancer-Service zu legen. Geprüft mithelm show values traefik/traefik --version 40.1.0(entspricht dem k3s-Addon
traefik-40.1.4+up40.1.0).- Der Scrape selektiert nur
app.kubernetes.io/name: traefik(nicht zusätzlich die Instance), weil k3s’ Addon-Charts den Instance-Suffix
je nach Version anders benennen (kubectl get svc traefik -n kube-system --show-labels). Er trifft zwei Services (Haupt-Service ohne
Portmetrics,traefik-metricsmit dem Port), nur dort greift der Endpoint. honorLabels: trueist nötig: Ohne schreibt VMAgent beim Scrapen sein eigenesservice-Label (= Name des gescrapten k8s-Service,
hiertraefik-metrics) über Traefiksservice-Label (der eigentliche Router-Service, z. B.pacman-pacman-80@kubernetes, per
addServicesLabels: true). Traefiks Original landet dann nur inexported_service. Live verifiziert am 2026-09-15: Alle
traefik_service_requests_total-Serien trugenservice="traefik-metrics", wodurch jede Dashboard-Query mitservice=~"^<namespace>-.*"leer
blieb, obwohl die Metriken längst ankamen.
coredns-custom
k3s-CoreDNS lädt automatisch alle ConfigMap-Keys mit dem Suffix .server aus diesem ConfigMap (import /etc/coredns/custom/*.server).
Hintergrund: dnsmasq auf dem Host (192.168.178.94:53) löst *.homeserver für LAN und Tailscale auf, Cluster-Pods nutzen aber CoreDNS
(10.43.0.10) und kennen die Domain nicht. Anfragen an z. B. semaphore.tech.homeserver scheiterten mit „no such host“. Der Block
leitet alle *.homeserver-Anfragen an dnsmasq weiter.
Zweites CoreDNS-Replikat per HPA (hpa.yaml im selben Verzeichnis): Das Deployment coredns gehört dem k3s-Addon-Controller (objectset.rio.cattle.io/owner-name: coredns, Manifest /var/lib/rancher/k3s/server/manifests/coredns.yaml mit replicas: 1). Eine manuelle Skalierung oder ein Patch durch ArgoCD kann beim erneuten Anwenden des Addons zurückgesetzt werden, und ArgoCD würde ein fremd verwaltetes Deployment nicht übernehmen. Ein HPA mit minReplicas: 2 und maxReplicas: 2 stellt die Anzahl nach jedem Zurücksetzen binnen Sekunden wieder her, ohne das Addon zu berühren. Wohin das zweite Replikat kommt, regeln die vorhandenen topologySpreadConstraints des Addons (kubernetes.io/hostname, DoNotSchedule): immer auf den anderen Server. Fällt controlplane-1 aus, bleibt das zweite Replikat Pending und der erste läuft weiter. Die CPU-Schwelle (100 %) spielt wegen min == max keine Rolle, die Metrik ist nur nötig, weil ein HPA mindestens eine verlangt.
cloudflared
- Zwei Replicas = zwei unabhängige Edge-Verbindungen für denselben Tunnel (cloudflared unterstützt das nativ, kein Leader-Election
nötig). Wirksam solangeautoscaling.enabled=false, danach übernimmt der HPA (minReplicas: 2, damit zwei Verbindungen das Minimum
bleiben). Skalierung nur nach CPU (winziger Footprint: 32Mi Request, 128Mi Limit). - Origin-Zertifikat wird geprüft (kein
noTLSVerify). Der Hop cloudflared → Traefik (https://traefik.kube-system.svc.cluster.local:443) lief früher mitnoTLSVerify: true: Ein Pod, der den Service-Namen verbiegt, hätte den Tunnelverkehr lesen können. Jetzt prüft cloudflared das Zertifikat gegen die Homeserver-Root-CA (caPool: /etc/cloudflared/origin-ca.pem, die öffentliche CA steht invalues.yamlalstunnel.originCaPem, identisch zupki/homeserver-root-ca.pem, und kommt über die vorhandene ConfigMap in den Pod). Der Service-Nametraefik.kube-system.svc.cluster.localsteht nicht in der SAN-Liste, deshalb setztoriginServerNameeinen Namen, der drin steht: im TECH-Wildcardhomeserver, in den PROD-Hostregeln (und in der Konfiguration des PROD-Tunnels)nextcloud.prod.homeserver. Das ist nur der Name für SNI und Prüfung, geroutet wird weiter über denHost-Header. Traefik liefert für beide Namen sein Standardzertifikat (TLSStore). Vor der Umstellung geprüft mitopenssl s_client -verify_hostnameund einem Go-tls.Dial(RootCAs nur die Root-CA,ServerNamewie oben) gegen beide Traefik-Instanzen. Fallstrick: Verschwindet der Name aus der SAN-Liste (PROD:nextcloud.prod.homeserver) oder ändert sich die Root-CA, bricht jeder Tunnel-Aufruf mit 502; der Pod bleibtReady, weil die Liveness-Probe nur/readydes Tunnels prüft. Dann inoriginServerNameeinen vorhandenen Namen eintragen. Die Prüflauf-Spuren stehen im Log (kubectl -n cloudflared logs deploy/cloudflared | grep -i 'x509\|certificate'). - Verteilung auf beide Control-Planes: Statt der Affinity auf controlplane-1 gilt eine bevorzugte Pod-Anti-Affinity auf den Hostnamen (Gewicht 100) und dieselbe Toleration für den weichen Taint. Hinter der Wahl steht der Zweck der Replicas: zwei Edge-Verbindungen sollen nicht am selben Node hängen. Mit einer Affinity auf controlplane-1 wären alle Pods dort, ein Neustart des Nodes trennte den Tunnel ganz. Die Anti-Affinity verlangt kein Verteilen (
preferred), bei einem Node-Ausfall laufen alle Pods auf dem verbleibenden. Das Zieltraefik.kube-system.svcund das Secretcloudflared-credentialssind clusterweit erreichbar, es hängt nichts an einem Node. Die Anti-Affinity matchtapp.kubernetes.io/instance: cloudflared, das ist der Helm-Release-Name (gleich dem ArgoCD-Application-Namen). - Tunnel-Name und Tunnel-ID (UUID aus
cloudflared tunnel create) sind kein Secret, nur Bezeichner, unbedenklich im Klartext. - Der TECH-Tunnel bedient auch die PROD-Hosts. Seit dem Wechsel auf
pkr-lab.de(2026-11-12) zeigt bei Cloudflare nur noch ein Wildcard-CNAME auf den TECH-Tunnel. Fürnextcloud-prod,immich-prod,wiki-produndxibo-prodsteht inargocd/apps/tech/cloudflared/values.yamlje eine Regel vor dem Wildcard, die anhttps://192.168.178.99:443(Traefik des PROD-Clusters) weiterreicht, mitoriginServerName: nextcloud.prod.homeserver. Der PROD-Tunnelhomeserver-prodläuft weiter, bekommt aber keinen Verkehr mehr und soll abgebaut werden. Fallstrick: Der TECH-Tunnel ist jetzt ein gemeinsamer Ausfallpunkt für TECH- und PROD-Hosts.
Apps
alamos-apager und alamos-relay
- alamos-apager: Hält pro Standort nur den Redirect Stationsname → AMweb-URL und einen Heartbeat-Zeitstempel vor. Die echte AMweb-URL
(Secret-Volume unterSTATIONS_DIR) verlässt den Cluster nie Richtung Pi.GET /start?station=<name>→ 302 auf die AMweb-URL,
GET /heartbeat?station=<name>→ Lebenszeichen des Pi,GET /metrics→ Prometheus-Metriken. Ein Hintergrund-Thread prüft
periodisch, ob ein Standort länger alsHEARTBEAT_TIMEOUT_SECONDSkeinen Heartbeat gesendet hat, und meldet das per ntfy (kein
Zammad-Ticket, 30010). Der Timeout soll deutlich über dem Heartbeat-Intervall des
Pi-Timers liegen (Timer der Rollebanana_pi_kiosk), damit ein einzelner verpasster Ping keinen Fehlalarm auslöst. /metricsexportiert je Standort den Zeitstempel der letzten erfolgreichen/start-Anfrage (= der Kiosk-Browser hat die echte
AMweb-URL tatsächlich angefragt) und des letzten Heartbeats. Genutzt vom n8n-Workflow „Banana-Pi-Down → Zammad-Ticket“, um im Ticket zu
zeigen, wann der Standort zuletzt erfolgreich war (30020). Es wird
cluster-intern perVMServiceScrapegescrapt und funktioniert unabhängig davon, ob ein Standort per LAN oder Tailscale angebunden ist,
weil alamos-apager selbst immer im Cluster läuft. Das SealedSecret mit den Standort→URL-Paaren (ein Key pro Standort) erzeugt der Chart
nicht, derkubeseal-Befehl steht in 30010.- alamos-relay: Öffentlich per Cloudflare-Tunnel erreichbar, damit ALAMOS AMweb ohne Blockade durch Private Network Access den
Webhook aufrufen kann, ohne n8n selbst öffentlich zu machen (300i0). Einziger Endpunkt:
GET/POST /relay/<TOKEN>. Das Token kommt aus dem SealedSecret (RELAY_TOKEN), der Pfadvergleich läuft perhmac.compare_digest
(konstante Laufzeit, kein Timing-Seitenkanal). Jede andere Pfad/Methode-Kombination bekommt exakt dieselbe 404-Antwort wie ein falsches
Token, ein Angreifer kann Pfad und Token nicht unterscheiden. Bei Treffer wird der Request 1:1 (Methode, Query, Body, Content-Type) an
N8N_TARGET_URLweitergereicht und n8ns Antwort 1:1 zurückgegeben, damit ALAMOS dieselbe Rückmeldung sieht wie bei einem direkten Aufruf.
Der Aufruf ist ein normaler Server-zu-Server-Call, kein Browser beteiligt (vermuteter Grund, warum der direkte Aufruf von AMweb aus nicht
funktionierte, 300h0, „Private Network Access“). Das Ziel ist der interne
Cluster-DNS-Name (n8nim Namespacen8n, Port 80), nicht Traefik/n8n.prod.homeserver: ein unnötiger Umweg über den
Ingress-Controller. Token-Erzeugung mittr -d '\n': 60030. - Mehrere Verbindungen, Timeout, Body-Grenze, Token nicht im Log. Der Relay lief mit dem einthreadigen
HTTPServerohne Socket-Timeout: Eine einzige offen gehaltene Verbindung (Slowloris) hätte die Weiterleitung weiterer Alarme blockiert. Er nutzt jetztThreadingHTTPServer, jede Verbindung läuft mit dem Handler-Timeout von 10 Sekunden, ein Body über 1 MiB bekommt413, eine kaputteContent-Length400. Die Zugriffszeile des Servers enthält den Pfad und damit das Token;log_messageersetzt es durch***, sonst stünde es im Pod-Log (und im zentralen VictoriaLogs). Das Token liegt weiterhin im Pfad, weil AMweb den Aufruf nicht mit Header sendet; Traefik- und Cloudflare-Logs enthalten es deshalb weiter. - Egress-Beschränkung nur hier: Dieser Pod ist der einzige, der selbst Egress einschränkt (
networkpolicy-default-deny-egress,
sonst bleibt die Egress-Seite der ansible-verwalteten Policy offen, was für einen öffentlich erreichbaren Pod nicht reicht). Selbst wer
Pfad/Token errät oder den Python-Prozess kompromittiert, erreicht nur n8ns Webhook-Port. Erlaubt sind nur DNS (ohne die
DNS-Ausnahme blockiert das Default-Deny auch die Auflösung, ein klassischer Fehler bei Egress-Policies) und die n8n-Pods (nicht „irgendwas im
n8n-Namespace“) auf ihrem Webhook-Port. Ingress bleibt unangetastet (kube-systemundcloudflaredmüssen den Pod erreichen). Die
n8n-Seite spiegelt das überargocd_network_policy_extra_ingress → n8nincapulus-ansible/roles/argocd/defaults/main.yml, sonst blockt
n8ns eigene verfeinerte Policy den Namespace weiterhin (d0030, Schritt 2).
argo-workflows und garage
-
Kaniko ist entfernt (2026-10-18). Das WorkflowTemplate
kaniko-build-pushlief mitgcr.io/kaniko-project/executor(zuletzt aufv1.24.0fixiert, gleicher Digest wielatest); das kaniko-Projekt von Google ist archiviert, der Scan zeigte 5 CRITICAL / rund 150 HIGH, undbuild-images.ymlhat das Template ersetzt. Zuletzt lief es vor rund 61 Tagen. Der alte Docker-Config-Secretghcr-pushist übrig (siehe f0000). -
clusterWorkflowTemplates.enabled: falsefür Server und Controller. MitsingleNamespace: truelegt das Chart (2.0.13) zwar die ClusterRoleBindingsargo-workflows-server-cluster-templateundargo-workflows-workflow-controller-cluster-templatean, aber nicht die dazugehörigen ClusterRoles (deren Template verlangtnot singleNamespace). Die Bindings zeigten ins Leere, und jede künftig angelegte ClusterRole mit diesem Namen hätte sofort Rechte an die beiden ServiceAccounts vergeben. Es gibt keineClusterWorkflowTemplateim Cluster, die Funktion wird nicht gebraucht; wer sie später nutzen will, musssingleNamespaceauffalsestellen und beide Schalter wieder einschalten. -
argo-workflows: Controller und Server sind auf den Release-Namespace beschränkt (einfacher und sicherer als cluster-weit für ein
Ein-Nutzer-Heim-CI). HTTP im Klartext, TLS endet bzw. entfällt hinter Traefik im LAN. Artefakt-Repository und Log-Archiv liegen auf Garage
(cluster-intern,region: garage), die Zugangsdaten kommen aus dem Secretargo-artifacts-s3und müssen dem Key ingarage-secrets
entsprechen (beide aus einem Lauf vonscripts/seal-garage.sh).
Eine ClusterRole erlaubt demargo-workflow-ServiceAccount, Pods und
Workloads in allen Namespaces zu lesen, zu skalieren und zu überwachen, ausschließlich vom Workflownightly-pod-maintenancegenutzt. -
minio: Der Chart-Default für
replicasist 16 (verteilt), im Standalone-Betrieb muss das überschrieben werden, damit Scheduling und
Validierung einen einzelnen Pod erwarten. Der Default-Request von 16 Gi Speicher wäre auf dem Homeserver nie schedulbar und wird hart
überschrieben. Die S3-API bleibt cluster-intern (minio.minio.svc:9000), nur die Konsole hat einen Ingress. Buckets werden beim ersten
Start angelegt, seit 2026-11-15 aber nicht mehr:buckets: []undusers: []. Der Chart legt dafür den PostSync-Jobminio-post-job
mitquay.io/minio/mcan. MinIO veröffentlicht die Images auf quay.io und Docker Hub nicht mehr öffentlich (401), der Hook hing in
ImagePullBackOffund der Sync blieb stehen (ArgoSyncOperationStuck). Der Bucketargo-artifactsliegt auf der PVC und bleibt.
Geht die PVC verloren, muss er von Hand angelegt werden. Der Chart-Defaultusershätte zudem den Benutzerconsolemit
consoleAdminund öffentlich bekanntem Passwort angelegt. Das Chart ist auf5.4.0fixiert (vorher*). Das Server-Image
quay.io/minio/minioist ebenfalls nicht mehr öffentlich, der Pod startet nur, solange das Image auf dem Node liegt. Liegt die bestehende PVC schon auf einer anderen StorageClass, muss vor dem Sync manuell migriert werden
(storageClassNameist immutable, Runbook in 20000). Die Root-Zugangsdaten sind ein SealedSecret (minio-root, SchlüsselrootUser/
rootPassword).
github-release-watcher
- Der CronJob läuft alle 120 Minuten.
*/120im Minutenfeld ist kein gültiger Cron-Ausdruck (das Feld endet bei 59), Schrittweite muss
im Stundenfeld stehen. - Installierte Version aus dem Repo (
currentFrom, seit 2026-11-15). Vorher stand sie alscurrentVersionvon Hand in den Values und
veraltete nach jedem Upgrade (Nextcloud stand aufv34.0.2, lief34.0.5), außerdem waren nur 8 Apps eingetragen. Jetzt liest der
Watcher Image-Tag bzw. Chart-Version auspkr-lab/capulus-core@main. Das ist der Stand, den ArgoCD ausrollt. Ein manueller Eingriff im
Cluster (Auto-Sync aus) fällt dabei nicht auf, dafür gibt esArgoAppOutOfSync. - Höchste Version statt
/releases/latest. Nextcloud markiert Backport-Releases (v33.0.11) als „latest“, der Watcher hätte
34.0.5als aktuell gemeldet. Gezählt wird die höchste Versionsnummer der Releases ohne Draft/Pre-Release, Tags aufrc/beta/alpha
sind zusätzlich ausgeschlossen.has_updatevergleicht Zahlen, nicht Zeichenketten (v12.0.2=12.0.2,release-4.5.5<4.5.6). tagPrefixund State-Schlüssel. Monorepos (VictoriaMetrics/helm-charts) liefern mehrere Produkte, der Präfix trennt sie. Der
State-Schlüssel ist dannrepo#prefix. Einträge ohne Präfix behaltenrepoals Schlüssel, damit bestehende Einträge nicht neu
initialisiert werden.- Nicht erfasst: selbst gebaute Images (
ghcr.io/pkr-lab/*,sha-…), Basis-Images (python, alpine, postgres, redis),
argo-workflows(Chart*ohne Lock, ArgoCD löst immer die neueste Version auf) undkubeseal-webgui(Chart-Version und
App-Releases haben verschiedene Nummern). Zammad wird über das Chart (zammad/zammad-helm) verglichen, das App-Repo veröffentlicht
keine GitHub-Releases. GitHub-Releases des Charts können der Helm-Repo-Index vorauslaufen. ttlSecondsAfterFinished: 86400.failedJobsHistoryLimit: 3hält die letzten drei fehlgeschlagenen Jobs für immer. Drei Jobs vom
August hieltenKubeJobFailedmonatelang offen. Mit der TTL löscht Kubernetes jeden beendeten Job nach einem Tag.- Ein optionaler GitHub-PAT hebt das Limit der unangemeldeten API (60 Anfragen/h; seit 2026-11-15 braucht ein Lauf rund 55 Anfragen, 30 Release-Listen und gut 20 Repo-Dateien) auf 5000/h. Er
kommt aus einem vorhandenen Secret, das der Chart nicht anlegt (60030). - Die Zammad-Ticket-URL ist
https://, nichthttp://: Traefik antwortet mit 308, undurllibfolgt einem 308 bei POST nicht (die
Ticketanlage schlüge fehl). Die interne Root-CA kommt austemplates/ca-configmap.yaml. Die Zammad-Gruppe erwartet bei Untergruppen
den vollqualifizierten Namen mit::(ParentGruppe::Untergruppe), Agenten der Gruppe bekommen eine E-Mail, wenn ihre Profil-Benachrichtigung
„Neues Ticket“ aktiv ist. Die Anfrager-Adresse muss vor dem Aktivieren (suspend: false) angepasst werden. role.yaml:createlässt sich nicht perresourceNameseinschränken (das Objekt existiert vorher nicht), es ist eine eigene Regel ohne
resourceNames. Eine zweite Rolle erlaubt dem carplay-api-ServiceAccount (anderer Namespace) nur das Lesen der Update-Status-ConfigMap,
keinen Zugriff auf die State-ConfigMap oder sonst etwas (60080). Der ServiceAccount-Name muss zu
carplay-apipassen (kubectl get sa -n carplay-api).
Benachrichtigungen: ntfy, ntfy-bridge
- ntfy
base-urlmuss der extern erreichbare HTTPS-Host sein, nicht der interne.tech.homeserver-Name. Für iOS relayt ntfy.sh nur einen
stillen „Wake-up“-Push, den Nachrichtentext holt das Handy danach über die Notification-Service-Extension per GET auf${base-url}/…. Ist
diebase-urlein LAN-only-Name (außerhalb WLAN/Tailscale nicht auflösbar) oder reines HTTP (von iOS App Transport Security geblockt),
scheitert der Abruf still: Die Benachrichtigung kommt an (der APNs-Relay-Teil funktioniert), aber ohne Inhalt, und in der App wird nichts nachgeladen.
Live bestätigt am 2026-09-15 (Tausendemessages_published,base-urlstand noch auf dem internen Host). auth-default-access: deny-allheißt: Ohne Token oder Login geht weder Publizieren noch Abonnieren, auch nicht von außen überntfy-tech.pkr-lab.de. Der Default stand zuvor auf
read-write(jeder durfte alles) und darf nur aufdeny-allstehen, wenn alle Sender und Leser Zugangsdaten haben (10010).
Der Default gilt auch für Aufrufe aus dem Cluster (http://ntfy.ntfy.svc.cluster.local): ntfy-bridge, alamos-apager, n8n und carplay-api brauchen deshalb alle einen
Token, ein Sender ohne Token verstummt mit403, ohne dass ein Pod ausfällt. Die Token-UmgebungsvariableNTFY_TOKENist in den Charts optional
(secrets.ntfyToken.enabled), ohne Token sendet das Skript wie bisher anonym, damit die Reihenfolge Chart → Umstellung nicht an einem Deploy-Zeitpunkt hängt.- Nutzer, ACLs und Tokens liegen in
auth.dbim Daten-PVC (local-path, ein Node). Geht das PVC verloren, sind sie weg und mitdeny-allkommt nichts mehr an.
Vor jeder Änderungauth.dbaus dem Pod sichern. - Anhänge sind nur mit
attachment-cache-direrlaubt. Ohne den Eintrag lehnt ntfy jeden PUT mit Datei ab (invalid request: attachments not allowed). Das traf am
11.10.2026 den Fehler-Screenshot des ISC-News-Workflows. Das Verzeichnis liegt auf dem Daten-PVC (1 Gi), deshalb sind Datei- und Gesamtgröße begrenzt (5 MB, 100 MB). Ein Anhang
hat Ablaufzeit, ntfy räumt ihn selbst auf. - ntfy-bridge bekommt die Basis-URL ohne Topic, z. B.
http://ntfy.ntfy.svc.cluster.local.
alert-caller
Telefon-Alarm im Cluster, Bedienung in 10020. Der Anrufer wurde zuerst für eine externe VM gebaut (60020), läuft aber vorerst als Pod,
weil ein Ausfall des Clusters (und damit kein Anruf) bewusst in Kauf genommen wird.
hostNetwork: true,dnsPolicy: ClusterFirstWithHostNet,strategy: Recreate,nodeSelectoraufhomeserver. baresip handelt mit ICE und STUN eine Adresse für den Medienstrom aus. Im Pod-Netzwerk maskiert Flannel jeden neuen Fluss mit
MASQUERADE --random-fullyund wählt den Quellport zufällig, die per STUN gesehene Adresse und der Port zur Gegenstelle können dann auseinanderfallen (Überlegung aus den iptables-Regeln des Homeservers, nicht mit Linphone gemessen). Im Host-Netzwerk benutzt baresip den
Port des Hosts, die Zuordnung übernimmt dann nur noch der Heimrouter (üblicherweise unabhängig vom Ziel, nicht geprüft). Folgen: Zwei Pods würden um Port 9310 und 10000–10100 streiten (deshalbRecreatestatt Rolling), der Pod gehört auf denhomeserver(Worker schlafen, dort gäbe es den Pod nicht),
undNetworkPolicys gelten für Pods im Host-Netzwerk nicht. Deshalb hat das Chart keine eigenen Policies. Den Port 9310 erreichen Pods über den Service, von außen blockiert UFW ihn (nur der Pod-CIDR ist erlaubt).
Der Webhook hat keine Authentifizierung: Jeder Pod im Cluster könnte einen Anruf auslösen. Das ist wegen des Aufwands für einen Angreifer und des geringen Schadens (ein Anruf) in Kauf genommen. Ändert sich das, bekommt der Webhook ein Bearer-Token (http_config.authorizationim Alertmanager).caller.pyliegt im Chart (src/caller.py) und kommt per ConfigMap in den Pod (.Files.Get), nicht ins Image. So braucht eine Änderung am Skript keinen Image-Build, nur einen Merge: Die Prüfsumme der ConfigMap (checksum/script) startet den Pod neu. Das Image enthält die Werkzeuge,
die sich selten ändern:baresip4.12.0 (selbst gebaut, siehe 60020 für den Grund), Piper samt Stimme und sox. Das Dockerfile und.dockerignoresind die einzigen Pfade, diebuild-images.ymlauslösen. Dieselbecaller.pybenutzt die Ansible-Rolle für die VM.librewird gepatcht (patches/libre-sips-route.patch,patch -p1im Dockerfile). Linphone antwortet mitRecord-Route: <sips:sip11.linphone.org:5061;lr>,librekennt in Routen nursip:und liefertENOSYS: Der ACK wird nicht gesendet und der Anruf direkt nach dem Abheben beendet. Der Patch akzeptiertsips:(mit TLS). Er gehört zurev4.12.0, bei einem Versionssprung prüfen, obsip_request_allocinsrc/sip/request.cnoch passt oder inzwischen selbstsipskennt..dockerignorelässt deshalbpatches/durch, und Änderungen dort lösen den Image-Build aus.baresipwird ebenfalls gepatcht (patches/baresip-srtp-no-gcm.patch): Wechselt die Gegenstelle mitten im Gespräch die SRTP-Suite, setzt baresip nur die Empfangsseite zurück und sendet mit der alten Suite weiter, das iPhone hört dann Stille. Der Patch nimmt die GCM-Suiten nicht an, damit Linphones re-INVITE (GCM zuerst) beiAES_CM_128_HMAC_SHA1_80bleibt. Wer GCM will, muss stattdessen inmodules/srtp/srtp.cauchsrtp_txzurücksetzen und gründlich gegen Linphone testen. Auch hier bei einem baresip-Update prüfen, ob die Stelle noch passt.- ICE bleibt ungepatcht, bewusst:
librearbeitet die Prüfliste kettenartig ab und wartet auf alle toten Kandidatenpaare des iPhones, deshalb beginnt die Ansage 16 bis 24 s nach dem Abheben. Schnellere Patches (Takt alle 20 ms, 4 statt 7 Wiederholungen) liefen am 2026-10-11 in ein Rennen: Prüfungen liefen in den Timeout, bevor das iPhone antwortete, das Paar wurde danach gültig, blieb aber im StatusFailed(icecomp: set_selected: invalid state 'Failed'), und die Ansage kam nur manchmal. Deshalb wieder entfernt, Details in 10020. Das Dockerfile wendet alle Dateienpatches/libre-*.patchundpatches/baresip-*.patchder Reihe nach an. - Gepinnte Lieferkette im Build.
reundbaresipwerden nicht mehr per Git-Tag geklont (ein Tag lässt sich verschieben), sondern über den Commit (BARESIP_RE_SHA,BARESIP_SHA:git init,git fetch --depth 1 <url> <sha>,checkout FETCH_HEAD). Beide SHAs gehören zuv4.12.0; bei einem Versionssprung beide ARGs undBARESIP_VERSIONzusammen ändern (git ls-remote https://github.com/baresip/re.git refs/tags/vX.Y.Z) und die Patches prüfen. Piper kommt ausrequirements.txtmit Hashes aller Abhängigkeiten (pip install --require-hashes), erzeugt unter Python 3.12 (wie Ubuntu 24.04) mitpip-compile --generate-hashes --allow-unsafe --strip-extrasausrequirements.in; die Kommentare, diepip-compileschreibt, sind entfernt. Neu erzeugen:docker run --rm -v "$PWD":/w -w /w python:3.12-slim sh -c 'pip install pip-tools && pip-compile --generate-hashes --allow-unsafe --strip-extras --output-file=requirements.txt requirements.in', danach die#-Zeilen löschen.requirements.txtsteht in.dockerignore(!requirements.txt) und in den Pfad-Filtern vonbuild-images.yml. Das Basis-Imageubuntu:24.04pinnt Renovate per Digest (f0020). - Das Dockerfile baut zweistufig (Build-Stage mit Compiler, Laufzeit-Stage nur mit Bibliotheken) und kopiert
/opt/baresipund/opt/piper(venv samt Stimme) herüber. Beides hängt an absoluten Pfaden, deshalb müssen beide Stages dieselbe Basis (ubuntu:24.04, Python 3.12) haben.
CMAKE_INSTALL_RPATHist nötig, sonst findetbaresipseine Bibliotheken in/opt/baresip/libnicht. Das Image läuft als Nutzer 1000 mit schreibgeschütztem Dateisystem. Beschreibbar sind nuremptyDirs:/var/lib/alert-caller(Ansage, Aufnahme),/run/alert-caller(Konfiguration von baresip, das in sein Verzeichnis schreibt) und/tmp. - Das SIP-Konto entsteht aus Umgebungsvariablen (
SIP_USER,SIP_DOMAIN,SIP_PASSWORD, …). Im Secret steht deshalb nur das Passwort statt einer ganzen Kontozeile, die man von Hand versiegeln müsste. Das Passwort darf kein;,"oder Leerzeichen enthalten, der Caller prüft das beim Start. - STUN:
config.sip.stunServerzeigt aufstun.cloudflare.com:3478, nicht auf den STUN-Server von Linphone: Der antwortet mit veralteten RFC-3489-Attributen, baresip lehnt das ab und die ICE-Sammlung scheitert (gesehen beim ersten Testanruf am 2026-10-11, Details in 10020). - Probes sind
tcpSocket. Der Webhook-Server hat keinen eigenen Health-Pfad. HC_PING_URList ein optionaler Schlüssel (secretKeyRef.optional: true): Ohne ihn läuft der Caller ohne healthchecks.io.- Der Pod findet VictoriaMetrics über den Service-Namen (
config.vmUrl), die Kontext-Abfragen der Paging-Regeln laufen also nur, solange VictoriaMetrics läuft. - Registrierung:
alert-callersteht inargocd_platform_appsundargocd_network_policy_refined_namespaces(capulus-ansible/roles/argocd/defaults/main.yml),argocd/bootstrap/projects.yamlwird mitmake render-bootstrap CORE_DIR=<Pfad zu capulus-core>erzeugt. Die Tier-Policy ausmake argocdgreift nicht auf den Pod, weil er im Host-Netzwerk läuft. caller.pykommt über die ConfigMap, nicht über das Image (.Files.Get "src/caller.py"mitchecksum/scriptam Deployment). Eine Code-Änderung braucht deshalb nur einen Merge, keinen Image-Build.- Zugriffsschutz:
ALERT_CALLER_TOKENkommt aus dem SealedSecretalert-caller-secrets(optional: true, der Pod startet auch ohne Schlüssel),ALERT_CALLER_AUTH_MODEausconfig.auth.mode(logoderenforce). Ablauf und Gründe:
10020.hostNetworkbleibt: SIP/ICE und der RTP-Bereich10000–10100laufen direkt auf dem Host, und eine NetworkPolicy greift dort nicht.
mediamtx
- Die Konfiguration enthält nur die von den Defaults abweichenden Keys, mediamtx merged sie über seine eingebauten Standardwerte.
- Publish (RTMP/RTSP) läuft als NodePort für Encoder wie OBS/ffmpeg und ist bewusst nicht über den Cloudflare-Tunnel erreichbar:
Streaming-Quellen bleiben intern (30040, „Warum Publish nicht über Cloudflare läuft“). Die
NodePorts sind durch die UFW-Regeln bereits auf LAN und Tailnet beschränkt, es ist keine zusätzliche Firewall-Änderung nötig. Welche Ports
extern freigegeben werden, steuert ausschließlichingressbzw.argocd/apps/tech/cloudflared/values.yaml. - Die Absicherung des Playbacks läuft komplett über mediamtx’ eigene interne Benutzerverwaltung (
authMethod: internal), sie deckt
Publish und Playback ab, kein externer Identity-Provider und kein JWKS-Endpunkt nötig. Der Browser bekommt einen normalen HTTP-Basic-Dialog von
mediamtx selbst. Nutzername und Passwort liegen als SHA256-Hash (sha256:<Base64>) invalues.yaml. Das ist ein ungesalzener Hash über den Klartext,
kein Passwortschutz: Kurze oder wörterbuchnahe Passwörter lassen sich offline erraten, das Repo ist öffentlich. Die Passwörter müssen deshalb lang und zufällig sein; ein Wechsel aufargon2:mit SealedSecret ist offen. Die
Platzhalter im Chart sind absichtlich ungültige Hashes: Auth ist damit standardmäßig für jeden dicht, bis echte Hashes eingetragen sind. - Keine API, kein
any-Benutzer. Die mediamtx-API (api: no, Port 9997 weder im Pod noch im Service) ist abgeschaltet. Sie erlaubt Änderungen an der Pfadkonfiguration bis hin zurunOnInit-Kommandos und war mit dem passwortlosen
internen Benutzeranyfür jede Quell-IP offen; Metrics waren nie aktiviert. Der einzige Verbraucher war die Readiness-Probe, die jetzt pertcpSocketauf den HLS-Port prüft. Wer die API zum Debuggen braucht, schaltet sie in der
ConfigMap vorübergehend ein und ergänzt einen Benutzer mit fester Quell-IP stattips: []. - Speicher: 256Mi reichten im Leerlauf, unter echter Last (aktiver Publish plus HLS-Muxing für mehrere Zuschauer) kam es aber zu
wiederkehrendem OOMKilled → Pod-Neustart → 502 beim Zuschauer. Deshalb 512Mi als Puffer.
n8n
- Heap-Limit und Parallelität (2026-11-15). Am 14.11. ist n8n zweimal mit
JavaScript heap out of memoryabgestürzt. Der Workflow
„Alertmanager → Mattermost“ scheiterte bei jedem Lauf am nicht vorhandenen Kanalalerts, Alertmanager wiederholte jede
fehlgeschlagene Zustellung, und rund 15 dauerhaft feuernde Alert-Gruppen (schlafender worker-1) erzeugten 148 Läufe in einer Stunde,
dazu je Fehler den Error-Workflow. Der Heap stieg in wenigen Minuten auf 1,4 bis 1,9 GB.NODE_OPTIONS=--max-old-space-size=1536
lässt Platz für Nicht-Heap-Speicher unter dem Limit von 2Gi.N8N_CONCURRENCY_PRODUCTION_LIMIT=10stellt weitere Produktionsläufe in die
Queue, statt sie parallel zu starten. - Das Image ist ein Custom-Build (
argocd/apps/tech/n8n/image/Dockerfile):n8n-nodes-imappluswhatsapp-web.jsund Chromium für die
Workflows, die WhatsApp-Nachrichten aus einem Code-Node senden. Verwendet wird das offizielle npm-Paketwhatsapp-web.js
(github.com/wwebjs/whatsapp-web.js), nicht das ältere[email protected](Alpha von 04/2024 mit Puppeteer 18 und ohne
Kanal-Unterstützung, also ohne@newsletter-IDs). - Der Code-Node „An WhatsApp senden“ startet
whatsapp-web.js/Chromium in einem eigenen Node-Prozess (child_process), weil der Task-Runner
alle Prototypen einfriert und Puppeteer darin scheitert. Externe npm-Module braucht der Code-Node deshalb nicht,whatsapp-web.jslädt nur der
Kindprozess. - Webhook-Authentifizierung und Absicherung (Incident 012, 2026-10-17) (30070):
- Header Auth mit
Authorization: Bearer. Alertmanager setzt diesen Header nativ (http_config.authorization, wie beim alert-caller), und alamos-relay sowie das Shell-Skript brauchen
keinen eigenen Headernamen. Je Sender ein eigenes Credential, damit eine Rotation nur einen Sender trifft. - Reihenfolge beim Einschalten: erst die Sender, dann n8n. Ein Webhook mit Header Auth lehnt Anfragen ohne Header mit
403ab. Würde n8n zuerst umgestellt, gingen Einsatzalarme (Relay)
und Banana-Pi-Meldungen (Alertmanager) verloren, bis die Sender nachgezogen haben. Die Sender schicken den Header vorher schon mit, n8n ignoriert ihn solange. - Der Relay reicht den Header selbst an. Er kennt das Token aus dem Schlüssel
n8nTokendesselben SealedSecret wie das Pfad-Token. Alamos selbst kann keinen Header setzen und ruft weiter nur die
geheime Relay-URL. - Nightly-Wake:
https://statthttp://undcurl --fail. Traefik leitet HTTP mit301auf HTTPS um, curl folgt nicht, der Bericht kam mit der alten URL nicht an und die Journal-Warnung
erschien nur bei Verbindungsfehlern. Mit--faillöst jetzt auch ein403oder301die Warnung aus. N8N_PROTOCOLbleibthttp. Der Pod-Listener spricht HTTP, TLS endet an Traefik, Liveness- und Readiness-Probe sind HTTP. Einhttpswürde n8n ohne eigenes Zertifikat nicht sinnvoll bedienen
und ein ausgefallenes n8n verliert Einsatzalarme. Die Links in Oberfläche und Webhook-URLs kommen ausWEBHOOK_URLundN8N_EDITOR_BASE_URL, beide auf HTTPS.N8N_SECURE_COOKIE: "true". Die Oberfläche ist per301ohnehin nur über HTTPS erreichbar.N8N_BASIC_AUTH_ACTIVEist seit n8n 1.0 wirkungslos und wurde entfernt, die Anmeldung läuft über die Benutzerverwaltung.child_processund Execute Command bleiben bewusst. Der WhatsApp-Sendeprozess (siehe oben), die Aufräumjobs von Xibo und Instagram (find -delete,rm) und der KI-Lauf (liest das ServiceAccount-Token zum Skalieren von Ollama) brauchen sie. Ersatz
durch CronJobs würde laufende Workflows umbauen und eigene Rechte für NFS und Ollama verlangen. Das Restrisiko (Codeausführung durch jeden, der Workflows bearbeiten darf) wird durch 2FA am Owner-Konto begrenzt./webhook/isc-newsist nicht abgesichert. Aufrufer ist eine externe Website, deren Fähigkeit zum Senden eines Headers (und Geheimhaltung des Tokens) offen ist. Ein Token im Browser-Code wäre öffentlich.
- Header Auth mit
- Instagram-Bilder (
instagram.*in dervalues.yaml, Workflowinstagram-post-per-mail.json, 300l0):- Öffentlicher Pfad statt Upload. Die Graph API nimmt für Bilder nur eine
image_url, die Meta selbst abruft. Deshalb beantwortet n8n für genau diesen
Zweck Anfragen aus dem Internet. Das ist die einzige Abweichung vom Grundsatz „n8n bleibt unerreichbar“ (siehe alamos-relay unten). Ein eigener Relay-Dienst
wurde bewusst nicht gebaut: Er bräuchte Image, Chart, NetworkPolicy und einen Upload von n8n dorthin, für Dateien, die nach Sekunden wieder gelöscht werden. - Zweiter Ingress mit
pathType: Exact. Der bestehende Ingressn8n.prod.homeserverbleibt unverändert. Der neue Hostinstagram-bilder-prod.pkr-lab.deroutet
nur/webhook/instagram-bild, alles andere auf diesem Host hat keine Regel und endet bei Traefik mit 404. MitPrefixwürde jeder spätere Webhook, dessen Pfad so
beginnt, mitveröffentlicht. Der Wildcard*.pkr-lab.dezeigt schon auf den TECH-Tunnel, deshalb ist kein DNS-Eintrag nötig. emptyDirstatt PVC. Die Bilder sind kurzlebig und dürfen einen Pod-Neustart nicht überleben. Auf dem NFS-PVC lägen öffentlich abrufbare Dateien neben der n8n-
Datenbank. Der Mount stellt zugleich sicher, dass der Ordner existiert und für uid 1000 beschreibbar ist (fsGroup), ohne dass der Workflow sich darum kümmern muss.N8N_RESTRICT_FILE_ACCESS_TOenthält jetzt/data/instagram-bilder. Die Variable ersetzt den n8n-Standard (~/.n8n-files), nicht ergänzt ihn: Wer sie setzt, muss alle
erlaubten Ordner aufzählen. Der Lese-Node im öffentlichen Zweig kann damit nichts außerhalb des Bilderordners lesen, auch wenn der Pfadcheck im Code-Node versagte.- Token statt Dateiname. Die Datei heißt
<32 Hex-Zeichen>-<Nr>.jpg. Der Code-Node lässt nur dieses Muster zu und baut den Pfad selbst, nie aus der Anfrage. Ein
erratbarer Name (Zähler, Zeitstempel) wäre öffentlich lesbar. - Wait-Node mit POST. Der n8n-Wait-Node nimmt den Fortsetzungs-Aufruf standardmäßig per GET an, der ntfy-Button
method=POSTsendet aber POST und bekäme404. Der Node
„Warten auf Freigabe“ steht deshalb aufhttpMethod: POST, ininstagram-post-per-mail.jsonund inisc-news-veroeffentlichen.json(dort am 11.10.2026 nachgezogen, vorher
lief der Button ins Leere). - Zuschnitt rechnet in der EXIF-ausgerichteten Ansicht. Edit Image dreht ein EXIF-gedrehtes JPEG vor dem Zuschnitt. Rechnet man den Zuschnitt im ungedrehten Raum, wird ein
Hochkantfoto falsch beschnitten (beobachtet mit n8n2.42.3). - Zuschnitt mit Sicherheitsabstand (
0,805statt0,8,1,905statt1,91): Nach dem Skalieren rundet das Bild auf ganze Pixel und könnte sonst knapp außerhalb
von 4:5 bis 1,91:1 landen, was Meta ablehnt. - Gleiche JSON-Datei wie beim ISC-Workflow. Der Power-Automate-Flow liefert den Anhang Base64-kodiert und mit deutschen Feldnamen (
titel). „Mail lesen“ dekodiert deshalb bei Bedarf, „Beitrag pruefen“ kennttitelunduntertitel. Ohne das endete der erste Lauf mit „JSON-Anhang ist nicht lesbar“ (gleicher Fehler wie beim ISC-Workflow am 11.10.2026). - Betreff
INSTAGRAMohne1002011. Die Postfachregel für ISC-News verschiebt jeden Betreff mit1002011inISC-News. Ein Betreff mit dieser Zahl landete dort und
der Instagram-Trigger sähe ihn nie.
- Öffentlicher Pfad statt Upload. Die Graph API nimmt für Bilder nur eine
- ISC-Urkunden melden (Bot
src/isc/urkunden.ts, Workflowisc-urkunden-melden.json, 300m0):- Liste über
dlrg_DoPoststatt über HTML oder curl. Die Tabelle der Urkunden-App wird per JavaScript nachgeladen, im HTML steht sie nicht. Ein eigener POST an/apps/urkunden?page=servicemüsste das Anfrageformat und den CSRF-Schutz der Seite nachbauen. Der Bot ruft deshalb im Browser dieselbe Funktion wie die Oberfläche auf und bekommt die Liste als JSON. - Filter nach PO-Nummer, nicht nach Namen. Die Bezeichnungen im ISC sind lang und ändern sich gelegentlich („Deutsches Schwimmabzeichen Bronze (Freischwimmer)“), die PO-Nummern 111, 121–123, 141 nicht. Fehlt
poNrin einem Eintrag, helfen Ausbildungs-ID und die Zahl in Klammern im Namen. - Stand in n8n, nicht im Bot. Der Bot ist zustandslos (Dateisystem schreibgeschützt, eine Replica, Neustart jederzeit). n8n hält die gesehenen UIDs im Static Data des Workflows, zusammen mit dem Datum. So beginnt jeder Donnerstag mit einem frischen Stand und Urkunden vom Nachmittag lösen keine Mail aus.
- Erster Lauf um 17:25 ohne Mail. Gemeldet werden soll nur, was im Fenster ab 17:30 dazukommt. Der Lauf um 17:25 nimmt den Stand auf, damit schon der Lauf um 17:30 eine neue Urkunde erkennt.
- Zeitfenster doppelt geprüft. Cron im Trigger und Uhrzeitprüfung im Node „Konfiguration“. Ein manueller Start oder ein versehentlich geänderter Trigger schickt so außerhalb des Fensters nichts, außer im Testmodus.
- Liste über
- ISC-News-Mail kommt aus Power Automate (Workflow
isc-news-veroeffentlichen.json, Node „Mail lesen“, 300k0):- Base64-JSON wird akzeptiert. Der Anhang
homepage.jsonkam beim ersten echten Lauf (11.10.2026) Base64-kodiert an (eyJ0aXRlbCI6…), vermutlich doppelt kodiert.
JSON.parsescheiterte und der Lauf endete mit „JSON-Anhang ist nicht lesbar“. Der Node versucht erst Klartext-JSON, dann Base64. So funktionieren beide Absenderseiten, auch
wenn der Flow in Power Automate später korrigiert wird. - Deutsche Feldnamen
titel,untertitel,kategorien. Der Power-Automate-Flow liefert sie klein und deutsch. Ohne die zusätzlichen Namen fehlte nach der Dekodierung die
Überschrift. Weitere Felder aus dem Flow (autor,freigegebenVon,datum,bilder) werden ignoriert, der Autor kommt ausDEFAULT_AUTHORdes Dienstes. - HTML wird bereinigt. Outlook hängt
<attachment id="…"></attachment>an und füllt leere Zeilen mit<p> </p>. Beides fliegt raus, bevor der Text in den
ISC-Editor geht. Der Mail-Text selbst taugt nicht als Quelle: Er enthält dasselbe JSON mit rohen Zeilenumbrüchen in einem String und ist damit ungültig. - Schlagwort-Feld im ISC ist jQuery tokenInput mit Theme
facebook. Der erste echte Lauf (11.10.2026) scheiterte im Bot mitFORM_CHANGEDam Selektorinput.token-input-input-token, der nur im Mock
existierte. Im echten HTML heißt das sichtbare Feld#token-input-mainUploadUploadKeywordTk(Klassen tragen das Suffix-facebook), der Wert landet im versteckten#mainUploadUploadKeywordTk.
Der Mock bildet das jetzt so nach. Der Dropzone-Datei-Input (input.dz-hidden-input) hängt Dropzone anbody, nicht in#mainUpload: Der Bot nimmt deshalb den Fallback über den Dateidialog (Klick auf die Dropzone). - Mail ohne
modeveröffentlicht. Der Power-Automate-Flow liefert keinmode, schickt die Mail aber erst nach der Freigabe (freigegebenVon). Mit Standarddraftblieb die News nach dem ersten echten Lauf (11.10.2026, News 142386) gesperrt.
Für Mails gilt deshalbpublish, außer das JSON sagtdraftoderentwurf. Formular und Webhook behaltendraft. - Die Mail wird nach dem ersten Lesen nicht wiederholt. Der IMAP-Trigger filtert auf
UNSEENund markiert gelesen. Nach einem Fehlschlag muss die Mail neu gesendet werden.
- Base64-JSON wird akzeptiert. Der Anhang
- SQLite gehört nicht auf NFS (2026-10-19). Das Datenvolumen lag auf
nas(NFSv3). Die Datenbank (rund 110 MB, WAL-Modus) lieferte dort wiederholtDatabase ping failed (…): Database connection timed outundLockAcquireTimeoutError … SqliteWriteConnectionMutex, rund 15-mal in 48 Stunden, jedes Mal mitDatabase connection recovereddanach. Ursache ist das WAL: Es braucht Shared Memory (-shm) und verlässliches Locking, beides ist über NFS nicht zugesichert. Das Volume liegt jetzt auflocal-pathmitnodeSelectoraufhomeserver, wie bei Uptime Kuma und Vaultwarden, und das PVC trägtDelete=false(ein Abräumen durch ArgoCD würde sonst die Daten löschen). Wer dort eine SQLite-Datenbank aufnaslegt, bekommt dasselbe Problem. - Umzug eines PVC auf eine andere StorageClass.
storageClassNameist unveränderlich, das PVC muss gelöscht und neu angelegt werden. Fallstricke dabei: (1) Der ApplicationSet-Controller setzt jede Änderung ansyncPolicyder Application und die Annotationargocd.argoproj.io/skip-reconcilesofort zurück, Auto-Sync lässt sich nur überargocd-application-controllerauf 0 Replicas anhalten (danach wieder auf 1). (2)local-pathbindet erst beim ersten Pod (WaitForFirstConsumer). Ein Hilfs-Pod mitnodeNameumgeht den Scheduler, das PVC bleibt dannPending;nodeSelectorauf den Node verwenden. (3) Den alten Export nicht als zweites PVC mounten, solange das alte PVCTerminatingist: ein Pod, der denselben Namen auf das alte PVC auflöst, kopiert das Verzeichnis auf sich selbst. Sicherer ist, die alte Freigabe alsnfs:-Volume (schreibgeschützt) neben dem neuen PVC einzuhängen. (4) Auflocal-pathläuftchownals root, aufnasscheitert es wegenall_squash. Der PV dernas-Klasse hatRetain, die Daten bleiben nach dem Löschen des PVC auf dem NAS liegen und sind so das Sicherheitsnetz. - Backup-Job (restic, 20010). Die Pod-Labels des Jobs dürfen nicht
n8n.selectorLabelssein: Der Servicen8nwählt Pods überapp.kubernetes.io/name: n8naus und würde sonst für die Laufzeit des Jobs auf den Backup-Pod zeigen. Das Datenverzeichnis ist schreibbar eingehängt, weil ein lesender SQLite-Zugriff im WAL-Modus-shmöffnen können muss. Ausgeschlossen sind nur Dinge, die der Dienst selbst neu erzeugt (Chromium-Caches,binaryData, Logs). Nicht ausschließen:config(Schlüssel der verschlüsselten Credentials in der Datenbank) undwhatsapp-session. - Publish und Morgenbericht-Mail. Publish setzt in der Mail nur maskierten Klartext ein. Eine Markdown-Umwandlung dort würde die Mails aller anderen Aufrufer verändern, deshalb nimmt Publish optional fertiges
mailHtmlund der Morgenbericht baut es im NodeBericht bauen. Die Hilfsvariablen dort tragen das Präfixmh, weil der Code-Node einen gemeinsamen Gültigkeitsbereich hat: Einconst listekollidierte mit der vorhandenen Funktionliste(Identifier 'liste' has already been declared). Der Wertmail: "false"im NodeMorgenbericht vorbereitenhatte die Mail zuvor abgeschaltet. - Live-Workflow und Repo-Datei laufen auseinander.
morgenbericht-news.jsonim Repo enthält Platzhalter statt der geheimen ICS-Links, der Live-Workflow hat zusätzlich Nodes (Wetter, HiOrg-Kalender, Updates, Backups). Ein Import oderPUTder Repo-Datei würde die echten Links überschreiben. Änderungen werden deshalb gezielt in den betroffenen Nodes des Live-Workflows gemacht und in der Repo-Datei nachgezogen. Der n8n-API-Key dafür kommt aus der n8n-Oberfläche (Einstellungen, n8n API), läuft ab und gehört nicht ins Repo.
ollama
Der Cluster-Chart argocd/apps/tech/ollama/ ist seit 2026-10-31 entfernt. Ollama läuft auf dem Desktop-PC, der Code liegt im n8n-Chart unter argocd/apps/tech/n8n/ollama-pc/ (300g0). Warum es so gebaut ist:
- Warum nicht mehr im Cluster:
worker-0(Pentium G5400T, kein AVX2) schaffte rund 1 Token/s, ein 8B-Modell scheiterte am Speicher (model requires more system memory (6.1 GiB) than is available (6.0 GiB), das Pod-Limit war nicht der Hebel). Ein 27B-Modell in Q8 braucht eine GPU und viel RAM. Dazu kamen Betriebsprobleme des Scale-to-Zero-Modells: Der Pod blieb zwölf TagePending(2026-10-06 bis 2026-10-18), weilworker-0nach einem manuellen Einschalten noch perpower-agentmitkubectl cordongesperrt war und niemand die Sperre aufhob. - Warum ein Skript im n8n-Pod und kein Code-Node. Die Logik (Wake, Polling, Vorladen, Prompt, Kürzen) soll identisch in n8n, im Benchmark und im Test laufen und sich ohne n8n testen lassen. Ein Node-Skript mit
node --testund Fake-Ollama erfüllt das, Code-Nodes nicht. n8n 2.x blockiert zudem$envin Code-Nodes und Ausdrücken (N8N_BLOCK_ENV_ACCESS_IN_NODE), der Execute-Command-Node erbt dagegen die Umgebung des Pods.child_processundNODES_EXCLUDE: "[]"sind ohnehin gesetzt (Sicherheit). - Warum der Wake ein eigener Node ist und
probeundchatgetrennt sind. Das Magic Packet muss vom Host des Homeservers kommen (power-agent), der Token für carplay-api liegt als n8n-Credential. Ein Skript im Pod könnte beides nur mit einem zusätzlichen versiegelten Secret im Pod. Deshalb im PodOLLAMA_WAKE_MODE=none:probeprüft, ein HTTP-Node weckt,chatwartet. - Warum Node-
httpstattfetch. Mitstream: falseschickt Ollama die Antwort-Header erst nach der vollständigen Generierung. Der eingebautefetch(undici) bricht nach 300 s ohne Header ab (headersTimeout), das reicht für Antworten bis zu 20 Minuten nicht.lib/http.jsnutzthttp.requestmit einem eigenen Gesamt-Timeout. - Warum vorladen, und mit demselben
num_ctx. Das Laden eines 29–43 GB großen Modells dauert Minuten und soll nicht in den Antwort-Timeout fallen. Ollama lädt ein Modell neu, wenn sichnum_ctxändert, deshalb gehen Vorladen und Anfrage mit identischenoptions. - Warum der Payload auf 90 000 Byte begrenzt ist.
cli.js chatbekommt die Eingabe als Base64 überprintf … | base64 -d | node …. Der Befehl ist ein einzelnes Argument vonsh -c, Linux begrenzt ein Argument auf 128 KiB. 90 000 Byte JSON ergeben 120 000 Zeichen Base64. Die Grenze zählt Bytes, nicht Zeichen, weil Umlaute zwei Byte brauchen. - Warum Token geschätzt werden. Das Skript ruft keinen Tokenizer auf, sondern schätzt aus der Zeichenzahl.
OLLAMA_CHARS_PER_TOKEN=3ist bewusst konservativ für Deutsch. Meldet Ollama danach mehrprompt_eval_count, als das Budget zulässt, wird einmal mit dem gemessenen Verhältnis neu gekürzt. Ollama würde sonst beim Überschreiten vonnum_ctxstill die ältesten Teile des Prompts abschneiden. - Warum das Firmenwissen in der System-Nachricht steht und nicht im Mail-Verlauf. Es ist für jede Anfrage gleich. Steht es am Anfang des Prompts, kann Ollama bei geladenem Modell den schon ausgewerteten Anfang wiederverwenden, statt jedes Mal alles neu zu berechnen. Ändert sich der Anfang (Wissen geändert), wird einmal neu ausgewertet. Das hängt von Ollamas Prompt-Cache ab und ist nicht gemessen, die Reihenfolge schadet aber nicht.
- Warum Zeilen mit
[PLATZHALTERaus dem Firmenwissen entfallen, statt die ganze Datei zu ignorieren. Ein Modell übernimmt Platzhalter-Text gern als „Fakt“ in die Antwort. Je Zeile zu filtern lässt eine halb ausgefüllte Datei sofort wirken, ein Dateiausschluss würde einen einzigen vergessenen Platzhalter mit der ganzen Datei bestrafen. Anders bei den Beispiel-Antworten: Dort hängen Frage und Antwort zusammen, deshalb wird die Datei als Ganzes ignoriert. - Warum die 40-%-Warnung nur warnt. Das Modell soll weiter antworten, wenn das Wissen wächst. Der harte Schutz ist
PROMPT_TOO_LARGE, und der Mail-Verlauf wird vor dem Wissen gekürzt. Ein Abschneiden des Wissens würde stillschweigend Preise oder Regeln entfernen. - Warum nur interne Notizen mit
Kontext:als Zusatzkontext zählen. Der KI-Entwurf selbst wird als interne Notiz gespeichert. Ohne Präfix-Filter käme er beim nächsten Lauf als „Kontext“ zurück. - Warum keine Egress-NetworkPolicy für n8n. Der Namespace
n8nhat keine Egress-Regeln (nurtier-default-ingress, siehe 60030). Kubernetes-NetworkPolicies sind Allow-Listen: Sobald eine Egress-Policy die n8n-Pods auswählt, ist jeder nicht ausdrücklich erlaubte Egress gesperrt (Zammad, ntfy, DNS). Der Zugriff auf den PC funktioniert ohne Änderung, die Beschränkung liegt in UFW auf dem PC. - Der ArgoCD-Sonderfall
ignoreDifferencesfürollamaund der Eintrag inargocd_network_policy_excluded_appssind entfernt, ebenso das Scale-RBAC. Die Aufnahme in die AppProject-Ziele entfällt mit dem Namespace.
pihole
DNS ist ein NodePort, damit der Host-dnsmasq (capulus-ansible/roles/dnsmasq) über <network_static_ip>:<nodePort> dorthin weiterleiten kann,
ohne den Router anzufassen. Der Port muss pihole_dns_nodeport in capulus-ansible/group_vars/all.yml entsprechen. Pi-hole v6/FTL braucht
kein separates dnsmasq im Container. Die Fritz!Box bleibt der eigentliche Resolver und ist DHCP-Server, Pi-hole filtert nur. Zu Root und Capabilities
siehe oben.
Update-Strategie und Readiness (seit dem Vorfall 50020):
RollingUpdatemitmaxSurge: 1/maxUnavailable: 0stattRecreate. Pi-hole ist der einzige Upstream von dnsmasq, und darüber
lösen auch der homeserver selbst (containerd/Image-Pulls, ArgoCD) und die PROD-VM auf. MitRecreatewar bei jedem Update das DNS weg,
bevor das neue Image gezogen war, und der Pull scheiterte genau daran. Jetzt läuft der alte Pod weiter, bis der neue bereit ist.- Gemeinsame PVC während des Überlappens: Die
local-path-PVC istReadWriteOnce. RWO erlaubt mehrere Pods auf demselben Node, und
einlocal-path-PV ist per Node-Affinity an genau diesen Node gebunden, also landet der neue Pod immer neben dem alten. Für die
wenigen Sekunden, in denen beide laufen, greifen zwei FTL-Instanzen auf dieselben SQLite-Dateien zu. SQLite regelt das über
Dateisperren auf demselben Kernel. Die PID-Datei liegt unter/runund ist nicht geteilt. - Readiness-Probe per
dig @127.0.0.1 pi.holestatt TCP-Check auf Port 53. Das ist derselbe Befehl wie derHEALTHCHECKim
Upstream-Image (bind-toolsist enthalten).pi.holebeantwortet FTL lokal, die Probe hängt also nicht an der Fritz!Box. Ein offener
TCP-Port hieße nur, dass FTL lauscht, nicht dass es antwortet. Erst wenn diese Probe grün ist undminReadySeconds: 10abgelaufen sind,
beendet Kubernetes den alten Pod. replicaCountbleibt1. Zwei dauerhaft laufende Instanzen auf derselben PVC wären nicht sauber (Query-Log, Gravity-Updates),
zwei getrennte PVCs bräuchten eine Synchronisation der Listen.
semaphore
- Das Image ist auf ein Release gepinnt, um überraschende API-Brüche beim ArgoCD-Sync zu vermeiden: Upgrade = Release prüfen, Tag hier
anheben, committen und pushen. SEMAPHORE_SCHEDULE_TIMEZONE=Europe/Berlin: Semaphore wertet Cron-Schedules standardmäßig in UTC aus,0 6 * * *feuert so um 06:00 Ortszeit
(Sommerzeit-sicher). Die PVC hält die eingebettete BoltDB und dieconfig.json.- Das Secret
semaphore-bootstrapfüllt die Ansible-Rollesemaphore_secrets. Der Pod startet erst, wenn es existiert, das ist in Ordnung, weil die
Rolle vor dem ArgoCD-Reconcile dieser Application läuft. Es wird als Verzeichnis ohnesubPathgemountet (nur so greiftfsGroup, mit
subPathwäre die Dateiroot:rootund für UID 1001 unlesbar). Es projiziertansible_vault_passworddorthin, und
ANSIBLE_VAULT_PASSWORD_FILEzeigt auf die Datei, damit jeder Playbook-Lauf verschlüsselte Variablen entschlüsseln kann. - Der zweite Ingress
semaphore-api.tech.homeserverist der Zugang fürsemaphore_bootstrap(siehe oben).
uptime-kuma
- Zusätzlich zu den Root-Hinweisen:
NODE_EXTRA_CA_CERTSbindet die interne Root-CA ein und ist nötig, damit HTTP(S)-Monitore gegen
*.homeservernicht mitUNABLE_TO_VERIFY_LEAF_SIGNATUREscheitern (Node.js vertraut sonst nur seinem eingebauten Root-Store). - Der interne Haupt-Host hängt nicht mehr hinter Authentik-SSO (im Oktober 2026 entfernt), es gilt der eigene Login von Uptime Kuma. Der
externe Status-Host hat einen eigenen Ingress: Öffentlich erreichbar über die bestehende
*.pkr-lab.de-Wildcard-Route (kein Cloudflare-Umbau nötig, „Neuen Dienst freigeben“ in e0010),
mit „status“ statt „uptime-kuma“ im Namen. Nur die öffentliche Status-Page-API (/api/status-page/…) wird von der „Updates“-Seite der Firmenwebsite per
Hintergrund-Request abgefragt (keine direkte Verlinkung, kein iframe), der Rest des Dashboards bleibt hinter dem Admin-Login.
vaultwarden
- Storage bewusst auf
local-path(Homeserver-System-SSD) belassen: Ein Umzug auf die NFS-Klassenaswurde erwogen und verworfen, weil das
NASall_squasherzwingt undchmod/chown-lastige Container darunter leiden. Stattdessen spiegelt eine tägliche Sicherung
(backup-cronjob.yaml) die Daten auf die NAS: schnelle lokale SSD im Betrieb, Redundanz auf dem NAS (und von dort per restic auf die
externe USB-Platte, 20010). - Das restic-Backup ist eine
Backup-Ressource (restic-backup.yaml) und kein CronJob mehr: Der capulus-operator erzeugt daraus den CronJobvaultwarden. Name, Host und Tag bleibenvaultwarden, damit die vorhandenen Snapshots weiter ausgedünnt werden (600c0). Der Operator muss laufen, bevor der alte CronJob entfällt. - Die Sicherung läuft vor dem täglichen restic-Lauf des NAS (02:00 Uhr), damit dieser eine frische Kopie snapshotet.
db.sqlite3läuft im
WAL-Modus, eine einfache Dateikopie wäre inkonsistent, deshalbsqlite3 .backup(SQLites Online-Backup-API, sicher gegen einen parallel
schreibenden Prozess). Die übrigen Dateien (rsa_key.pem, Attachments, Sends) gehen perrsync. Ziel ist eine eigene, kleine PVC. /administ auf dem öffentlichen Host gesperrt (adminRestriction, Ingressvaultwarden-adminplus Middlewarevaultwarden-admin-nur-intern). Der Admin-Token ist der einzige Schutz
der Oberfläche, und Vaultwarden hat für/adminkein eigenes Lockout. Der Pfad/adminam Hostvault-tech.pkr-lab.deist länger als/und gewinnt deshalb die Router-Priorität, der
interne Hostvault.tech.homeserverbleibt unverändert. Traefik matchtPrefixals reinen String-Präfix, gesperrt ist also alles unter/admin…(auch/administrator), in Vaultwarden liegt dort keine Route. Die Middleware nutzt die Quelladresse des Verbindungsaufbaus (keinipStrategy.depth):X-Forwarded-Forkann der Client selbst setzen
und würde die Sperre aushebeln. Anfragen durch den Cloudflare-Tunnel kommen von der cloudflared-Pod-IP und sind damit nie im erlaubten Bereich. Fehlerbild: Fehlt die Middleware oder stimmt
der Name in der Annotation nicht, verwirft Traefik den Router stillschweigend, und/administ wieder offen (fail-open), nach jeder Änderung deshalb von außen testen.domainist die öffentliche Basis-URL und wird für Links (E-Mails, Icons) und den U2F/WebAuthn-Origin-Check genutzt, sie muss zur
extern erreichbaren Domain passen. Seit Vaultwarden 1.30 läuft der Websocket auf demselben Port wie die HTTP-API. Die Registrierung steht
fest auffalse(Anlage bleibt über/adminmöglich, der Server ist im Internet nicht dauerhaft offen für neue Nutzer), die öffentliche
Organisations-Registrierung ist deaktiviert. SMTP für Passwort-Reset- und Einladungsmails nutzt ein Postfach beim Hoster, das SMTP-Passwort kommt aus
dem SealedSecret.
zammad
-
Secrets:
postgresql-pass(App-Container) undpostgresql-password(Postgres-Sub-Chart,postgres.auth.secretKeys.adminPasswordKey) müssen dasselbe Passwort enthalten,
redis-passwordgilt für den App-Container und den CloudPirates-Redis-Sub-Chart gemeinsam. Redis ohne Passwort ist mit diesem Chart nicht
nutzbar:REDIS_URLwird immer alsredis://:$(REDIS_PASSWORD)@…gebaut. Ohne definierte Variable landet der wörtliche String
$(REDIS_PASSWORD)im Passwortfeld, und Zammad sendet einAUTHan ein Redis ohne Auth. -
Init-Container
zammad-volume-permissionsohneprivileged. Der Chart-Default startet ihn mitprivileged: true, dabei ruft er nurchmod 770 /opt/zammad/tmpauf (dieemptyDirist von Haus aus für alle beschreibbar, RubysTempfile.createverlangt anderes). Der Container gehört root und braucht dafür keine Capability, weil der Eigentümer sein Verzeichnis immer ändern darf.values.yamlsetzt deshalbprivileged: falseundallowPrivilegeEscalation: false(drop: ALLundrunAsUser: 0bleiben). Der Befehl wurde lokal unter--cap-drop ALL,--read-onlyund einertmpfsmit Modus1777geprüft. Achtung:initContainerssteht in den Zammad-Values nur einmal, weitere Schlüssel gehören unter denselben Eintrag, ein zweiter überschreibt den ersten stillschweigend. -
Init-Job als ArgoCD-Sync-Hook (
zammadConfig.initJob.annotations,argocd.argoproj.io/hook: Sync). Bis Chart 16 stand hierrandomName: false:
ohne festen Namen erzeugte jeder Render einen neuen Job-Namen und die Application bliebOutOfSync. Der feste Name allein reichte aber nicht:
ttlSecondsAfterFinished: 300löschte den fertigen Job,selfHealvermisste ihn und legte ihn neu an, sodass Migrationen und
Locale.sync/Translation.syncrund alle sechs Minuten liefen (beobachtet am 2026-11-15). Chart 18 hatrandomNameentfernt, der Job heißt
unter ArgoCD immerzammad-init-1. Als Hook gehört er nicht mehr zum Soll-Zustand und läuft nur bei einem echten Sync, wie im Chart-README
empfohlen. Selektive Syncs führen keine Hooks aus, das nutzt der Umstieg in 400b0. -
Elasticsearch ist deaktiviert (Ressourcenersparnis): Zammad 7.x nutzt die PostgreSQL-Volltextsuche als Fallback, bei großem Ticketvolumen wäre ES
zu aktivieren.initialisationist standardmäßigtrue, unabhängig vonenabled: Ohne diese Zeile versucht derzammad-init-Job trotzdem, ein
nicht vorhandenes Elasticsearch zu initialisieren, und scheitert. -
Dateiablage liegt in der Datenbank (Attachments in PostgreSQL). Ein separates Volume bräuchte
ReadWriteMany, auf Single-Node-k3s nicht Standard. -
Speicher-Limits: railsserver, scheduler und die Init-Jobs führen die volle Rails-App aus. Beim Scheduler reichten 512Mi bei Backlog-Verarbeitung nicht
(vieleSearchIndexJobs nach einem Neustart → OOMKilled), angeglichen auf 1Gi reichte ebenfalls nicht dauerhaft: Der Pod lief in eine OOM-Crash-Loop
(529 Restarts in 18 Tagen), dabei gingen u. a. Mail-Jobs (Agent-Einladungsmails) mitten in der Verarbeitung verloren. Deshalb 1,5Gi.postgresql-init/-post
haben dasselbe Limit wie railsserver (DB-Migrationen, Locale-Sync). -
Postgres lag auf
nas, bis das NASall_squasherzwang und der Bitnami-Entrypoint (chmodauf das Datenverzeichnis) dauerhaft mit „Operation not
permitted“ scheiterte. Seitdemlocal-pathmitnodeSelectoraufhomeserver. Seit Chart 17 kommt Postgres aus der CloudPirates-Subchartpostgres
(offizielles Image, PG 18, StatefulSetzammad-postgres),volumePermissionsgibt es dort nicht mehr. Der Benutzerzammadist in dieser Subchart
Superuser (POSTGRES_USER). Das ist hingenommen, weil die Instanz nur Zammad dient; ein unprivilegierter Benutzer übercustomUserbräuchte ein
zweites versiegeltes Superuser-Passwort. Ein Wechsel der Subchart braucht immer Dump/Restore, weil die neue Subchart ein eigenes, leeres Volume anlegt
(400b0). Redis liegt bewusst auf der NAS, damit kein Persistenzspeicher auf der
Homeserver-SSD landet. Zum Feature-Gate-ProblemMaxUnavailableStatefulSetsiehe 60030. -
Der externe Host heißt bewusst
support, nichtzammad(so lautet der öffentliche Hostname in cloudflared). -
Öffentliche Formular-Pfade gesperrt (
formSperre)./api/v1/form_submitund/api/v1/form_configsind aufsupport-tech.pkr-lab.deper eigenem Ingress mit eineripAllowList-Middleware (127.0.0.1/32) gesperrt. Grund: Die E-Mail-Bestätigung des Kontaktformulars (300r0) ist nur wirksam, wenn man Zammad nicht direkt anfunken kann. Der spezifischere Pfad gewinnt in Traefik gegen den/-Ingress des Subcharts, deshalb braucht es keine Änderung an dessen Ingress. Der Chat-WebSocket/wslässt sich so nicht sperren, er wird in der Zammad-Administration deaktiviert.
ticket-gate
- Warum ein eigener Dienst, nicht n8n oder Zammad-Bordmittel. Zammad hat keine Bestätigung der Absenderadresse im Formular, jede Prüfung im Browser wäre mit einem direkten Request an
form_submitzu umgehen. n8n ist bewusst nicht aus dem Internet erreichbar (300i0), ein weiterer öffentlicher Webhook-Pfad dort wäre das Gegenteil. Ein Go-Dienst mit nur Standardbibliothek braucht kein Redis-Zugriff, keine Bibliothek für Mail und keine Updates von Abhängigkeiten. - Zustand im Arbeitsspeicher, genau ein Pod. Codes und Token leben 10 bis 30 Minuten, Sessions 2 Stunden. Ein Neustart kostet Nutzer höchstens einen neuen Code. Mehrere Replikas würden den Zustand teilen müssen (Redis), das lohnt bei diesem Volumen nicht.
strategy: Recreate, damit beim Ausrollen keine zwei Pods mit getrenntem Zustand laufen. Wer skaliert, ersetztinternal/storeundinternal/limiterdurch eine geteilte Ablage. - Session per Header statt Cookie. Website (
edv-kretzer.de) und Dienst (pkr-lab.de) sind verschiedene Sites. Ein Cookie wäre ein Third-Party-Cookie und wird von Safari und Firefox blockiert. Das Session-Token liegt deshalb nur im Speicher der Seite und geht alsAuthorization: Bearer. Kein Cookie bedeutet kein CSRF. - Hash über Code, Adresse und Session. Der HMAC bindet den Code an beide, ein Code aus einer anderen Session oder für eine andere Adresse scheitert schon beim Vergleich. Der Server speichert die Adresse nur im Datensatz der Session,
verify/confirmbekommt sie nie vom Client. - Antworten verraten keine Adresse.
verify/requestantwortet für jede gültige Adresse gleich, die Mail geht in einer Goroutine raus. Würde der Handler auf den SMTP-Fehler warten, ließe sich an abgelehnten Empfängern (550) ablesen, ob eine Adresse existiert. - Token wird auch bei
ticket_failedverbraucht. Ein erneuter Versuch mit demselben Token könnte sonst nach einem Zammad-Timeout zwei Tickets erzeugen. customer_id: "guess:<adresse>". Zammad legt den Kunden an, wenn er fehlt, und findet ihn sonst über die Adresse. Das setzt ein Token mitticket.agentvoraus.- Image baut Tests mit.
Dockerfileführtgo test ./...vor dem Build aus,.dockerignoreschließt_test.godeshalb nicht aus (anders als bei carplay-api). - Platzhalter-Tag
sha-0000000. Der erste Build nach dem Merge setzt den echten Tag; bis dahin ist das Deployment nicht bereit. secrets.enabled: falseals Ausgangswert. Das Chart rendert dann kein SealedSecret ohne Inhalt.scripts/seal-ticket-gate.shsetzt den Schalter beim Versiegeln auftrue.
headlamp
- Anmeldung nur mit kurzlebigem Lese-Token. Früher hing an
headlampein ServiceAccount mitcluster-admin(zwei ClusterRoleBindings, eines aus dem Subchartheadlamp-admin, eines aus dem Wrapper) samt Secret vom Typkubernetes.io/service-account-token, das nie abläuft. Wer es einmal gesehen hatte (Shell-Verlauf, Backup, Screenshot), hatte dauerhaft cluster-admin. Headlamp reicht im Token-Modus das eingegebene Token an die Kubernetes-API weiter, der Pod selbst braucht deshalb keine Rechte. Das Subchart legt sein Binding nicht mehr an (clusterRoleBinding.create: false), das Wrapper-Chart enthält nur den ServiceAccountheadlamp-viewermit der Rolleviewohne Secret.scripts/show-headlamp-token.sherzeugt perkubectl create tokenein Token mit einer Stunde Gültigkeit. - Kein Schreibzugriff über die Oberfläche.
viewenthält weder Secrets noch Schreibrechte. Ein Login-Konto mitcluster-adminund kurzer Laufzeit wäre möglich, wurde bewusst nicht angelegt. Soll Headlamp Schreibrechte bekommen, gehört dafür eine eigene ClusterRole mit den tatsächlich gebrauchten Verben ins Chart. - Altlast
kube-system/headlamp-admin. ServiceAccount und Secretheadlamp-admin-tokeninkube-systemstammen aus einer frühen Installation, haben kein Binding und stehen nicht im Chart. Sie werden von Hand entfernt:kubectl -n kube-system delete secret headlamp-admin-token && kubectl -n kube-system delete sa headlamp-admin.
Kleinere Charts
| Chart | Hinweis |
|---|---|
| headlamp | Eigene HPA, siehe „HPA und replicas: null“. Anmeldung und Rechte: Abschnitt „headlamp“ oben. |
| kubeseal-webgui | autoFetchCert lässt die App den Public Key beim Start selbst holen, statt ein statisches Zertifikat einzubetten. apiUrl ist die URL, die der Browser für das API-Backend nutzt und muss zum Ingress-Hostnamen passen, sonst funktioniert die UI nicht. Alle Keys liegen unter kubeseal-webgui:, weil das der Dependency-Name ist. |
| sealed-secrets | Vorhersagbarer Service-Name, damit die kubeseal-CLI und kubeseal-webgui den Controller ohne zusätzliche Flags finden. |
| logging | Der Grafana-Sidecar im Namespace monitoring sucht nach ConfigMaps mit dem Datasource-Label (ohne searchNamespace nur im eigenen Namespace monitoring), darüber findet er die VictoriaLogs-Datasource. Der Collector hängt bei einer URL ohne Pfad automatisch /insert/native an. |
| immich-storage, nas-storage | Siehe „Speicher“ oben. |