PKR-Lab

20030 - Nightly Worker Update: automatisches apt-Update für die WoL-Worker

Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-ansible/2-betrieb-hardware/20030-nightly-worker-update.md

Nightly Worker Update: automatisches apt-Update für die WoL-Worker

worker-1 ist ein reiner k3s-Compute-Node ohne die volle
common-Rolle des Homeservers — sie bekommen
dadurch nie ein OS-Update, zumal sie die meiste Zeit per
Cluster Power Manager ausgeschaltet sind.
nightly_worker_wake schließt diese Lücke: jede Nacht um 01:00 Uhr Berlin
Zeit löst ein n8n-Workflow (Schedule-Trigger) das Wecken aus, alle Worker aus
cluster_power_manager_workers (heute nur worker-1) werden per Wake-on-LAN geweckt, per Semaphore apt update && apt dist-upgrade gefahren (inkl. automatischem Reboot, falls ein
Kernel-/libc-Update das verlangt), und danach bis spätestens 01:30 Uhr
wieder heruntergefahren — hartes Zeitbudget von maximal 25 Minuten ab dem
ersten Wake. Am Ende jedes Laufs geht IMMER ein Bericht (was wurde
geupdated, wo gab es Fehler, wurde rebootet) als Zammad-Ticket über n8n
raus, siehe Bericht (Zammad-Ticket via n8n)
unten.

Seit der Umstellung auf zwei Control-Planes ist controlplane-1 (bisher worker-0) nicht mehr Teil dieses Zyklus: Er läuft dauerhaft, wird nie geweckt oder abgeschaltet und hat kein Semaphore-Projekt worker-0 mehr (Projekt und Template heißen controlplane-1 bzw. Deploy controlplane-1). Sein apt-Update läuft manuell über make worker-apt-update. Ein Neustart eines Servers braucht eine Prüfung des etcd-Verbunds, siehe 400a0. Die Beschreibungen und Beispiele unten nennen noch worker-0, sie stammen aus der Zeit davor.

Das lastbasierte Zu-/Abschalten von worker-0/worker-1 tagsüber
(CPU/RAM-Watchdog, unabhängig von der Uhrzeit) ist NICHT Teil dieses
Workflows und bleibt bewusst reines Ansible/systemd auf dem Homeserver —
siehe Cluster Power Manager. Nur der
zeitgesteuerte nächtliche Update-Zyklus wird von n8n angestoßen.


Architektur

┌── n8n ("Nightly Worker Wake Trigger", Schedule-Trigger 01:00 Uhr) ──┐
│  SSH-Node -> homeserver, forced-command-Key (siehe unten)           │
└──────────────────────────────┬───────────────────────────────────────┘
                                │ SSH (forced: systemctl start ...)
                                ▼
┌─────────────────────── homeserver ──────────────────────────────────────────────────┐
│                                                                                       │
│  nightly-worker-wake.service (oneshot, per SSH-Forced-Command gestartet)            │
│  ├─ 1. cluster-power-manager.service stoppen (Kollisionsschutz, siehe unten)         │
│  ├─ 2. wakeonlan an worker-0 + worker-1, auf kubectl-Ready warten, uncordon          │
│  ├─ 3. Login bei Semaphore (Admin-Passwort aus /etc/semaphore-secrets)              │
│  ├─ 4. Template "Deploy worker-0" / "Deploy worker-1" per REST-API triggern         │
│  │     → führt controlplane-1.yml/worker-1.yml aus, inkl. worker_apt_update (cordon+     │
│  │       drain + Reboot bei reboot-required, siehe unten)                           │
│  ├─ 5. Task-Status pollen, bis fertig ODER max. 25 Minuten seit dem ersten Wake      │
│  │     (danach: Task-Stop-Request + kurze Gnadenfrist)                              │
│  ├─ 6. kubectl cordon+drain, SSH-Poweroff (derselbe Key wie cluster_power_manager)   │
│  ├─ 7. cluster-power-manager.service wieder starten                                 │
│  └─ 8. Bericht (JSON) an n8n-Webhook -- läuft IMMER, auch bei Fehlern/Abbruch        │
│        (zentral über einen EXIT-Trap, siehe unten)                                  │
└───────────────────────────────────────────────────────────────────────────────────────┘
              │ Magic Packet (UDP)  │ Semaphore-REST-API  │ SSH (forced: poweroff)  │ Webhook (JSON)
              ▼                      ▼                     ▼                         ▼
┌─────────────────────┐   ┌───────────────────────┐  ┌─────────────────────┐  ┌───────────────────┐
│ worker-0 / worker-1  │   │ Semaphore (im Cluster) │  │ worker-0 / worker-1  │  │ n8n -> Zammad      │
│ wake_on_lan-Rolle     │◀─│ Projekt "worker-0"/    │  │ cluster_power_       │  │ (Ticket pro Nacht) │
│                       │SSH│ "worker-1", Template   │  │ manager_target-Rolle │  └───────────────────┘
│                       │(voller│ "Deploy worker-*"  │  │ (poweroff-only Key)  │
│                       │Zugriff)│ führt worker_apt_ │  └─────────────────────┘
└─────────────────────┘   │ update + k3s_agent + Watchdogs └──────────────────┘

Warum triggert n8n statt eines systemd-Timers? Der 01:00-Uhr-Zeitpunkt
lag früher als OnCalendar-Ausdruck direkt im systemd-Timer der Rolle.
Jetzt gibt der n8n-Workflow
nightly-worker-wake-trigger.json
den Zeitpunkt vor und startet den Zyklus per SSH. nightly-worker-wake.sh
selbst, das Zeitbudget, der Shutdown-Pfad und der Bericht bleiben dabei
komplett unverändert — nur der Auslöser wandert von einem lokalen
systemd-Timer zu einem extern (n8n) gesteuerten Trigger. Das eigentliche
Wake-on-LAN bleibt bewusst auf dem homeserver
, nicht in n8n: WoL-Magic-
Packets sind Broadcast-Frames im lokalen Netzsegment, der n8n-Pod läuft
aber im k3s-Overlay-Netz ohne hostNetwork und hätte keinen zuverlässigen
Weg, worker-0/worker-1 direkt zu wecken.

Der SSH-Zugang von n8n zum homeserver ist über einen dedizierten Key
abgesichert, der per forced command (siehe authorized_keys) exakt
auf sudo systemctl start nightly-worker-wake.service beschränkt ist —
identisches Muster wie der poweroff-only-Key von
cluster_power_manager_target
(dort: Homeserver → Worker, hier: n8n → Homeserver). Selbst wenn der
private Schlüssel abfließen sollte, kann er ausschließlich diesen einen
Service starten — kein interaktives Shell-Login, kein Port-/Agent-
Forwarding. Details zur Einrichtung siehe
Bericht (Zammad-Ticket via n8n) unten,
Abschnitt "Einmalige Einrichtung — Trigger".

Warum ein EXIT-Trap für Shutdown/Bericht statt Aufrufen am Skriptende?
Bricht das Skript unerwartet ab (z.B. Semaphore-API mitten im Lauf nicht
erreichbar), würde ein normaler "letzte Zeilen des Skripts"-Ablauf
übersprungen — ein geweckter Worker bliebe unbemerkt bis zum nächsten
manuellen Eingriff an. cleanup_and_report() läuft deshalb über
trap ... EXIT bei jedem Skriptende (normaler Durchlauf, frühes
exit 0, oder Abbruch durch set -e): fährt alle geweckten Worker
herunter, reaktiviert cluster-power-manager.service und schickt den
Bericht — mit einem generischen "Skript brach ab"-Hinweis, falls der
Abbruch unerwartet war.

Warum über Semaphore statt eines eigenen Update-SSH-Keys? Semaphore
hat über semaphore_targets bereits
vollen, Vault-fähigen SSH-Zugriff auf beide Worker und führt bereits
controlplane-1.yml/worker-1.yml aus (siehe ../b-kubernetes-gitops/b0030-semaphore.md).
nightly_worker_wake triggert nur ein bestehendes Template zur richtigen
Zeit, statt einen zweiten, separat gepflegten Zugangsweg mit eigenem
Schlüsselmaterial aufzubauen. Für den Shutdown-Pfad gilt weiterhin das
Gegenteil: dort bleibt bewusst der auf sudo poweroff beschränkte Key aus
cluster_power_manager im Einsatz, siehe
20020-cluster-power-manager.md.

Warum cluster-power-manager.service während des Fensters stoppen?
Der lastbasierte Watchdog würde einen Worker sonst mit eigener Logik
(CPU/RAM niedrig + MIN_UPTIME_SECONDS erreicht) parallel herunterfahren
können — im ungünstigsten Fall mitten in einem laufenden
apt dist-upgrade, was dpkg in einem kaputten Zwischenzustand
zurücklassen kann. nightly-worker-wake.sh stoppt den Dienst deshalb zu
Beginn und startet ihn am Ende wieder.

Automatischer Reboot bei reboot-required: Kernel-/libc-Updates
verlangen gelegentlich einen Neustart, damit sie tatsächlich greifen.
worker_apt_update prüft nach dem dist-upgrade /var/run/reboot-required
und rebootet bei Bedarf selbstständig — ohne manuelles Eingreifen:

  1. kubectl cordon + kubectl drain (delegiert auf homeserver, gleiche
    Flags wie beim finalen Shutdown) — evakuiert eventuell laufende Pods
    sauber, statt sie beim harten Neustart abzureißen.
  2. ansible.builtin.reboot auf dem Worker selbst — wartet zuverlässig
    (Boot-ID-Vergleich, nicht nur "SSH antwortet wieder"), bis der Node
    tatsächlich neu gebootet und erreichbar ist.
  3. Uncordon danach übernimmt die ohnehin schon bestehende "Uncordon nach
    Provisioning"-Play am Ende von controlplane-1.yml/worker-1.yml — kein
    separater Schritt nötig.

Läuft komplett innerhalb desselben Semaphore-Tasks, den
nightly_worker_wake sowieso schon abwartet — kein eigener SSH-Key, keine
Änderung am Orchestrator-Skript. Der Bericht (siehe unten) markiert einen
rebooteten Worker mit "rebooted": true.


Beteiligte Rollen

Rolle Läuft auf Zweck
worker_apt_update worker-0, worker-1 apt update && apt dist-upgrade; bei /var/run/reboot-required automatisch cordon+drain (delegiert auf homeserver) + Reboot. Deployt auf beiden zusätzlich statische Fallback-Nameserver (siehe Fehlerbehebung unten) — bei worker-0 notwendig (kein nutzbares DHCPv6-DNS), bei worker-1 nur zusätzliche Absicherung
tailscale worker-0, worker-1 Seit 2026-09-15 Ansible-verwaltet statt manuell installiert, siehe Fehlerbehebung unten. Reiner Tailnet-Client (tailscale_advertise_routes: ""), kein Subnet-Router
nightly_worker_wake homeserver Skript + SSH-Forced-Command-Key für den n8n-Trigger: wecken, Semaphore-Template triggern, Zeitbudget überwachen, herunterfahren, Bericht an n8n

worker_apt_update ist der erste Schritt in controlplane-1.yml/worker-1.yml
und läuft damit bei jedem Lauf dieser Playbooks — auch bei einem
manuellen make controlplane-1/make worker-1 oder make worker-apt-update.

Dazu kommen zwei n8n-Workflows (kein Ansible, müssen einmalig manuell in
n8n importiert werden):


Zeitbudget

Variable Default Bedeutung
— 01:00 Uhr, Europe/Berlin Zeitpunkt kommt jetzt aus dem Schedule-Trigger von nightly-worker-wake-trigger.json, nicht mehr aus einer Ansible-Variable — dort anpassen
nightly_worker_wake_max_runtime_seconds 1500 (25 Min.) Hartes Limit ab dem ersten Wake — danach Task-Stop + Shutdown, egal ob das Update (inkl. eines eventuellen Reboots) fertig ist. Passt unter das 01:00–01:30-Uhr-Fenster
nightly_worker_wake_ready_timeout_seconds 180 Wie lange nach dem Magic Packet auf kubectl get node ... Ready gewartet wird
nightly_worker_wake_stop_grace_seconds 30 Gnadenfrist nach einem Semaphore-Task-Stop-Request, bevor trotzdem heruntergefahren wird
nightly_worker_wake_poll_seconds 15 Poll-Intervall beim Warten auf den Semaphore-Task

Es gibt keine erzwungene Mindestlaufzeit — ein Worker, dessen Update
schneller fertig ist, wird sofort wieder heruntergefahren statt aus
Prinzip bis zu einer Mindestdauer zu warten. In der Praxis dauert ein
apt update && dist-upgrade auf diesen Nodes üblicherweise 5–15 Minuten,
ein zusätzlicher Reboot (falls nötig) weitere 30–90 Sekunden; die
25-Minuten-Grenze ist ein Sicherheitsnetz, kein Zielwert. Alle Werte
lassen sich in group_vars/all.yml überschreiben (identisches Muster wie
bei cluster_power_manager).


Bericht (Zammad-Ticket via n8n)

nightly-worker-wake.sh schickt am Ende jedes Laufs ein JSON an
nightly_worker_wake_n8n_webhook_url
(Default https://n8n.prod.homeserver/webhook/nightly-worker-update) —
egal ob alles glatt lief, ein Worker nicht aufgewacht ist, ein Update
fehlschlug, das Zeitbudget erreicht wurde, oder das Skript selbst
unerwartet abbrach. Der n8n-Workflow
nightly-worker-update-to-zammad.json
baut daraus ein Zammad-Ticket pro Nacht in der Gruppe
Support::Administration.

Payload-Format (vereinfacht):

{
  "started_at": "2026-08-19T01:00:03+00:00",
  "finished_at": "2026-08-19T01:11:42+00:00",
  "elapsed_seconds": 699,
  "note": "",
  "dry_run": false,
  "workers": [
    {
      "name": "worker-0",
      "status": "success",
      "reason": "",
      "changed": true,
      "play_recap": "worker-0 : ok=41 changed=3 unreachable=0 failed=0 skipped=2 rescued=0 ignored=0",
      "rebooted": true
    },
    {
      "name": "worker-1",
      "status": "not_ready",
      "reason": "Nicht innerhalb von 180s nach Wake-on-LAN erreichbar geworden",
      "changed": false,
      "play_recap": "",
      "rebooted": false
    }
  ]
}

status je Worker: success / error / stopped (Zeitbudget erreicht)
/ not_ready (nicht aufgewacht) / no_template (Semaphore-Projekt/
Template fehlt) / pending (Skript brach vorher ab). play_recap ist die
rohe Ansible-PLAY RECAP-Zeile, per Semaphore-API aus dem Task-Log
gezogen — daran lässt sich auf einen Blick ablesen, ob überhaupt etwas
geändert wurde (changed=0 ⇒ nichts zu tun). rebooted: true heißt: ein
Kernel-/libc-Update verlangte einen Neustart, worker_apt_update hat ihn
automatisch durchgeführt (siehe Architektur oben) — kein
Handlungsbedarf, nur zur Information im Ticket.

Einmalige Einrichtung — Trigger (nightly-worker-wake-trigger.json):

  1. make nightly-worker-wake (oder make install) laufen lassen — die
    Rolle erzeugt dabei einmalig das SSH-Schlüsselpaar unter
    /etc/nightly-worker-wake/n8n_trigger_ed25519 auf dem homeserver und
    autorisiert den Public Key (forced command, siehe
    Architektur oben).
  2. Privaten Schlüssel einmalig auslesen:
    ssh [email protected] sudo cat /etc/nightly-worker-wake/n8n_trigger_ed25519
    
    Inhalt nicht ins Repo committen — nur zum Anlegen der n8n-Credential
    im nächsten Schritt verwenden.
  3. In n8n: Workflows → Import from File →
    argocd/apps/tech/n8n/workflows/nightly-worker-wake-trigger.json
  4. Node „Worker-Update ausloesen (SSH, forced command)“ → neue SSH-
    Credential (Private Key) anlegen: Host 192.168.178.94, Port 22,
    Username ubuntu (Default von nightly_worker_wake_n8n_trigger_ssh_user),
    Private Key = Inhalt aus Schritt 2.
  5. Workflow aktivieren (Import allein reicht nicht).

Der eingetragene Befehl im SSH-Node ist informativ — durchgesetzt wird
ausschließlich der per authorized_keys hinterlegte forced command
(sudo systemctl start nightly-worker-wake.service); ein anderer Befehl
im Node würde ignoriert bzw. durch den forced command überschrieben.

Einmalige Einrichtung — Bericht (nightly-worker-update-to-zammad.json):

  1. In n8n: Workflows → Import from File →
    argocd/apps/tech/n8n/workflows/nightly-worker-update-to-zammad.json
  2. Node „Zammad-Ticket erstellen“ → Credential zuweisen (bestehende
    „Zammad Token Auth (Rotation-Reminder)“ wiederverwenden, siehe
    ../d-sicherheit/d0060-secrets-rotation.md, oder neu anlegen:
    Base URL https://zammad.tech.homeserver, Access Token mit Berechtigung
    ticket.agent)
  3. Im Node „Nightly Worker Update Webhook“ das Credential
    Webhook nightly-worker-update (Header Auth, Name Authorization, Wert
    Bearer <Token>) zuweisen. Dasselbe Token steht in der Vault-Variable
    vault_n8n_nightly_webhook_token, die Rolle schreibt es als Header-Datei
    /etc/nightly-worker-wake/n8n-auth-header (0600). Ohne Token sendet das
    Skript keinen Header und der Webhook antwortet mit 403.
  4. Workflow aktivieren (Import allein reicht nicht)
  5. nightly_worker_wake_n8n_webhook_url gegen die tatsächliche n8n-Ingress-
    Adresse prüfen (Default passt zu n8n.prod.homeserver, siehe
    ../3-apps-workloads/30070-n8n.md)

Ist der Webhook nicht erreichbar, bricht der nächtliche Zyklus nicht
ab — nur eine Journal-Warnung (n8n-Webhook ... nicht erreichbar), Worker
werden trotzdem korrekt heruntergefahren. Die ntfy-Push-Meldungen
(Start/Ende/Fehler) laufen unabhängig davon weiter.


Deployment

make install              # site.yml: cluster_power_manager + nightly_worker_wake
make controlplane-1 worker-1    # controlplane-1.yml/worker-1.yml: jetzt inkl. worker_apt_update

Nur die Rolle auf dem Homeserver neu ausrollen (z.B. nach Änderung des
Zeitbudgets):

make nightly-worker-wake

Update manuell anstoßen, ohne auf 01:00 Uhr zu warten:

make worker-apt-update     # setzt voraus, dass beide Worker bereits wach sind

Testen ohne echten Wake/Shutdown

# Auf homeserver:
sudo systemctl edit --runtime nightly-worker-wake.service
# In der sich öffnenden Datei:
[Service]
Environment=DRY_RUN=1
# Speichern, dann manuell auslösen (nicht auf 01:00 Uhr warten):
sudo systemctl start nightly-worker-wake.service
sudo journalctl -u nightly-worker-wake -f

Mit DRY_RUN=1 protokolliert das Skript jeden Schritt, sendet aber kein
wakeonlan, triggert keinen echten Semaphore-Task und führt kein
cordon/drain/poweroff aus. Der systemctl edit --runtime-Drop-in
verschwindet beim nächsten Boot automatisch wieder.

Den n8n-Trigger selbst testen, ohne auf 01:00 Uhr zu warten: im
importierten Workflow nightly-worker-wake-trigger.json
den SSH-Node manuell ausführen ("Execute step") — das löst denselben
forced command aus wie der nächtliche Schedule-Trigger.


Fehlerbehebung

Nächtlicher Zyklus läuft gar nicht erst an (kein Journal-Eintrag um 01:00 Uhr):

Der Trigger kommt jetzt von n8n, nicht mehr von einem lokalen systemd-
Timer — zuerst dort prüfen:

# n8n: Workflow "Nightly Worker Wake Trigger" -> Executions -> letzte
# Ausführung ansehen (Fehler am SSH-Node?)

Häufigste Ursachen: Workflow nicht aktiviert (Import allein reicht
nicht, siehe Bericht (Zammad-Ticket via n8n)
weiter unten, Abschnitt "Einmalige Einrichtung — Trigger"), SSH-Credential
zeigt auf einen veralteten privaten Schlüssel (z.B. nach einem Neu-
Provisionieren des homeserver, das den Key unter
/etc/nightly-worker-wake/n8n_trigger_ed25519 neu erzeugt hätte —
passiert normalerweise NICHT, da ssh-keygen idempotent mit creates:
läuft, siehe capulus-ansible/roles/nightly_worker_wake/tasks/main.yml), oder
der sudoers-Eintrag fehlt (nightly_worker_wake_enabled: false gesetzt
gewesen?). Manuell nachvollziehen:

ssh -i <n8n-private-key> [email protected] "irgendein-befehl"
# Sollte trotzdem nightly-worker-wake.service starten (forced command)
# und NICHT den übergebenen Befehl ausführen -- eine Fehlermeldung wie
# "sudo: a password is required" deutet auf einen fehlenden/falschen
# Eintrag in /etc/sudoers.d/nightly-worker-wake-n8n-trigger hin.

Semaphore-Login schlägt fehl (WARNUNG: Semaphore-Login fehlgeschlagen):

Worker werden geweckt und sofort wieder heruntergefahren, OHNE Update.
Prüfen:

cat /etc/semaphore-secrets/admin_password   # noch aktuell?
curl -i https://semaphore-api.tech.homeserver/api/ping

Meist rotiertes Admin-Passwort in der Semaphore-UI (siehe
../b-kubernetes-gitops/b0030-semaphore.md) oder Semaphore-Pod noch nicht bereit.

Kein Semaphore-Projekt/Template gefunden:

WARNUNG: kein Semaphore-Projekt 'worker-0' gefunden -- überspringe Update

make semaphore-bootstrap erneut laufen lassen — legt Projekte/Templates
idempotent an bzw. aktualisiert sie.

Update-Task läuft beim Zeitlimit noch:

WARNUNG: Zeitbudget erreicht, folgende Updates laufen noch: worker-0 -- breche ab

Der Task wird per Stop-Request beendet, der Worker danach trotzdem
heruntergefahren. Im schlimmsten Fall bleibt dpkg in einem
Zwischenzustand — beim nächsten Wake mit
ssh ubuntu@<ip> sudo dpkg --configure -a nachziehen. Falls das
regelmäßig passiert: nightly_worker_wake_max_runtime_seconds erhöhen.

Update apt cache-Task schlägt mit leerer Fehlermeldung fehl:

[ERROR]: Task failed: Module failed: Failed to update apt cache after 5 retries:
fatal: [worker-0]: FAILED! => {"changed": false, "msg": "Failed to update apt cache after 5 retries: "}

Die leere Meldung ist ein klassisches Symptom für kaputtes DNS auf dem
Worker, nicht für ein Semaphore-/Netzwerkproblem. worker-0 hängt (Stand
2026-09) an einem Fritz-WLAN-Repeater statt direkt an der Fritz!Box und
bekommt darüber kein nutzbares DHCPv6-DNS — sein /etc/netplan (Subiquity-
Installer-Default) hat nameservers: []. Das lief bis 2026-09-15 nur,
weil ein manuell installiertes, nicht Ansible-verwaltetes Tailscale
per --accept-dns als Resolver eingesprungen ist; dessen Login blieb
irgendwann (Node-Key-Ablauf/Entzug in der Tailscale-Konsole — genauer
Zeitpunkt/Grund nicht mehr feststellbar, im tailscaled-Journal seit
mindestens 2026-09-07 bei jedem nächtlichen Boot "Needs login") hängen,
ohne automatisches Re-Auth, da außerhalb von Ansible. Seit 2026-09-15 ist
das behoben: statische Fallback-Nameserver machen apt unabhängig von
Tailscale (worker_apt_update_dns_fallback_enabled, siehe oben), UND
Tailscale selbst läuft jetzt über die Ansible-tailscale-Rolle
(controlplane-1.yml) mit eigenem, vault-verschlüsseltem Auth-Key statt einer
manuellen, unbeaufsichtigten Installation. Prüfen (falls das Problem
erneut auftritt):

ssh [email protected] 'resolvectl status; getent hosts archive.ubuntu.com; sudo tailscale status'

Zeigt resolvectl status für jedes Link Current Scopes: none, ist das
der Fall. Fix: worker_apt_update_dns_fallback_enabled: true (in
host_vars/worker-0/vars.yml
und, aus Konsistenzgründen, auch in
host_vars/worker-1/vars.yml
gesetzt) lässt worker_apt_update vor dem apt update einen
Netplan-Drop-in (/etc/netplan/90-dns-fallback.yaml, statische
Nameserver 1.1.1.1/8.8.8.8) deployen — siehe
capulus-ansible/roles/worker_apt_update/defaults/main.yml.
Das läuft bei jedem controlplane-1.yml/worker-1.yml-Durchlauf idempotent
mit, macht DNS also unabhängig vom Tailscale-Login. Bei worker-1 ist das
nur zusätzliche Absicherung — es bekommt per DHCPv6 vom Router ohnehin
zuverlässig DNS; nötig ist der Fallback nur auf worker-0 (Fritz-WLAN-
Repeater). Beide Worker haben jetzt außerdem ein Ansible-verwaltetes
Tailscale (tailscale-Rolle statt manueller Installation) — siehe
Beteiligte Rollen oben; auf jedem Worker wird dafür
ein eigener, vault-verschlüsselter tailscale_auth_key benötigt.

Reboot nach Kernel-/libc-Update:

Läuft automatisch (siehe Architektur) — kein manuelles
Eingreifen nötig. Falls der Reboot selbst hängt oder zu lange dauert
(ansible.builtin.reboot erreicht worker_apt_update_reboot_timeout_seconds,
Default 300s), schlägt der Semaphore-Task mit status: error fehl; der
Worker wird trotzdem am Ende des Zyklus heruntergefahren (Sicherheitsnetz
im EXIT-Trap), und das Zammad-Ticket zeigt den Fehler. Task-Log prüfen:

# Task-ID aus dem Ticket bzw. journalctl -u nightly-worker-wake
curl -s -b <cookie-jar> \
  https://semaphore-api.tech.homeserver/api/project/<id>/tasks/<task-id>/output \
  | jq -r '.[].output'

Reboot manuell nachholen (z.B. wenn der Timeout regelmäßig reißt und man
vor einer Ursachenklärung erstmal selbst eingreifen will):

ssh [email protected] sudo reboot   # worker-0

Kein Zammad-Ticket trotz gelaufenem Update:

journalctl -u nightly-worker-wake | grep n8n-Webhook

Zeigt WARNUNG: n8n-Webhook ... nicht erreichbar → Workflow in n8n
importiert UND aktiviert? (active: false ist der Zustand direkt nach dem
Import.) Webhook-URL testen:

curl -i -X POST http://n8n.prod.homeserver/webhook/nightly-worker-update \
  -H 'Content-Type: application/json' \
  -d '{"started_at":"test","finished_at":"test","elapsed_seconds":0,"note":"manueller Test","dry_run":true,"workers":[]}'

Kommt der Webhook an, aber es entsteht kein Ticket → Credential-Zuweisung
im Node „Zammad-Ticket erstellen“ prüfen (siehe
Bericht (Zammad-Ticket via n8n)).