Rolle `resource_watchdog`
Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-ansible/rollen/resource_watchdog.md
Rolle resource_watchdog
Selbst-Abschaltung bei Dauerlast, auf den k3s-Servern nur Alarm.
| Läuft gegen | alle Knoten und Kiosks |
| Tags | resource-watchdog, thermal |
| Quellcode | roles/resource_watchdog |
Variablen
Defaults aus defaults/main.yml. Überschreiben in group_vars/ oder host_vars/.
| Variable | Default | Bedeutung |
|---|---|---|
resource_watchdog_enabled |
true |
– |
resource_watchdog_action |
poweroff |
poweroff fährt den Host bei Dauerlast herunter (Worker, Kiosks). notify schickt nur einen ntfy-Alarm (Priorität 5) und lässt den Host laufen. group_vars/k3s_servers.yml setzt notify |
resource_watchdog_alert_repeat_seconds |
3600 |
Mindestabstand zwischen zwei Alarmen im Modus notify |
resource_watchdog_poll_seconds |
10 |
– |
resource_watchdog_cpu_threshold |
90 |
– |
resource_watchdog_cpu_sustain_seconds |
300 |
– |
resource_watchdog_ram_threshold |
90 |
– |
resource_watchdog_ram_sustain_seconds |
300 |
– |
resource_watchdog_cpu_warn_threshold |
85 |
– |
resource_watchdog_cpu_warn_sustain_seconds |
60 |
– |
resource_watchdog_ram_warn_threshold |
80 |
– |
resource_watchdog_ram_warn_sustain_seconds |
60 |
– |
resource_watchdog_ntfy_host |
{{ homelab_ntfy_host }} |
– |
resource_watchdog_ntfy_ip |
{{ homelab_ntfy_ip }} |
– |
resource_watchdog_ntfy_topic |
{{ homelab_ntfy_topic }} |
– |
resource_watchdog_metrics |
[{name: cpu, sustain_seconds: '{{ resource_watchdog_cpu_sustain_seconds }}', threshold:… |
– |
Ablauf
- resource-watchdog-skript ablegen
- sicherstellen dass das konfigurationsverzeichnis des resource-watchdogs existiert
- umgebungsdateien je metrik ablegen
- systemd-template-unit des resource-watchdogs ablegen
- resource-watchdog-instanzen aktivieren und starten
- resource-watchdog-instanzen deaktivieren, wenn resource_watchdog_enabled aus ist
Handler
- resource-watchdogs neu starten
Templates
instance.env.j2[email protected]
Dateien
resource-watchdog.sh
Fehlersuche
Allgemeines Vorgehen bei Rollen: ansible-playbook <playbook>.yml --limit <host> --tags <tag> --check --diff -vvv zeigt Änderungen ohne sie anzuwenden (make <ziel>-check bei den Playbooks mit Dry-Run). Die Rollenübersicht mit Make-Zielen: Rollen.
systemctl list-units "resource-watchdog@*"
sudo journalctl -u "resource-watchdog@*" -n 100 --no-pager
cat /etc/resource-watchdog/*.env
| Symptom | Ursache | Lösung |
|---|---|---|
| Auf controlplane-0 oder controlplane-1 kommt ein Alarm „Dauerhaft hohe CPU/RAM-Auslastung“, der Host bleibt an | resource_watchdog_action: notify auf den k3s-Servern (gewollt: ein Poweroff würde ein etcd-Mitglied und bei zwei Mitgliedern die API mitnehmen) |
Ursache der Last suchen, Alarm wiederholt sich höchstens alle resource_watchdog_alert_repeat_seconds |
| Host schaltet sich ab | Dauerlast über der Schwelle (CPU und RAM 90 % über 300 s) — gewollter Selbstschutz | Ursache der Last suchen (Monitoring), Schwellen unter resource_watchdog_* anpassen |
| Warnmeldungen (85 % CPU, 80 % RAM über 60 s) fehlen | Meldung an ntfy scheitert | ntfy_publisher, Topic Home-Lab-System |
| Dienst läuft nicht | Instanz nicht aktiviert (Vorlage [email protected]) |
systemctl enable --now resource-watchdog@<name> |
Allgemeine Fehlersuche: Host-Troubleshooting, zentrale Fehlersuche.