PKR-Lab

Rolle `resource_watchdog`

Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-ansible/rollen/resource_watchdog.md

Rolle resource_watchdog

Selbst-Abschaltung bei Dauerlast, auf den k3s-Servern nur Alarm.

Läuft gegen alle Knoten und Kiosks
Tags resource-watchdog, thermal
Quellcode roles/resource_watchdog

Variablen

Defaults aus defaults/main.yml. Überschreiben in group_vars/ oder host_vars/.

Variable Default Bedeutung
resource_watchdog_enabled true –
resource_watchdog_action poweroff poweroff fährt den Host bei Dauerlast herunter (Worker, Kiosks). notify schickt nur einen ntfy-Alarm (Priorität 5) und lässt den Host laufen. group_vars/k3s_servers.yml setzt notify
resource_watchdog_alert_repeat_seconds 3600 Mindestabstand zwischen zwei Alarmen im Modus notify
resource_watchdog_poll_seconds 10 –
resource_watchdog_cpu_threshold 90 –
resource_watchdog_cpu_sustain_seconds 300 –
resource_watchdog_ram_threshold 90 –
resource_watchdog_ram_sustain_seconds 300 –
resource_watchdog_cpu_warn_threshold 85 –
resource_watchdog_cpu_warn_sustain_seconds 60 –
resource_watchdog_ram_warn_threshold 80 –
resource_watchdog_ram_warn_sustain_seconds 60 –
resource_watchdog_ntfy_host {{ homelab_ntfy_host }} –
resource_watchdog_ntfy_ip {{ homelab_ntfy_ip }} –
resource_watchdog_ntfy_topic {{ homelab_ntfy_topic }} –
resource_watchdog_metrics [{name: cpu, sustain_seconds: '{{ resource_watchdog_cpu_sustain_seconds }}', threshold:… –

Ablauf

  1. resource-watchdog-skript ablegen
  2. sicherstellen dass das konfigurationsverzeichnis des resource-watchdogs existiert
  3. umgebungsdateien je metrik ablegen
  4. systemd-template-unit des resource-watchdogs ablegen
  5. resource-watchdog-instanzen aktivieren und starten
  6. resource-watchdog-instanzen deaktivieren, wenn resource_watchdog_enabled aus ist

Handler

Templates

Dateien


Fehlersuche

Allgemeines Vorgehen bei Rollen: ansible-playbook <playbook>.yml --limit <host> --tags <tag> --check --diff -vvv zeigt Änderungen ohne sie anzuwenden (make <ziel>-check bei den Playbooks mit Dry-Run). Die Rollenübersicht mit Make-Zielen: Rollen.

systemctl list-units "resource-watchdog@*"
sudo journalctl -u "resource-watchdog@*" -n 100 --no-pager
cat /etc/resource-watchdog/*.env
Symptom Ursache Lösung
Auf controlplane-0 oder controlplane-1 kommt ein Alarm „Dauerhaft hohe CPU/RAM-Auslastung“, der Host bleibt an resource_watchdog_action: notify auf den k3s-Servern (gewollt: ein Poweroff würde ein etcd-Mitglied und bei zwei Mitgliedern die API mitnehmen) Ursache der Last suchen, Alarm wiederholt sich höchstens alle resource_watchdog_alert_repeat_seconds
Host schaltet sich ab Dauerlast über der Schwelle (CPU und RAM 90 % über 300 s) — gewollter Selbstschutz Ursache der Last suchen (Monitoring), Schwellen unter resource_watchdog_* anpassen
Warnmeldungen (85 % CPU, 80 % RAM über 60 s) fehlen Meldung an ntfy scheitert ntfy_publisher, Topic Home-Lab-System
Dienst läuft nicht Instanz nicht aktiviert (Vorlage [email protected]) systemctl enable --now resource-watchdog@<name>

Allgemeine Fehlersuche: Host-Troubleshooting, zentrale Fehlersuche.

Alle Rollen