PKR-Lab

Rolle `cluster_power_manager`

Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-ansible/rollen/cluster_power_manager.md

Rolle cluster_power_manager

weckt Worker per WoL, fährt sie per SSH wieder herunter. Seit der Umstellung auf zwei Control-Planes betrifft das nur noch worker-1: controlplane-1 läuft dauerhaft und steht nicht in der Liste (400a0).

Läuft gegen controlplane-0
Tags cluster-power-manager, power-management
Quellcode roles/cluster_power_manager

Variablen

Defaults aus defaults/main.yml. Überschreiben in group_vars/ oder host_vars/. cluster_power_manager_ssh_user (ubuntu) und cluster_power_manager_ssh_key_path (/etc/cluster-power-manager/id_ed25519) stehen in group_vars/all.yml, weil cluster_power_manager, cluster_power_manager_target, power_agent und nightly_worker_wake sie teilen.

Variable Default Bedeutung
cluster_power_manager_enabled true –
cluster_power_manager_poll_seconds 30 –
cluster_power_manager_cpu_scale_up_threshold 60 –
cluster_power_manager_ram_scale_up_threshold 60 –
cluster_power_manager_scale_up_sustain_seconds 60 –
cluster_power_manager_scale_up_sustain_seconds_stage2 200 –
cluster_power_manager_cpu_scale_down_threshold 30 –
cluster_power_manager_ram_scale_down_threshold 30 –
cluster_power_manager_scale_down_sustain_seconds 900 –
cluster_power_manager_min_uptime_seconds 300 –
cluster_power_manager_ready_timeout_seconds 120 –
cluster_power_manager_unplanned_off_grace_seconds 600 Ist ein Worker so lange nicht erreichbar, aber nicht cordoned (ungeplanter Shutdown), cordont der Dienst ihn und meldet das einmal per ntfy
cluster_power_manager_state_dir /var/lib/cluster-power-manager –
cluster_power_manager_kubeconfig /etc/rancher/k3s/k3s.yaml –
cluster_power_manager_ntfy_host {{ homelab_ntfy_host }} –
cluster_power_manager_ntfy_ip {{ homelab_ntfy_ip }} –
cluster_power_manager_ntfy_topic {{ homelab_ntfy_topic }} –
cluster_power_manager_workers [{name: worker-1, ansible_host: …, mac_address: …}] Liste der per WoL gesteuerten Worker. nightly_worker_wake und power_agent_targets übernehmen sie. Die Hochskalier-Logik (erste Stufe nach scale_up_sustain_seconds, jede weitere um scale_up_sustain_seconds_stage2 später) bleibt generisch und hat mit einem Eintrag nur eine Stufe

Ablauf

  1. Warnen, falls eine Worker-MAC-Adresse noch nicht gesetzt ist
  2. wakeonlan-Paket installieren (zum Senden von Magic Packets)
  3. Config-/State-Verzeichnisse anlegen
  4. SSH-Schlüsselpaar für Worker-Shutdown erzeugen (falls noch nicht vorhanden)
  5. Berechtigungen des privaten Schlüssels absichern
  6. Watchdog-Skript deployen
  7. Konfiguration templaten
  8. systemd-Unit deployen
  9. cluster-power-manager aktivieren und starten
  10. cluster-power-manager deaktivieren, falls cluster_power_manager_enabled false

Handler

Templates

Dateien


Fehlersuche

Allgemeines Vorgehen bei Rollen: ansible-playbook <playbook>.yml --limit <host> --tags <tag> --check --diff -vvv zeigt Änderungen ohne sie anzuwenden (make <ziel>-check bei den Playbooks mit Dry-Run). Die Rollenübersicht mit Make-Zielen: Rollen.

sudo systemctl status cluster-power-manager
sudo journalctl -u cluster-power-manager -n 100 --no-pager
ls -l /etc/cluster-power-manager /var/lib/cluster-power-manager
kubectl get nodes
Symptom Ursache Lösung
Worker wird nicht geweckt Last unter den Schwellen (CPU und RAM je 60 % über …scale_up_sustain_seconds) oder WoL nicht aktiv Log des Dienstes lesen, Rolle wake_on_lan, BIOS und Switch prüfen
Worker fährt nicht herunter Last über 30 % (Scale-down erst nach 900 s Dauer), min_uptime_seconds (300) nicht erreicht, SSH-Schlüssel nicht autorisiert Schlüssel /etc/cluster-power-manager/id_ed25519, Rolle cluster_power_manager_target
Worker bleibt nach dem Wecken NotReady ready_timeout_seconds (120) abgelaufen journalctl -u k3s-agent auf dem Worker, k3s
ntfy „Worker unerwartet aus“ Worker ging ohne cordon aus (resource-/thermal-watchdog, Stromtaster, Absturz) Ursache auf dem Worker suchen (journalctl -b -1); der Node ist bereits cordoned, die Folgealarme sind unterdrückt
Dienst startet nicht neu nach Änderung config.env fehlerhaft systemctl cat cluster-power-manager, /etc/cluster-power-manager/config.env

Betrieb und Schwellen: Cluster Power Manager.

Allgemeine Fehlersuche: Host-Troubleshooting, zentrale Fehlersuche.

Alle Rollen