Rolle `cluster_power_manager`
Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-ansible/rollen/cluster_power_manager.md
Rolle cluster_power_manager
weckt Worker per WoL, fährt sie per SSH wieder herunter. Seit der Umstellung auf zwei Control-Planes betrifft das nur noch worker-1: controlplane-1 läuft dauerhaft und steht nicht in der Liste (400a0).
| Läuft gegen | controlplane-0 |
| Tags | cluster-power-manager, power-management |
| Quellcode | roles/cluster_power_manager |
Variablen
Defaults aus defaults/main.yml. Überschreiben in group_vars/ oder host_vars/. cluster_power_manager_ssh_user (ubuntu) und cluster_power_manager_ssh_key_path (/etc/cluster-power-manager/id_ed25519) stehen in group_vars/all.yml, weil cluster_power_manager, cluster_power_manager_target, power_agent und nightly_worker_wake sie teilen.
| Variable | Default | Bedeutung |
|---|---|---|
cluster_power_manager_enabled |
true |
– |
cluster_power_manager_poll_seconds |
30 |
– |
cluster_power_manager_cpu_scale_up_threshold |
60 |
– |
cluster_power_manager_ram_scale_up_threshold |
60 |
– |
cluster_power_manager_scale_up_sustain_seconds |
60 |
– |
cluster_power_manager_scale_up_sustain_seconds_stage2 |
200 |
– |
cluster_power_manager_cpu_scale_down_threshold |
30 |
– |
cluster_power_manager_ram_scale_down_threshold |
30 |
– |
cluster_power_manager_scale_down_sustain_seconds |
900 |
– |
cluster_power_manager_min_uptime_seconds |
300 |
– |
cluster_power_manager_ready_timeout_seconds |
120 |
– |
cluster_power_manager_unplanned_off_grace_seconds |
600 |
Ist ein Worker so lange nicht erreichbar, aber nicht cordoned (ungeplanter Shutdown), cordont der Dienst ihn und meldet das einmal per ntfy |
cluster_power_manager_state_dir |
/var/lib/cluster-power-manager |
– |
cluster_power_manager_kubeconfig |
/etc/rancher/k3s/k3s.yaml |
– |
cluster_power_manager_ntfy_host |
{{ homelab_ntfy_host }} |
– |
cluster_power_manager_ntfy_ip |
{{ homelab_ntfy_ip }} |
– |
cluster_power_manager_ntfy_topic |
{{ homelab_ntfy_topic }} |
– |
cluster_power_manager_workers |
[{name: worker-1, ansible_host: …, mac_address: …}] |
Liste der per WoL gesteuerten Worker. nightly_worker_wake und power_agent_targets übernehmen sie. Die Hochskalier-Logik (erste Stufe nach scale_up_sustain_seconds, jede weitere um scale_up_sustain_seconds_stage2 später) bleibt generisch und hat mit einem Eintrag nur eine Stufe |
Ablauf
- Warnen, falls eine Worker-MAC-Adresse noch nicht gesetzt ist
- wakeonlan-Paket installieren (zum Senden von Magic Packets)
- Config-/State-Verzeichnisse anlegen
- SSH-Schlüsselpaar für Worker-Shutdown erzeugen (falls noch nicht vorhanden)
- Berechtigungen des privaten Schlüssels absichern
- Watchdog-Skript deployen
- Konfiguration templaten
- systemd-Unit deployen
- cluster-power-manager aktivieren und starten
- cluster-power-manager deaktivieren, falls cluster_power_manager_enabled false
Handler
- cluster-power-manager neu starten
Templates
cluster-power-manager.service.j2config.env.j2
Dateien
cluster-power-manager.sh
Fehlersuche
Allgemeines Vorgehen bei Rollen: ansible-playbook <playbook>.yml --limit <host> --tags <tag> --check --diff -vvv zeigt Änderungen ohne sie anzuwenden (make <ziel>-check bei den Playbooks mit Dry-Run). Die Rollenübersicht mit Make-Zielen: Rollen.
sudo systemctl status cluster-power-manager
sudo journalctl -u cluster-power-manager -n 100 --no-pager
ls -l /etc/cluster-power-manager /var/lib/cluster-power-manager
kubectl get nodes
| Symptom | Ursache | Lösung |
|---|---|---|
| Worker wird nicht geweckt | Last unter den Schwellen (CPU und RAM je 60 % über …scale_up_sustain_seconds) oder WoL nicht aktiv |
Log des Dienstes lesen, Rolle wake_on_lan, BIOS und Switch prüfen |
| Worker fährt nicht herunter | Last über 30 % (Scale-down erst nach 900 s Dauer), min_uptime_seconds (300) nicht erreicht, SSH-Schlüssel nicht autorisiert |
Schlüssel /etc/cluster-power-manager/id_ed25519, Rolle cluster_power_manager_target |
Worker bleibt nach dem Wecken NotReady |
ready_timeout_seconds (120) abgelaufen |
journalctl -u k3s-agent auf dem Worker, k3s |
| ntfy „Worker unerwartet aus“ | Worker ging ohne cordon aus (resource-/thermal-watchdog, Stromtaster, Absturz) | Ursache auf dem Worker suchen (journalctl -b -1); der Node ist bereits cordoned, die Folgealarme sind unterdrückt |
| Dienst startet nicht neu nach Änderung | config.env fehlerhaft |
systemctl cat cluster-power-manager, /etc/cluster-power-manager/config.env |
Betrieb und Schwellen: Cluster Power Manager.
Allgemeine Fehlersuche: Host-Troubleshooting, zentrale Fehlersuche.