PKR-Lab

20060 - Hardware-Monitoring (Grafana-Ordner "Hardware")

Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-ansible/2-betrieb-hardware/20060-hardware-monitoring.md

Hardware-Monitoring (Grafana-Ordner "Hardware")

Vier Grafana-Dashboards zeigen den Zustand der gesamten Hardware: CPU, RAM,
Netzwerk, Datenträger (Füllstand, I/O, S.M.A.R.T.), Temperaturen und
Stromversorgung — für control-plane-0 (Hostname homeserver), controlplane-1, worker-1, das UGREEN NAS, die
beiden KVM-VMs (prod-vm, entw-vm)
und die Raspberry Pis. Sie liegen im
Grafana-Ordner Hardware (https://grafana-tech.pke-lab.de) und lösen das
frühere Dashboard "Home Server Auslastung" ab.

Quellen im Repo: argocd/apps/tech/monitoring/dashboards/hardware/,
templates/dashboards-hardware.yaml.


Grafana-Ordner

Ordner Inhalt Wie einsortiert
Hardware die vier Dashboards oben + die "Node Exporter …"-Standard-Dashboards dashboards-hardware.yaml; Node-Exporter-Dashboards per Hook-Job
Kubernetes (TECH) "Kubernetes / …" (Compute Resources, Networking, Kubelet, …) — zeigen den TECH-Cluster Hook-Job monitoring-dashboard-folders (nach Titel-Präfix)
Monitoring-Stack VictoriaMetrics, Prometheus, Alertmanager, Grafana Overview dito
Anwendungen (TECH) nur noch das Pegel-Dashboard "Rhein-Pegel Andernach" dashboard-rhein-andernach.yaml (grafana_folder-Annotation)

Pro-App-Dashboards (frühere Ordner Plattform (TECH) und die App-Dashboards in
Anwendungen (TECH), Zammad, Pacman, "1002011-pis") gibt es nicht mehr: Das
Mainboard und das Server-Detail decken die Maschinen ab, App-Zustand zeigen
ArgoCD, Uptime Kuma und die Alerts. Der leere Ordner Plattform (TECH) muss
einmalig von Hand gelöscht werden.

Ein umbenannter Ordner ist für Grafana ein neuer Ordner — der alte bleibt
leer stehen und muss von Hand gelöscht werden (Grafana → Dashboards → Ordner
→ Löschen).


Die Dashboards

Dashboard uid Wofür
Mainboard hardware-mainboard Einstieg: oben Online/Offline aller Server, NAS, VMs und Pis, darunter je Maschine CPU, RAM, Festplatte, Netzwerk, Temperatur und Uptime
Hardware Übersicht hardware-overview Waben (Server, Füllstand, Laufwerke), Tabelle aller Server, Verläufe
Server-Detail hardware-host Alles zu einer Maschine, auch Pis (Variable Maschine): CPU, RAM, Netzwerk, Datenträger, Temperaturen, Akku/Netzteil, S.M.A.R.T.
Speicher & Laufwerke hardware-storage Alle Dateisysteme inkl. NAS-Volumes und Pis, Prognose "Tage bis voll", Lebensdauer-Prognose aller Speichermedien, RAID, S.M.A.R.T. aller Platten

Die Dashboards verlinken sich gegenseitig (Kopfzeile). In den Tabellen führt
ein Klick auf einen Servernamen direkt ins Server-Detail.

Mainboard

Oberste Zeile: vier Kachelgruppen (Server, NAS, Virtuelle Maschinen, Raspberry Pis),
je Maschine eine Kachel Online (grün), Offline (rot) oder Schläft (blau,
gecordoneter Node, siehe unten). Ein Pi, der gar keine Metriken mehr liefert (z. B.
vereinsheim-alarmmonitor per vmagent-Push), bleibt bis zu 7 Tage als Offline
sichtbar (last_over_time(up[7d])). Die nicht mehr existierenden Namen homeserver (jetzt control-plane-0) und worker-0 sind per Regex (host!~"homeserver|worker-0") aus den Status-Kacheln und der Maschinen-Auswahl ausgeschlossen; weitere abgebaute Maschinen dort ergänzen.

Darunter je Maschine eine Zeile mit CPU, RAM, Festplatte (vollste Partition),
Netzwerk (↓/↑), Temperatur und Uptime. Die Zeilen entstehen per Wiederholung über die
Variable Maschinen (Standard: alle). Keine Daten werden grau dargestellt (z. B.
Temperatur einer VM). Ein Klick auf eine Kachel öffnet das Server-Detail der Maschine.
Die Temperatur kommt aus node_hwmon_temp_celsius, ersatzweise aus
node_thermal_zone_temp (Pis ohne hwmon-Sensor).

Waben (Polystat)

Die Sechsecke stammen aus dem Grafana-Plugin grafana-polystat-panel
(in values.yaml unter grafana.plugins installiert). Ein Sechseck je
Objekt, Farbe nach Schwellwert:

Waben-Panel Was ein Sechseck ist Wert / Farbe
Server ein Server / eine VM / das NAS / ein Pi schlechtester Wert aus CPU-, RAM- und Dateisystem-Auslastung: grün < 70 %, gelb ≥ 70 %, rot ≥ 90 %
blau "schläft" Node ist gecordont und nicht erreichbar = absichtlich aus (cluster_power_manager, worker-1)
rot "offline" Node ist nicht erreichbar, aber nicht gecordont
Füllstand ein Dateisystem belegter Anteil: grün < 75 %, gelb ≥ 75 %, rot ≥ 90 % (sortiert: volle zuerst)
Laufwerke eine physische Platte (S.M.A.R.T.) Temperatur (gelb ≥ 45 °C, rot ≥ 55 °C); rot "FAILED", wenn der S.M.A.R.T.-Selbsttest fehlschlägt

"Dateisysteme" ohne Boot-/Firmware-Partitionen: ausgeschlossen sind
/boot, /boot/efi, die UGOS-Partitionen des NAS (/rootfs, /ugreen,
/mnt/factory) und /var/log*. Der Filter steht als FS_BASE-Ausdruck in
den Panel-Queries (Suche nach mountpoint!~).

Lebensdauer-Prognose (Speichermedien)

In Speicher & Laufwerke (alle Maschinen) und im Server-Detail (eine Maschine)
berechnet das Dashboard je physischem Datenträger (NVMe, SATA, SD-Karte, kind != vm)
die verbleibende Schreib-Lebensdauer:

Ø Schreibrate   = bisher geschriebene Bytes ÷ Laufzeit
Restlebensdauer = (erwartete Schreibmenge − bisher geschrieben) ÷ Ø Schreibrate

Die bisher geschriebene Menge kommt, wenn vorhanden, aus den S.M.A.R.T.-Zählern der
Platte und umfasst damit die gesamte Lebenszeit, die Laufzeit ist dann die Betriebszeit
der Platte (smartctl_device_power_on_seconds):

Medium Geschriebene Menge (Lebenszeit)
NVMe smartctl_device_bytes_written
SATA Total_LBAs_Written × 512 Byte, ersatzweise Host_Writes_32MiB × 32 MiB
ohne S.M.A.R.T. (Pis, NAS aktuell) node_disk_written_bytes_total seit dem letzten Boot, Laufzeit = Uptime
Medium Erkennung Erwartete Schreibmenge Variable
--- --- --- ---
SSD / NVMe Gerätename nvme*, sd* ohne Rotation Größe × 600 Zyklen (≈ 300 TBW bei 500 GB) P/E-Zyklen SSD
SD-Karte Gerätename mmcblk* Größe × 300 Zyklen P/E-Zyklen SD-Karte
HDD Spin_Up_Time-Attribut bzw. Drehzahl > 0 aus S.M.A.R.T.; alle sd* des NAS pauschal 900 TB (180 TB/Jahr × 5 Jahre) TBW HDD (TB)

Die Variablen stehen oben im Dashboard (Textfelder) und gelten nur für die aktuelle
Ansicht; dauerhaft ändern: Standardwerte im JSON. Bei Pis (kein S.M.A.R.T.) zählt nur die
Datenmenge seit dem letzten Boot, frühere Schreibmengen fehlen, die Schätzung ist dort
optimistisch. Manche SATA-SSDs melden die Schreibmenge in anderen Einheiten oder gar nicht,
dann greift ebenfalls der Boot-Zähler. Die Größe stammt aus smartctl_device_capacity_bytes,
ersatzweise aus der Summe der eingehängten Partitionen (Pis). Das NAS liefert aktuell keine
S.M.A.R.T.-Werte, deshalb steht dort nur die HDD-Pauschale ohne Größe. Die Anzeige ist bei
100 Jahren begrenzt. Farben: rot < 1 Jahr, gelb < 3 Jahre, sonst grün. Der echte Verschleiß
der SSDs steht weiterhin in der S.M.A.R.T.-Tabelle ("Verschleiß").

Was das Server-Detail zusätzlich zeigt

Speicher & Laufwerke


Datenquellen und Label-Schema

Alle Panels filtern über zwei Labels, die jede Quelle beim Scrapen
mitbekommt — nicht über instance (das ist bei den k3s-Nodes weiterhin
IP:9100, weil Alert-Regeln wie worker-1Down und ControlPlane1Down darauf matchen):

Label Werte Zweck
host control-plane-0, controlplane-1, worker-1, ugreen-nas, prod-vm, entw-vm, infotafel, vereinsheim-alarmmonitor Name des Servers in den Dashboards
kind server, vm, nas, pi Typ-Spalte in der Übersicht

control-plane-0 ist nur der Anzeigename. Hostname und Kubernetes-Nodename des
Rechners bleiben homeserver (Node-Selector, kubectl, Ansible). Das Label host
wird im node-exporter-Scrape (values.yaml), im smartctl- und im etcd-Scrape auf
control-plane-0 gesetzt. Metriken vor der Umbenennung tragen noch host="homeserver"
(Retention 15 Tage) und erscheinen bis dahin als eigene, "Offline" gemeldete Maschine.

Host node_exporter S.M.A.R.T. Wo definiert
control-plane-0, controlplane-1, worker-1 DaemonSet prometheus-node-exporter (Relabeling host = k8s-Nodename, nur der Node homeserver wird zu control-plane-0, kind: server) Ansible-Rolle smartctl_exporter (Port 9633) → vmstaticscrape-smartctl.yaml values.yaml prometheus-node-exporter.vmScrape
ugreen-nas Docker-Container auf dem NAS (Port 9100) Docker-Container (Port 9633), siehe NAS-Storage vmstaticscrape-ugreen-nas.yaml
prod-vm (192.168.178.99), entw-vm (192.168.178.100) Ansible-Rolle node_exporter (Port 9100) in prod.yml/entw.yml — (virtuelle Platten, kein SMART) vmstaticscrape-vms.yaml
infotafel (Pi) node_exporter (Port 9100) — vmstaticscrape-infotafel.yaml
vereinsheim-alarmmonitor (Pi, nur Tailscale) lokaler vmagent pusht per remote_write — vmagent-Rolle (setzt host/kind ab dem nächsten Lauf) und VMSingle-Relabeling configmap-vmsingle-relabel.yaml (setzt sie beim Empfang, solange sie fehlen)
control-plane-0 / worker-1 ──► node-exporter (DaemonSet, :9100) ─┐
control-plane-0 / worker-1 ──► smartctl_exporter (systemd, :9633)─┤
prod-vm / entw-vm ──────► node_exporter (systemd, :9100) ────┼──► vmagent ──► VictoriaMetrics ──► Grafana
ugreen-nas ─────────────► node-exporter + smartctl (Docker) ─┤     (Label host/kind, siehe oben)
infotafel ──────────────► node_exporter (:9100) ─────────────┘

Die beiden VMs

prod-vm und entw-vm sind eigenständige k3s-Cluster (siehe
Multi-Cluster-Plan) und
gehören nicht zum TECH-Cluster. Sie tauchen deshalb wie das NAS als
Gast-Betriebssystem auf: CPU, RAM, Dateisystem und Netzwerk aus Sicht der
VM
. Der steal-Anteil im CPU-Panel zeigt, wenn der Hypervisor der VM Rechenzeit
entzieht. Nicht enthalten ist die Sicht des Hypervisors (qemu-Prozess auf
homeserver/worker-1, z. B. der reale RAM-Verbrauch: der qemu-Prozess kann durch
den Page-Cache des Gastes bis zur vollen VM-Größe anwachsen, obwohl der Gast
selbst weniger "belegt" meldet); die Last der VM-Prozesse steckt aber in den
CPU-/RAM-Werten des jeweiligen Hosts.
Die Pods/Workloads innerhalb von PROD/ENTW werden aus TECH ebenfalls nicht
gescrapt.


Ausrollen / Betrieb

Die Dashboards und Scrapes kommen per ArgoCD (App monitoring). Die Exporter
auf den Hosts müssen einmalig per Ansible installiert werden (Pakete
prometheus-node-exporter bzw. smartmontools + prometheus-smartctl-exporter,
beide aus dem Ubuntu-Repo, Dienste laufen per systemd):

# node_exporter in den beiden VMs
ansible-playbook -i inventory/hosts.yml prod.yml --tags node-exporter --ask-vault-pass
ansible-playbook -i inventory/hosts.yml entw.yml --tags node-exporter --ask-vault-pass

# S.M.A.R.T.-Exporter auf den physischen Nodes (worker-1 nur, wenn er gerade wach ist)
ansible-playbook -i inventory/hosts.yml site.yml     --tags smartctl-exporter --limit homeserver --ask-vault-pass
ansible-playbook -i inventory/hosts.yml worker-1.yml --tags smartctl-exporter --ask-vault-pass
ansible-playbook -i inventory/hosts.yml controlplane-1.yml --tags smartctl-exporter --ask-vault-pass

Ohne --tags installieren die Playbooks die Rollen ohnehin bei jedem
regulären Lauf mit (make prod, make entw, make worker-1, …). Prüfen:

curl -s 192.168.178.99:9100/metrics | head -3     # prod-vm
curl -s 192.168.178.100:9100/metrics | head -3    # entw-vm
curl -s 192.168.178.94:9633/metrics | grep '^smartctl_device_smart_status'   # homeserver

Die Ports sind per UFW nur aus dem LAN/Tailnet erreichbar (Regeln der
common-Rolle); die Metriken selbst sind nicht authentifiziert.

Neuen Host aufnehmen: node_exporter installieren (Rolle node_exporter
in dessen Playbook), ein VMStaticScrape nach dem Muster von
vmstaticscrape-vms.yaml anlegen (mit host und kind) — die Panels
finden ihn über das Label automatisch. Hat der Host physische Platten:
zusätzlich die Rolle smartctl_exporter und ein Ziel in
vmstaticscrape-smartctl.yaml.

controlplane-1 läuft dauerhaft und steht im S.M.A.R.T.-Scrape (192.168.178.95:9633, host: controlplane-1). worker-1 ist bewusst nicht enthalten: Der Node schläft laut Cluster Power Manager meist, ein dauerhaft "down" Ziel würde den TargetDown-Alert der Default-Regeln zusätzlich auslösen. Wer seine Platten sehen will, ergänzt 192.168.178.96:9633 (host: worker-1) in vmstaticscrape-smartctl.yaml.


S.M.A.R.T.-Metriken

Verwendet werden die Metriken des smartctl_exporter (v0.14.0, Ubuntu-Paket
und NAS-Container identisch):

Metrik Inhalt
smartctl_device{model_name,protocol,…} Info-Metrik je Platte (Modell, Seriennummer, Firmware)
smartctl_device_smart_status 1 = PASSED, 0 = FAILED
smartctl_device_temperature Temperatur in °C
smartctl_device_power_on_seconds Betriebszeit in Sekunden (nicht Stunden)
smartctl_device_capacity_bytes, smartctl_device_rotation_rate Größe, Drehzahl (0 = SSD)
smartctl_device_percentage_used, …_available_spare, …_media_errors, …_bytes_written NVMe: Verschleiß, Reserve, Medienfehler, geschriebene Daten
smartctl_device_attribute{attribute_name,attribute_value_type} ATA-Attribute (Reallocated_Sector_Ct, Current_Pending_Sector, Wear_Leveling_Count, …)

Hinweis: Attributnamen unterscheiden sich je Hersteller (z. B. heißt der
Pending-Zähler bei der Samsung-HDD in worker-1 Total_Pending_Sectors, sonst
Current_Pending_Sector; smartctl_device_rotation_rate liefert der Exporter
nicht für jede Platte). Das Attribut für den SATA-SSD-Verschleiß heißt je nach Hersteller
anders; die Tabelle deckt Wear_Leveling_Count, Media_Wearout_Indicator,
SSD_Life_Left, Percent_Lifetime_Remain, Remaining_Lifetime_Perc und
Perc_Rated_Life_Used ab. Fehlt der Verschleiß-Wert bei einer SSD, das
Attribut im /metrics-Output suchen (curl … | grep attribute_name) und die
Regex in der Query "Verschleiß" (dashboards/hardware/*.json) ergänzen.


Bekannte Einschränkungen / Fehlersuche

Symptom Ursache / Lösung
NAS: Laufwerke-Panels leer, smartctl_devices = 5, aber kein smartctl_device_* Stand 2026-09-20 liefert der smartctl-Container auf dem NAS zwar die Geräteanzahl, aber keine Werte je Platte (auch die früheren Panels waren dadurch leer). Auf dem NAS docker logs smartctl-exporter prüfen und docker exec smartctl-exporter smartctl --json -a /dev/sda; häufige Ursache: fehlender Gerätezugriff (--privileged, -v /dev:/dev:ro siehe NAS-Storage) oder ein Gerätetyp, der -d sat braucht
Server fehlt in den Dashboards Label host fehlt: up{host="…"} in Grafana Explore abfragen; bei k3s-Nodes prüfen, ob kubectl -n monitoring get vmservicescrape monitoring-victoria-metrics-k8s-stack-prometheus-node-exporter -o yaml die relabelConfigs enthält
vereinsheim-alarmmonitor fehlt in den Hardware-Dashboards Der Pi pusht ohne host/kind; VictoriaMetrics ergänzt sie beim Empfang per -relabelConfig (ConfigMap vmsingle-relabel, Mount /etc/vm/configs/vmsingle-relabel/, nur für instance="vereinsheim-alarmmonitor"). Prüfen: up{host="vereinsheim-alarmmonitor"} in Grafana Explore; sonst ob das VMSingle-Pod mit dem Argument -relabelConfig läuft (kubectl -n monitoring get pod -l app.kubernetes.io/name=vmsingle -o yaml). Nur neue Datenpunkte bekommen das Label, ältere nicht. Das frühere Standort-Dashboard "1002011-pis" gibt es nicht mehr; der Pi erscheint im Mainboard
Waben-Panel zeigt "Panel plugin not found" Plugin grafana-polystat-panel noch nicht installiert: Grafana-Pod nach dem Sync neu starten (Plugins werden beim Start geladen)
Dashboards neu / Ordner "Hardware" fehlt nach Sync ArgoCD-Sync von monitoring hängt an einem Hook (monitoring-dashboard-folders): kubectl -n argocd get app monitoring -o jsonpath='{.status.operationState.message}'; ggf. mit kubectl -n argocd patch application monitoring --type merge -p '{"status":{"operationState":{"phase":"Terminating"}}}' beenden. Ursache am 2026-09-19/20: Image-Tag alpine/k8s:1.30.1 existiert nicht → jetzt 1.30.14
VM zeigt "Offline" obwohl sie läuft curl 192.168.178.99:9100/metrics (bzw. .100) vom homeserver: läuft prometheus-node-exporter in der VM, lässt die UFW der VM das LAN zu?
Waben-Panel "Server": Node steht auf "offline" statt "schläft" "schläft" erkennt das Panel am Cordon (kube_node_spec_unschedulable); ein absichtlich ausgeschalteter Node muss dafür gecordont sein (macht der cluster_power_manager)