20060 - Hardware-Monitoring (Grafana-Ordner "Hardware")
Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-ansible/2-betrieb-hardware/20060-hardware-monitoring.md
Hardware-Monitoring (Grafana-Ordner "Hardware")
Vier Grafana-Dashboards zeigen den Zustand der gesamten Hardware: CPU, RAM,
Netzwerk, Datenträger (Füllstand, I/O, S.M.A.R.T.), Temperaturen und
Stromversorgung — für control-plane-0 (Hostname homeserver), controlplane-1, worker-1, das UGREEN NAS, die
beiden KVM-VMs (prod-vm, entw-vm) und die Raspberry Pis. Sie liegen im
Grafana-Ordner Hardware (https://grafana-tech.pke-lab.de) und lösen das
frühere Dashboard "Home Server Auslastung" ab.
Quellen im Repo: argocd/apps/tech/monitoring/dashboards/hardware/,
templates/dashboards-hardware.yaml.
Grafana-Ordner
| Ordner | Inhalt | Wie einsortiert |
|---|---|---|
| Hardware | die vier Dashboards oben + die "Node Exporter …"-Standard-Dashboards | dashboards-hardware.yaml; Node-Exporter-Dashboards per Hook-Job |
| Kubernetes (TECH) | "Kubernetes / …" (Compute Resources, Networking, Kubelet, …) — zeigen den TECH-Cluster | Hook-Job monitoring-dashboard-folders (nach Titel-Präfix) |
| Monitoring-Stack | VictoriaMetrics, Prometheus, Alertmanager, Grafana Overview | dito |
| Anwendungen (TECH) | nur noch das Pegel-Dashboard "Rhein-Pegel Andernach" | dashboard-rhein-andernach.yaml (grafana_folder-Annotation) |
Pro-App-Dashboards (frühere Ordner Plattform (TECH) und die App-Dashboards in
Anwendungen (TECH), Zammad, Pacman, "1002011-pis") gibt es nicht mehr: Das
Mainboard und das Server-Detail decken die Maschinen ab, App-Zustand zeigen
ArgoCD, Uptime Kuma und die Alerts. Der leere Ordner Plattform (TECH) muss
einmalig von Hand gelöscht werden.
Ein umbenannter Ordner ist für Grafana ein neuer Ordner — der alte bleibt
leer stehen und muss von Hand gelöscht werden (Grafana → Dashboards → Ordner
→ Löschen).
Die Dashboards
| Dashboard | uid | Wofür |
|---|---|---|
| Mainboard | hardware-mainboard |
Einstieg: oben Online/Offline aller Server, NAS, VMs und Pis, darunter je Maschine CPU, RAM, Festplatte, Netzwerk, Temperatur und Uptime |
| Hardware Übersicht | hardware-overview |
Waben (Server, Füllstand, Laufwerke), Tabelle aller Server, Verläufe |
| Server-Detail | hardware-host |
Alles zu einer Maschine, auch Pis (Variable Maschine): CPU, RAM, Netzwerk, Datenträger, Temperaturen, Akku/Netzteil, S.M.A.R.T. |
| Speicher & Laufwerke | hardware-storage |
Alle Dateisysteme inkl. NAS-Volumes und Pis, Prognose "Tage bis voll", Lebensdauer-Prognose aller Speichermedien, RAID, S.M.A.R.T. aller Platten |
Die Dashboards verlinken sich gegenseitig (Kopfzeile). In den Tabellen führt
ein Klick auf einen Servernamen direkt ins Server-Detail.
Mainboard
Oberste Zeile: vier Kachelgruppen (Server, NAS, Virtuelle Maschinen, Raspberry Pis),
je Maschine eine Kachel Online (grün), Offline (rot) oder Schläft (blau,
gecordoneter Node, siehe unten). Ein Pi, der gar keine Metriken mehr liefert (z. B.
vereinsheim-alarmmonitor per vmagent-Push), bleibt bis zu 7 Tage als Offline
sichtbar (last_over_time(up[7d])). Die nicht mehr existierenden Namen homeserver (jetzt control-plane-0) und worker-0 sind per Regex (host!~"homeserver|worker-0") aus den Status-Kacheln und der Maschinen-Auswahl ausgeschlossen; weitere abgebaute Maschinen dort ergänzen.
Darunter je Maschine eine Zeile mit CPU, RAM, Festplatte (vollste Partition),
Netzwerk (↓/↑), Temperatur und Uptime. Die Zeilen entstehen per Wiederholung über die
Variable Maschinen (Standard: alle). Keine Daten werden grau dargestellt (z. B.
Temperatur einer VM). Ein Klick auf eine Kachel öffnet das Server-Detail der Maschine.
Die Temperatur kommt aus node_hwmon_temp_celsius, ersatzweise aus
node_thermal_zone_temp (Pis ohne hwmon-Sensor).
Waben (Polystat)
Die Sechsecke stammen aus dem Grafana-Plugin grafana-polystat-panel
(in values.yaml unter grafana.plugins installiert). Ein Sechseck je
Objekt, Farbe nach Schwellwert:
| Waben-Panel | Was ein Sechseck ist | Wert / Farbe |
|---|---|---|
| Server | ein Server / eine VM / das NAS / ein Pi | schlechtester Wert aus CPU-, RAM- und Dateisystem-Auslastung: grün < 70 %, gelb ≥ 70 %, rot ≥ 90 % |
| blau "schläft" | Node ist gecordont und nicht erreichbar = absichtlich aus (cluster_power_manager, worker-1) |
|
| rot "offline" | Node ist nicht erreichbar, aber nicht gecordont | |
| Füllstand | ein Dateisystem | belegter Anteil: grün < 75 %, gelb ≥ 75 %, rot ≥ 90 % (sortiert: volle zuerst) |
| Laufwerke | eine physische Platte (S.M.A.R.T.) | Temperatur (gelb ≥ 45 °C, rot ≥ 55 °C); rot "FAILED", wenn der S.M.A.R.T.-Selbsttest fehlschlägt |
"Dateisysteme" ohne Boot-/Firmware-Partitionen: ausgeschlossen sind
/boot,/boot/efi, die UGOS-Partitionen des NAS (/rootfs,/ugreen,
/mnt/factory) und/var/log*. Der Filter steht alsFS_BASE-Ausdruck in
den Panel-Queries (Suche nachmountpoint!~).
Lebensdauer-Prognose (Speichermedien)
In Speicher & Laufwerke (alle Maschinen) und im Server-Detail (eine Maschine)
berechnet das Dashboard je physischem Datenträger (NVMe, SATA, SD-Karte, kind != vm)
die verbleibende Schreib-Lebensdauer:
Ø Schreibrate = bisher geschriebene Bytes ÷ Laufzeit
Restlebensdauer = (erwartete Schreibmenge − bisher geschrieben) ÷ Ø Schreibrate
Die bisher geschriebene Menge kommt, wenn vorhanden, aus den S.M.A.R.T.-Zählern der
Platte und umfasst damit die gesamte Lebenszeit, die Laufzeit ist dann die Betriebszeit
der Platte (smartctl_device_power_on_seconds):
| Medium | Geschriebene Menge (Lebenszeit) | ||
|---|---|---|---|
| NVMe | smartctl_device_bytes_written |
||
| SATA | Total_LBAs_Written × 512 Byte, ersatzweise Host_Writes_32MiB × 32 MiB |
||
| ohne S.M.A.R.T. (Pis, NAS aktuell) | node_disk_written_bytes_total seit dem letzten Boot, Laufzeit = Uptime |
||
| Medium | Erkennung | Erwartete Schreibmenge | Variable |
| --- | --- | --- | --- |
| SSD / NVMe | Gerätename nvme*, sd* ohne Rotation |
Größe × 600 Zyklen (≈ 300 TBW bei 500 GB) | P/E-Zyklen SSD |
| SD-Karte | Gerätename mmcblk* |
Größe × 300 Zyklen | P/E-Zyklen SD-Karte |
| HDD | Spin_Up_Time-Attribut bzw. Drehzahl > 0 aus S.M.A.R.T.; alle sd* des NAS |
pauschal 900 TB (180 TB/Jahr × 5 Jahre) | TBW HDD (TB) |
Die Variablen stehen oben im Dashboard (Textfelder) und gelten nur für die aktuelle
Ansicht; dauerhaft ändern: Standardwerte im JSON. Bei Pis (kein S.M.A.R.T.) zählt nur die
Datenmenge seit dem letzten Boot, frühere Schreibmengen fehlen, die Schätzung ist dort
optimistisch. Manche SATA-SSDs melden die Schreibmenge in anderen Einheiten oder gar nicht,
dann greift ebenfalls der Boot-Zähler. Die Größe stammt aus smartctl_device_capacity_bytes,
ersatzweise aus der Summe der eingehängten Partitionen (Pis). Das NAS liefert aktuell keine
S.M.A.R.T.-Werte, deshalb steht dort nur die HDD-Pauschale ohne Größe. Die Anzeige ist bei
100 Jahren begrenzt. Farben: rot < 1 Jahr, gelb < 3 Jahre, sonst grün. Der echte Verschleiß
der SSDs steht weiterhin in der S.M.A.R.T.-Tabelle ("Verschleiß").
Was das Server-Detail zusätzlich zeigt
- CPU nach Modus (user/system/iowait/steal …), Load Average gegen Kerne,
Ressourcen-Druck (PSI) für CPU/RAM/I/O — der ehrlichste Hinweis auf
"zu wenig Ressourcen". - RAM gestapelt (belegt/Buffers/Cache/frei), Swap und OOM-Kills.
- Netzwerk nur für physische Schnittstellen (
en*,eth*,wl*;
keine veth/bridge/bond): Durchsatz, Fehler/Drops, Link-Status,
Geschwindigkeit und Link-Abbrüche im Zeitraum (Carrier-Changes) — der
Indikator für Kabel-/Switch-/EEE-Probleme wie beim Link-Drop des
homeserver am 2026-09-02 (siehecapulus-ansible/roles/disable_eee). Link-Status, -Geschwindigkeit und -Abbrüche
erscheinen nur für Schnittstellen mit Traffic im gewählten Zeitraum
(ungenutztes WLAN/eth1bleibt ausgeblendet). - Datenträger: Füllstand je Dateisystem (auch Inodes), Durchsatz,
Latenz und Auslastung je Platte. - Temperaturen je Chip (
coretemp/k10temp= CPU,nvme= SSD,
acpitz= Mainboard, sonst PCI-Geräte) und alle Sensoren im Verlauf;
Akku/Netzteil (nur control-plane-0 — die Hardware ist ein Notebook und
dient als Mini-USV). - S.M.A.R.T.-Tabelle: Modell, Typ (NVMe = Protokoll; HDD = hat das
AttributSpin_Up_Time; sonst SATA-SSD), Größe, Health, Temperatur,
Verschleiß (NVMe Percentage Used bzw.100 −schlechtester normalisierter
Restwert bei SATA-SSDs), Betriebszeit, geschriebene Datenmenge,
reallozierte/pending Sektoren, unkorrigierbare Fehler
(Reported_Uncorrect/Offline_Uncorrectable), NVMe-Medienfehler.
Speicher & Laufwerke
- Alle Dateisysteme: Größe, belegt, frei, Belegt-%, Inodes-% und
"Tage bis voll" — lineare Prognose aus dem 7-Tage-Trend (nur bei
schrumpfendem freien Platz; sonst "wächst nicht"). Rot < 14 Tage, gelb < 60 Tage. - Software-RAID (md): aktive/defekte/geforderte Platten und Resync-Fortschritt
(aktuell nur das NAS:md1= Pool 1 im RAID1,md2= Pool 2). - Geschriebene Datenmenge pro Stunde je Platte (SSD-Verschleiß), Füllstand-
und Temperaturverläufe (Standardzeitraum 7 Tage, Retention 15 Tage).
Datenquellen und Label-Schema
Alle Panels filtern über zwei Labels, die jede Quelle beim Scrapen
mitbekommt — nicht über instance (das ist bei den k3s-Nodes weiterhin
IP:9100, weil Alert-Regeln wie worker-1Down und ControlPlane1Down darauf matchen):
| Label | Werte | Zweck |
|---|---|---|
host |
control-plane-0, controlplane-1, worker-1, ugreen-nas, prod-vm, entw-vm, infotafel, vereinsheim-alarmmonitor |
Name des Servers in den Dashboards |
kind |
server, vm, nas, pi |
Typ-Spalte in der Übersicht |
control-plane-0ist nur der Anzeigename. Hostname und Kubernetes-Nodename des
Rechners bleibenhomeserver(Node-Selector,kubectl, Ansible). Das Labelhost
wird im node-exporter-Scrape (values.yaml), im smartctl- und im etcd-Scrape auf
control-plane-0gesetzt. Metriken vor der Umbenennung tragen nochhost="homeserver"
(Retention 15 Tage) und erscheinen bis dahin als eigene, "Offline" gemeldete Maschine.
| Host | node_exporter | S.M.A.R.T. | Wo definiert |
|---|---|---|---|
| control-plane-0, controlplane-1, worker-1 | DaemonSet prometheus-node-exporter (Relabeling host = k8s-Nodename, nur der Node homeserver wird zu control-plane-0, kind: server) |
Ansible-Rolle smartctl_exporter (Port 9633) → vmstaticscrape-smartctl.yaml |
values.yaml prometheus-node-exporter.vmScrape |
| ugreen-nas | Docker-Container auf dem NAS (Port 9100) | Docker-Container (Port 9633), siehe NAS-Storage | vmstaticscrape-ugreen-nas.yaml |
| prod-vm (192.168.178.99), entw-vm (192.168.178.100) | Ansible-Rolle node_exporter (Port 9100) in prod.yml/entw.yml |
— (virtuelle Platten, kein SMART) | vmstaticscrape-vms.yaml |
| infotafel (Pi) | node_exporter (Port 9100) |
— | vmstaticscrape-infotafel.yaml |
| vereinsheim-alarmmonitor (Pi, nur Tailscale) | lokaler vmagent pusht per remote_write |
— | vmagent-Rolle (setzt host/kind ab dem nächsten Lauf) und VMSingle-Relabeling configmap-vmsingle-relabel.yaml (setzt sie beim Empfang, solange sie fehlen) |
control-plane-0 / worker-1 ──► node-exporter (DaemonSet, :9100) ─┐
control-plane-0 / worker-1 ──► smartctl_exporter (systemd, :9633)─┤
prod-vm / entw-vm ──────► node_exporter (systemd, :9100) ────┼──► vmagent ──► VictoriaMetrics ──► Grafana
ugreen-nas ─────────────► node-exporter + smartctl (Docker) ─┤ (Label host/kind, siehe oben)
infotafel ──────────────► node_exporter (:9100) ─────────────┘
Die beiden VMs
prod-vm und entw-vm sind eigenständige k3s-Cluster (siehe
Multi-Cluster-Plan) und
gehören nicht zum TECH-Cluster. Sie tauchen deshalb wie das NAS als
Gast-Betriebssystem auf: CPU, RAM, Dateisystem und Netzwerk aus Sicht der
VM. Der steal-Anteil im CPU-Panel zeigt, wenn der Hypervisor der VM Rechenzeit
entzieht. Nicht enthalten ist die Sicht des Hypervisors (qemu-Prozess auf
homeserver/worker-1, z. B. der reale RAM-Verbrauch: der qemu-Prozess kann durch
den Page-Cache des Gastes bis zur vollen VM-Größe anwachsen, obwohl der Gast
selbst weniger "belegt" meldet); die Last der VM-Prozesse steckt aber in den
CPU-/RAM-Werten des jeweiligen Hosts.
Die Pods/Workloads innerhalb von PROD/ENTW werden aus TECH ebenfalls nicht
gescrapt.
Ausrollen / Betrieb
Die Dashboards und Scrapes kommen per ArgoCD (App monitoring). Die Exporter
auf den Hosts müssen einmalig per Ansible installiert werden (Pakete
prometheus-node-exporter bzw. smartmontools + prometheus-smartctl-exporter,
beide aus dem Ubuntu-Repo, Dienste laufen per systemd):
# node_exporter in den beiden VMs
ansible-playbook -i inventory/hosts.yml prod.yml --tags node-exporter --ask-vault-pass
ansible-playbook -i inventory/hosts.yml entw.yml --tags node-exporter --ask-vault-pass
# S.M.A.R.T.-Exporter auf den physischen Nodes (worker-1 nur, wenn er gerade wach ist)
ansible-playbook -i inventory/hosts.yml site.yml --tags smartctl-exporter --limit homeserver --ask-vault-pass
ansible-playbook -i inventory/hosts.yml worker-1.yml --tags smartctl-exporter --ask-vault-pass
ansible-playbook -i inventory/hosts.yml controlplane-1.yml --tags smartctl-exporter --ask-vault-pass
Ohne --tags installieren die Playbooks die Rollen ohnehin bei jedem
regulären Lauf mit (make prod, make entw, make worker-1, …). Prüfen:
curl -s 192.168.178.99:9100/metrics | head -3 # prod-vm
curl -s 192.168.178.100:9100/metrics | head -3 # entw-vm
curl -s 192.168.178.94:9633/metrics | grep '^smartctl_device_smart_status' # homeserver
Die Ports sind per UFW nur aus dem LAN/Tailnet erreichbar (Regeln der
common-Rolle); die Metriken selbst sind nicht authentifiziert.
Neuen Host aufnehmen: node_exporter installieren (Rolle node_exporter
in dessen Playbook), ein VMStaticScrape nach dem Muster von
vmstaticscrape-vms.yaml anlegen (mit host und kind) — die Panels
finden ihn über das Label automatisch. Hat der Host physische Platten:
zusätzlich die Rolle smartctl_exporter und ein Ziel in
vmstaticscrape-smartctl.yaml.
controlplane-1 läuft dauerhaft und steht im S.M.A.R.T.-Scrape (192.168.178.95:9633, host: controlplane-1). worker-1 ist bewusst nicht enthalten: Der Node schläft laut Cluster Power Manager meist, ein dauerhaft "down" Ziel würde den TargetDown-Alert der Default-Regeln zusätzlich auslösen. Wer seine Platten sehen will, ergänzt 192.168.178.96:9633 (host: worker-1) in vmstaticscrape-smartctl.yaml.
S.M.A.R.T.-Metriken
Verwendet werden die Metriken des smartctl_exporter (v0.14.0, Ubuntu-Paket
und NAS-Container identisch):
| Metrik | Inhalt |
|---|---|
smartctl_device{model_name,protocol,…} |
Info-Metrik je Platte (Modell, Seriennummer, Firmware) |
smartctl_device_smart_status |
1 = PASSED, 0 = FAILED |
smartctl_device_temperature |
Temperatur in °C |
smartctl_device_power_on_seconds |
Betriebszeit in Sekunden (nicht Stunden) |
smartctl_device_capacity_bytes, smartctl_device_rotation_rate |
Größe, Drehzahl (0 = SSD) |
smartctl_device_percentage_used, …_available_spare, …_media_errors, …_bytes_written |
NVMe: Verschleiß, Reserve, Medienfehler, geschriebene Daten |
smartctl_device_attribute{attribute_name,attribute_value_type} |
ATA-Attribute (Reallocated_Sector_Ct, Current_Pending_Sector, Wear_Leveling_Count, …) |
Hinweis: Attributnamen unterscheiden sich je Hersteller (z. B. heißt der
Pending-Zähler bei der Samsung-HDD in worker-1 Total_Pending_Sectors, sonst
Current_Pending_Sector; smartctl_device_rotation_rate liefert der Exporter
nicht für jede Platte). Das Attribut für den SATA-SSD-Verschleiß heißt je nach Hersteller
anders; die Tabelle deckt Wear_Leveling_Count, Media_Wearout_Indicator,
SSD_Life_Left, Percent_Lifetime_Remain, Remaining_Lifetime_Perc und
Perc_Rated_Life_Used ab. Fehlt der Verschleiß-Wert bei einer SSD, das
Attribut im /metrics-Output suchen (curl … | grep attribute_name) und die
Regex in der Query "Verschleiß" (dashboards/hardware/*.json) ergänzen.
Bekannte Einschränkungen / Fehlersuche
| Symptom | Ursache / Lösung |
|---|---|
NAS: Laufwerke-Panels leer, smartctl_devices = 5, aber kein smartctl_device_* |
Stand 2026-09-20 liefert der smartctl-Container auf dem NAS zwar die Geräteanzahl, aber keine Werte je Platte (auch die früheren Panels waren dadurch leer). Auf dem NAS docker logs smartctl-exporter prüfen und docker exec smartctl-exporter smartctl --json -a /dev/sda; häufige Ursache: fehlender Gerätezugriff (--privileged, -v /dev:/dev:ro siehe NAS-Storage) oder ein Gerätetyp, der -d sat braucht |
| Server fehlt in den Dashboards | Label host fehlt: up{host="…"} in Grafana Explore abfragen; bei k3s-Nodes prüfen, ob kubectl -n monitoring get vmservicescrape monitoring-victoria-metrics-k8s-stack-prometheus-node-exporter -o yaml die relabelConfigs enthält |
vereinsheim-alarmmonitor fehlt in den Hardware-Dashboards |
Der Pi pusht ohne host/kind; VictoriaMetrics ergänzt sie beim Empfang per -relabelConfig (ConfigMap vmsingle-relabel, Mount /etc/vm/configs/vmsingle-relabel/, nur für instance="vereinsheim-alarmmonitor"). Prüfen: up{host="vereinsheim-alarmmonitor"} in Grafana Explore; sonst ob das VMSingle-Pod mit dem Argument -relabelConfig läuft (kubectl -n monitoring get pod -l app.kubernetes.io/name=vmsingle -o yaml). Nur neue Datenpunkte bekommen das Label, ältere nicht. Das frühere Standort-Dashboard "1002011-pis" gibt es nicht mehr; der Pi erscheint im Mainboard |
| Waben-Panel zeigt "Panel plugin not found" | Plugin grafana-polystat-panel noch nicht installiert: Grafana-Pod nach dem Sync neu starten (Plugins werden beim Start geladen) |
| Dashboards neu / Ordner "Hardware" fehlt nach Sync | ArgoCD-Sync von monitoring hängt an einem Hook (monitoring-dashboard-folders): kubectl -n argocd get app monitoring -o jsonpath='{.status.operationState.message}'; ggf. mit kubectl -n argocd patch application monitoring --type merge -p '{"status":{"operationState":{"phase":"Terminating"}}}' beenden. Ursache am 2026-09-19/20: Image-Tag alpine/k8s:1.30.1 existiert nicht → jetzt 1.30.14 |
| VM zeigt "Offline" obwohl sie läuft | curl 192.168.178.99:9100/metrics (bzw. .100) vom homeserver: läuft prometheus-node-exporter in der VM, lässt die UFW der VM das LAN zu? |
| Waben-Panel "Server": Node steht auf "offline" statt "schläft" | "schläft" erkennt das Panel am Cordon (kube_node_spec_unschedulable); ein absichtlich ausgeschalteter Node muss dafür gecordont sein (macht der cluster_power_manager) |