Monitoring — VictoriaMetrics, Grafana und Alertmanager
Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-core/3-apps-workloads/300q0-monitoring.md
Monitoring — VictoriaMetrics, Grafana und Alertmanager
Der Monitoring-Stack sammelt Metriken aller drei Cluster, des NAS und der Kiosk-Geräte, wertet Regeln aus, zeigt sie in Grafana und schickt Alarme an ntfy und das Telefon. Die Begründungen zu Routing, Regeln und Scrapes stehen in 60060, die Logs in Logging, die Hardware-Dashboards in Hardware-Monitoring. Diese Seite beschreibt Betrieb und Fehlersuche.
Cluster: TECH · Ordner
argocd/apps/tech/monitoring/· Namespacemonitoring· Grafanahttps://grafana.tech.homeserver(öffentlich über den Tunnelgrafana-tech.pke-lab.de).kubectl-Befehle in diesem Doc gelten für den TECH-Cluster (Zugriff je Cluster).
Architektur
flowchart LR
subgraph Quellen
nodes[node-exporter, kube-state-metrics, cAdvisor]
static[VMStaticScrape: prod-vm, entw-vm, NAS, Infotafel, smartctl]
push[vmagent auf Banana Pi: remote-write]
traefik[Traefik-Metriken]
end
nodes --> agent[vmagent]
static --> agent
traefik --> agent
push -->|vm-write, Basic-Auth| vm[(VMSingle, 15 Tage, 10 GiB)]
agent --> vm
vm --> alert[vmalert: VMRules]
alert --> am[Alertmanager]
am -->|critical| bridge[ntfy-bridge] --> ntfy[ntfy]
am -->|page=true, Watchdog| caller[alert-caller: Telefon]
am -->|BananaPiAlarmmonitorDown| n8n[n8n: Zammad-Ticket]
vm --> grafana[Grafana, Dashboards]
| Teil | Wert |
|---|---|
| Chart | Wrapper um victoria-metrics-k8s-stack (Version *, nicht fest gepinnt) von victoriametrics.github.io/helm-charts |
| VMSingle | Aufbewahrung 15d, ein Replika, PVC 10 GiB local-path, auf dem Node homeserver |
| Grafana | PVC 2 GiB local-path, Plugins victoriametrics-metrics-datasource, yesoreyeram-infinity-datasource, victoriametrics-logs-datasource, grafana-polystat-panel, Admin aus dem Secret grafana-admin, Sidecar liest Dashboards und Datenquellen aus ConfigMaps (Namespace monitoring) |
| Alertmanager | ein Replika, Routen siehe 60060 |
| Dashboards | Ordner Hardware (Mainboard, Übersicht, Server-Detail, Speicher & Laufwerke), Anwendungen (TECH) mit Rhein-Pegel |
| Schreibzugang | Ingress vm-write mit Basic-Auth vm-writer (writeAuth.enabled, derzeit false), für vmagent der Pis, siehe vmagent |
| Secrets | grafana-admin, alert-caller-token, n8n-webhook-token, vm-write-auth (SealedSecrets) |
Regeln (VMRules)
| Datei | Alarme |
|---|---|
vmrule-app-availability.yaml |
DeploymentUnavailable, StatefulSetUnavailable (5 Minuten) |
vmrule-argocd.yaml |
ArgoAppDegraded, ArgoAppOutOfSync, ArgoAppProgressing, ArgoSyncOperationStuck, ArgoMetricsMissing (20050) |
vmrule-cronjobs.yaml |
BackupJobStale, CronJobStale |
vmrule-resources.yaml |
HostHighCPULoad (80 %), HostHighMemoryUsage (70 %), HostHighDiskUsage, je zwei Minuten, warning |
vmrule-temperature.yaml |
HostHighTemperature (95 °C, drei Minuten, critical) |
vmrule-host-services.yaml |
JournalUploadFailed (systemd-journal-upload seit 15 Minuten failed) |
vmrule-banana-pi.yaml, vmrule-controlplane-1.yaml, vmrule-worker-1.yaml |
BananaPiAlarmmonitorDown, ControlPlane1Down (und ControlPlane1MemoryRequestsHigh), worker-1Down |
vmrule-etcd.yaml |
etcd-Alarme: EtcdNoLeader, EtcdMemberMissing, EtcdPeerLost, EtcdLeaderChangesFrequent, EtcdWalFsyncSlow, EtcdDatabaseSizeHigh |
vmstaticscrape-etcd.yaml |
scrapt die etcd-Metriken (:2381) beider Control-Planes, Werte unter etcd.targets |
vmrule-paging.yaml |
NodeDownPaging, PodCrashLoopPaging, DiskFailurePaging, KubeApiDownPaging (Telefon-Anruf, siehe Telefon-Alarm) |
Nur severity=critical löst einen Push aus, warning ist nur in Alertmanager und Grafana sichtbar.
Bedienung
kubectl -n monitoring get pods,pvc,ingress
kubectl -n monitoring get vmrule,vmservicescrape,vmstaticscrape,vmpodscrape
kubectl -n monitoring get secret grafana-admin -o jsonpath='{.data.admin-password}' | base64 -d; echo
- Grafana-Zugang: Benutzer
admin, Passwort aus dem Secretgrafana-admin. Neu erzeugen:scripts/regenerate-grafana-admin.sh(Skripte-Referenz). - Neues Dashboard: ConfigMap mit Label
grafana_dashboard: "1"und Annotationgrafana_folderim Namespacemonitoring. - Neuer Host:
VMStaticScrape(Labelhostsetzen, alle Regeln nutzenhost), siehetemplates/vmstaticscrape-vms.yaml.
Fehlersuche
| Symptom | Ursache | Lösung |
|---|---|---|
| Grafana nicht erreichbar | Pod, Ingress, VPN, DNS | kubectl -n monitoring get pods,ingress, DNS |
| Grafana-Anmeldung scheitert | Passwort geändert oder Secret ausgetauscht | scripts/regenerate-grafana-admin.sh (Passwort erscheint im Terminal) |
| Dashboards fehlen oder zeigen „No data“ | Sidecar findet die ConfigMaps nicht (falscher Namespace, Label), Datenquelle | kubectl -n monitoring logs deploy/monitoring-grafana -c grafana-sc-dashboard, Label grafana_dashboard: "1" |
| Dashboard-Ordner fehlen | Post-Install-Job monitoring-dashboard-folders nicht gelaufen |
kubectl -n monitoring get job, helm-Hook-Log |
| Host fehlt in den Dashboards | Scrape-Ziel (VMStaticScrape) nicht erreichbar (Host aus, Port 9100 gesperrt) oder falsches Label host |
kubectl -n monitoring get vmstaticscrape, in VMUI unter Targets prüfen, node_exporter |
| Banana-Pi-Metriken fehlen | Push scheitert (Basic-Auth, Netz) | vmagent |
| Metriken verschwinden für eine Weile | VMSingle neu gestartet oder PVC voll (15 Tage Aufbewahrung, 10 GiB) | kubectl -n monitoring get pods,pvc, Speicher prüfen |
| Alarm feuert nicht, obwohl der Zustand zutrifft | for-Dauer nicht erreicht, Ausdruck trifft kein Label (host, job, instance verwechselt) |
in VMUI den Ausdruck ausführen (60060) |
| Alarm feuert, aber kein Push | Route, severity nicht critical, ntfy-bridge scheitert |
Alertmanager-Konfiguration (amtool config routes test), ntfy-bridge |
Kein Anruf bei page=true |
Caller-Token, Pod, SIP | Telefon-Alarm, Secret alert-caller-token |
AlertmanagerFailedToSendAlerts |
Empfänger nicht erreichbar (Bridge, Caller, n8n) | Pods der Empfänger, Webhook-Token (n8n) |
| Zu viele Meldungen | niedrige Schwellen, mehrere Sensoren | 60060: Lautstärke der ntfy-Meldungen |
Watchdog feuert nicht, Caller meldet „Wachhund ausgefallen“ |
Alertmanager oder vmalert down | Pods im Namespace monitoring prüfen |
ArgoCD-App monitoring hängt in Progressing |
wartet auf einen nie gesund werdenden DaemonSet (node-exporter) | Vorfall: 20050, kubectl -n monitoring get ds |
VMRule-Fehler beim Sync (parse error) |
PromQL oder Helm-Escaping der vmalert-Platzhalter (Schreibweise siehe 60060, Abschnitt „Helm-Escaping“) | Chart rendern: helm template argocd/apps/tech/monitoring |
| Traefik-Metriken fehlen | VMServiceScrape traefik-metrics |
Traefik-Konfiguration |
Allgemeine Fehlersuche: zentrale Fehlersuche.