PKR-Lab

Monitoring — VictoriaMetrics, Grafana und Alertmanager

Quelle: pkr-lab/pkr-lab-docs/capulus/capulus-core/3-apps-workloads/300q0-monitoring.md

Monitoring — VictoriaMetrics, Grafana und Alertmanager

Der Monitoring-Stack sammelt Metriken aller drei Cluster, des NAS und der Kiosk-Geräte, wertet Regeln aus, zeigt sie in Grafana und schickt Alarme an ntfy und das Telefon. Die Begründungen zu Routing, Regeln und Scrapes stehen in 60060, die Logs in Logging, die Hardware-Dashboards in Hardware-Monitoring. Diese Seite beschreibt Betrieb und Fehlersuche.

Cluster: TECH · Ordner argocd/apps/tech/monitoring/ · Namespace monitoring · Grafana https://grafana.tech.homeserver (öffentlich über den Tunnel grafana-tech.pke-lab.de). kubectl-Befehle in diesem Doc gelten für den TECH-Cluster (Zugriff je Cluster).


Architektur

flowchart LR
    subgraph Quellen
        nodes[node-exporter, kube-state-metrics, cAdvisor]
        static[VMStaticScrape: prod-vm, entw-vm, NAS, Infotafel, smartctl]
        push[vmagent auf Banana Pi: remote-write]
        traefik[Traefik-Metriken]
    end
    nodes --> agent[vmagent]
    static --> agent
    traefik --> agent
    push -->|vm-write, Basic-Auth| vm[(VMSingle, 15 Tage, 10 GiB)]
    agent --> vm
    vm --> alert[vmalert: VMRules]
    alert --> am[Alertmanager]
    am -->|critical| bridge[ntfy-bridge] --> ntfy[ntfy]
    am -->|page=true, Watchdog| caller[alert-caller: Telefon]
    am -->|BananaPiAlarmmonitorDown| n8n[n8n: Zammad-Ticket]
    vm --> grafana[Grafana, Dashboards]
Teil Wert
Chart Wrapper um victoria-metrics-k8s-stack (Version *, nicht fest gepinnt) von victoriametrics.github.io/helm-charts
VMSingle Aufbewahrung 15d, ein Replika, PVC 10 GiB local-path, auf dem Node homeserver
Grafana PVC 2 GiB local-path, Plugins victoriametrics-metrics-datasource, yesoreyeram-infinity-datasource, victoriametrics-logs-datasource, grafana-polystat-panel, Admin aus dem Secret grafana-admin, Sidecar liest Dashboards und Datenquellen aus ConfigMaps (Namespace monitoring)
Alertmanager ein Replika, Routen siehe 60060
Dashboards Ordner Hardware (Mainboard, Übersicht, Server-Detail, Speicher & Laufwerke), Anwendungen (TECH) mit Rhein-Pegel
Schreibzugang Ingress vm-write mit Basic-Auth vm-writer (writeAuth.enabled, derzeit false), für vmagent der Pis, siehe vmagent
Secrets grafana-admin, alert-caller-token, n8n-webhook-token, vm-write-auth (SealedSecrets)

Regeln (VMRules)

Datei Alarme
vmrule-app-availability.yaml DeploymentUnavailable, StatefulSetUnavailable (5 Minuten)
vmrule-argocd.yaml ArgoAppDegraded, ArgoAppOutOfSync, ArgoAppProgressing, ArgoSyncOperationStuck, ArgoMetricsMissing (20050)
vmrule-cronjobs.yaml BackupJobStale, CronJobStale
vmrule-resources.yaml HostHighCPULoad (80 %), HostHighMemoryUsage (70 %), HostHighDiskUsage, je zwei Minuten, warning
vmrule-temperature.yaml HostHighTemperature (95 °C, drei Minuten, critical)
vmrule-host-services.yaml JournalUploadFailed (systemd-journal-upload seit 15 Minuten failed)
vmrule-banana-pi.yaml, vmrule-controlplane-1.yaml, vmrule-worker-1.yaml BananaPiAlarmmonitorDown, ControlPlane1Down (und ControlPlane1MemoryRequestsHigh), worker-1Down
vmrule-etcd.yaml etcd-Alarme: EtcdNoLeader, EtcdMemberMissing, EtcdPeerLost, EtcdLeaderChangesFrequent, EtcdWalFsyncSlow, EtcdDatabaseSizeHigh
vmstaticscrape-etcd.yaml scrapt die etcd-Metriken (:2381) beider Control-Planes, Werte unter etcd.targets
vmrule-paging.yaml NodeDownPaging, PodCrashLoopPaging, DiskFailurePaging, KubeApiDownPaging (Telefon-Anruf, siehe Telefon-Alarm)

Nur severity=critical löst einen Push aus, warning ist nur in Alertmanager und Grafana sichtbar.


Bedienung

kubectl -n monitoring get pods,pvc,ingress
kubectl -n monitoring get vmrule,vmservicescrape,vmstaticscrape,vmpodscrape
kubectl -n monitoring get secret grafana-admin -o jsonpath='{.data.admin-password}' | base64 -d; echo

Fehlersuche

Symptom Ursache Lösung
Grafana nicht erreichbar Pod, Ingress, VPN, DNS kubectl -n monitoring get pods,ingress, DNS
Grafana-Anmeldung scheitert Passwort geändert oder Secret ausgetauscht scripts/regenerate-grafana-admin.sh (Passwort erscheint im Terminal)
Dashboards fehlen oder zeigen „No data“ Sidecar findet die ConfigMaps nicht (falscher Namespace, Label), Datenquelle kubectl -n monitoring logs deploy/monitoring-grafana -c grafana-sc-dashboard, Label grafana_dashboard: "1"
Dashboard-Ordner fehlen Post-Install-Job monitoring-dashboard-folders nicht gelaufen kubectl -n monitoring get job, helm-Hook-Log
Host fehlt in den Dashboards Scrape-Ziel (VMStaticScrape) nicht erreichbar (Host aus, Port 9100 gesperrt) oder falsches Label host kubectl -n monitoring get vmstaticscrape, in VMUI unter Targets prüfen, node_exporter
Banana-Pi-Metriken fehlen Push scheitert (Basic-Auth, Netz) vmagent
Metriken verschwinden für eine Weile VMSingle neu gestartet oder PVC voll (15 Tage Aufbewahrung, 10 GiB) kubectl -n monitoring get pods,pvc, Speicher prüfen
Alarm feuert nicht, obwohl der Zustand zutrifft for-Dauer nicht erreicht, Ausdruck trifft kein Label (host, job, instance verwechselt) in VMUI den Ausdruck ausführen (60060)
Alarm feuert, aber kein Push Route, severity nicht critical, ntfy-bridge scheitert Alertmanager-Konfiguration (amtool config routes test), ntfy-bridge
Kein Anruf bei page=true Caller-Token, Pod, SIP Telefon-Alarm, Secret alert-caller-token
AlertmanagerFailedToSendAlerts Empfänger nicht erreichbar (Bridge, Caller, n8n) Pods der Empfänger, Webhook-Token (n8n)
Zu viele Meldungen niedrige Schwellen, mehrere Sensoren 60060: Lautstärke der ntfy-Meldungen
Watchdog feuert nicht, Caller meldet „Wachhund ausgefallen“ Alertmanager oder vmalert down Pods im Namespace monitoring prüfen
ArgoCD-App monitoring hängt in Progressing wartet auf einen nie gesund werdenden DaemonSet (node-exporter) Vorfall: 20050, kubectl -n monitoring get ds
VMRule-Fehler beim Sync (parse error) PromQL oder Helm-Escaping der vmalert-Platzhalter (Schreibweise siehe 60060, Abschnitt „Helm-Escaping“) Chart rendern: helm template argocd/apps/tech/monitoring
Traefik-Metriken fehlen VMServiceScrape traefik-metrics Traefik-Konfiguration

Allgemeine Fehlersuche: zentrale Fehlersuche.