Hier is een analyse van je huidige Prometheus-configuratie en enkele suggesties voor verbetering om effectievere en efficiëntere alertregels te creëren, met name om false positives te verminderen en de alerting beter af te stemmen op een productieomgeving: 1. Dubbele configuratie voorkomen: - Je hebt twee keer de sectie 'alerting' en 'rules'. Dit kan leiden tot verwarring of onbedoeld gedrag. Zorg dat alles in één enkele configuratie staat. 2. Verbetering van de alertregel voor diskruimte: - De huidige uitdrukking: `node_filesystem_avail_bytes / node_filesystem_size_bytes < 0.15` kan false positives veroorzaken als niet alle filesystem types relevant zijn (zoals tmpfs, devtmpfs). Het is beter om te filteren op specifieke filesystem typen, bijvoorbeeld alleen diskpartities (`ext4`, `xfs`, etc.). 3. Specificiteit verbeteren: - Voeg labels toe die aangeven op welke host en mountpoint de alert betrekking heeft, zodat je gerichter kunt reageren. 4. 'for' duur aanpassen: - 10 minuten kan te lang of te kort zijn afhankelijk van de productieomgeving. Overweeg om dit te evalueren op basis van de kritikaliteit. 5. Annotations verduidelijken: - Voeg meer context toe, zoals de exacte disk en mountpoint, en eventueel suggesties voor actie. 6. False positives verminderen: - Implementeer meer verfijnde filters, zoals exclude tmpfs en onderliggende filesystem types die niet relevant zijn. 7. Monitoring en tuning: - Pas de drempels aan op basis van historische data en tolerantie voor de omgeving. Hier is een aangepaste en verbeterde versie van je alertconfiguratie: ```yaml global: scrape_interval: 15s alerting: alertmanagers: - static_configs: - targets: ['localhost:9093'] rule_files: - 'alerts.yml' # Als je regels in een apart bestand wilt houden # Voorbeeld van verbeterde alertregel - alert: DiskSpaceLow expr: | node_filesystem_avail_bytes{mountpoint!~"^/proc|^/sys|^/run", fstype!~"tmpfs|devtmpfs"} / ignoring(fstype) node_filesystem_size_bytes{mountpoint!~"^/proc|^/sys|^/run", fstype!~"tmpfs|devtmpfs"} < 0.15 for: 10m labels: severity: critical annotations: summary: "Schijfruimte laag op {{ $labels.instance }}: {{ $labels.mountpoint }}" description: | De beschikbare schijfruimte op {{ $labels.mountpoint }} op host {{ $labels.instance }} is onder de 15%. Overweeg om grote bestanden te verwijderen of de disk uit te breiden. ``` Aanpassingen: - Filter op specifieke filesystem types en mountpoints om false positives te verminderen. - Voeg meer context toe in de annotations. - Controleer de 'for'-duur op geschiktheid voor jouw productieomgeving. Door deze verbeteringen wordt je alertsysteem gerichter, minder vatbaar voor onnodige meldingen en beter afgestemd op de productie-omgeving.