Natuurlijk! Hier is een aanpak om een dynamische service discovery configuratie voor Prometheus te maken in een Kubernetes-omgeving, zodat het automatisch nieuwe services detecteert en oude deregistreert: 1. Gebruik de Kubernetes service discovery integratie van Prometheus: - Prometheus kan automatisch services, pods en endpoints ontdekken via de Kubernetes API. 2. Voorbeeld configuratie voor Kubernetes discovery: ```yaml global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: 'kubernetes-services' kubernetes_sd_configs: - role: service namespaces: names: - default # Voeg hier je namespace(n) toe relabel_configs: # Filter voor services die je wilt monitoren - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape] action: keep regex: 'true' # Gebruik de annotatie om de scrape-URL te bepalen - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path] target_label: __metrics_path__ regex: (.+) - source_labels: [__address__, __meta_kubernetes_service_annotation_prometheus_io_port] target_label: __address__ regex: (.+):(.+) replacement: $1:$2 ``` 3. Annotaties op services: - Zorg dat je services de juiste annotaties hebben zodat Prometheus ze kan detecteren en correct scrapen: ```yaml apiVersion: v1 kind: Service metadata: name: mijn-service annotations: prometheus.io/scrape: 'true' prometheus.io/port: '8080' prometheus.io/path: '/metrics' ``` 4. Automatische detectie en deregistratie: - De Kubernetes discovery in Prometheus detecteert automatisch nieuwe services en verwijdert niet-actieve zodra ze niet meer gevonden worden. - Zorg dat je Prometheus voldoende permissions heeft om de Kubernetes API te lezen (RBAC configuratie). 5. Mogelijke oorzaken van niet gedetecteerde services: - Controleer dat de annotaties correct zijn toegepast. - Zorg dat de services in de juiste namespace worden gescand. - Controleer of Prometheus de juiste RBAC-rechten heeft. - Kijk in de Prometheus logs voor foutmeldingen. Door deze setup te gebruiken, wordt je monitoring automatisch aangepast aan veranderingen in je Kubernetes infrastructuur, zonder handmatige interventie.

Hier is een complete Prometheus configuratie voor service discovery in Kubernetes die automatisch meeschaalt met je dynamische infrastructuur: ## 1. Kubernetes Service Discovery Configuratie Voeg deze configuratie toe aan je `prometheus.yml`: ```yaml scrape_configs: # Automatische discovery van Kubernetes pods - job_name: 'kubernetes-pods' kubernetes_sd_configs: - role: pod relabel_configs: # Alleen pods met annotaties voor Prometheus - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] action: keep regex: true # Haal scrape path uit annotaties - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path] action: replace target_label: __metrics_path__ regex: (.+) # Haal scrape poort uit annotaties - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port] action: replace regex: ([^:]+)(?::\d+)?;(\d+) replacement: $1:$2 target_label: __address__ # Labels voor service identificatie - source_labels: [__meta_kubernetes_namespace] action: replace target_label: kubernetes_namespace - source_labels: [__meta_kubernetes_pod_name] action: replace target_label: kubernetes_pod_name - source_labels: [__meta_kubernetes_pod_label_app] action: replace target_label: app # Automatische discovery van Kubernetes services - job_name: 'kubernetes-services' kubernetes_sd_configs: - role: service metrics_path: /metrics relabel_configs: # Alleen services met prometheus.io/scrape=true - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape] action: keep regex: true - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_port] action: replace regex: (.+) target_label: __address__ - source_labels: [__meta_kubernetes_namespace] action: replace target_label: kubernetes_namespace - source_labels: [__meta_kubernetes_service_name] action: replace target_label: kubernetes_name ``` ## 2. Service Mesh Integration (optioneel) Voor Istio of andere service meshes: ```yaml - job_name: 'istio-mesh' kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: [__meta_kubernetes_pod_container_port_name] action: keep regex: .*-envoy-prom - source_labels: [__address__] action: replace regex: ([^:]+)(?::\d+)? replacement: $1:15090 target_label: __address__ ``` ## 3. Vereiste Kubernetes Annotaties Voeg deze annotaties toe aan je service/pod definitions: ```yaml apiVersion: v1 kind: Service metadata: name: mijn-service annotations: prometheus.io/scrape: "true" prometheus.io/port: "8080" prometheus.io/path: "/metrics" spec: ports: - port: 8080 targetPort: 8080 ``` ## 4. RBAC Configuratie (vereist) Service account voor Prometheus: ```yaml apiVersion: v1 kind: ServiceAccount metadata: name: prometheus namespace: monitoring --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: prometheus rules: - apiGroups: [""] resources: - nodes - nodes/proxy - services - endpoints - pods verbs: ["get", "list", "watch"] - apiGroups: - extensions resources: - ingresses verbs: ["get", "list", "watch"] - nonResourceURLs: ["/metrics"] verbs: ["get"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: prometheus roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: prometheus subjects: - kind: ServiceAccount name: prometheus namespace: monitoring ``` ## 5. Oplossing voor niet-gedetecteerde Services **Veelvoorkomende problemen en oplossingen:** 1. **RBAC rechten**: Zorg dat Prometheus service account de juiste rechten heeft 2. **Annotaties**: Controleer of annotaties correct zijn gespeld 3. **Netwerk policies**: Zorg dat Prometheus bij de pods kan komen 4. **Scrape interval**: Pas aan indien nodig: ```yaml global: scrape_interval: 30s evaluation_interval: 30s ``` ## 6. Monitoring van de Service Discovery Voeg deze alert toe om problemen te detecteren: ```yaml groups: - name: service_discovery rules: - alert: ServiceDiscoveryFailing expr: up == 0 for: 5m labels: severity: warning annotations: summary: "Service discovery failing for {{ $labels.instance }}" ``` ## 7. Validatie Stappen 1. Controleer Prometheus targets pagina: `http://prometheus:9090/targets` 2. Bekijk service discovery: `http://prometheus:9090/service-discovery` 3. Check logs: `kubectl logs -l app=prometheus` Deze setup detecteert automatisch nieuwe services binnen 30-60 seconden en verwijdert oude services zodra de Kubernetes resources worden verwijderd.