Natuurlijk! Hier is een stapsgewijze gids om query logging in je OpenSearch-cluster in te stellen en te analyseren, gericht op het detecteren van afwijkingen zoals plotselinge pieken in zoekopdrachten: 1. Query Logging Instellen a. Enable Query Logging: OpenSearch ondersteunt het loggen van zoekopdrachten via de auditlog plugin of door gebruik te maken van de slowlogs. Aangezien je al standaard logging hebt ingeschakeld zonder slowlogs, kun je overwegen om de auditlog functionaliteit te gebruiken voor gedetailleerder inzicht. b. Audit Log Configuratie: - Voeg in je elasticsearch.yml (of op de relevante configuratieplek) de volgende instellingen toe: ```yaml plugins.security.audit.type: internal_opensearch plugins.security.audit.config: enable_rest: true enable_transport: true log_request_body: true log_response_body: false ``` - Herstart je cluster na het aanpassen van deze configuratie. c. Logbestand locatie: De auditlogs worden meestal opgeslagen in de logdirectory van OpenSearch, bijvoorbeeld: `/var/log/opensearch/audit.log`. 2. Logniveau en Filtering - Zorg dat je logging voldoende gedetailleerd is om zoekopdrachten te traceren. - Je kunt filters instellen om alleen bepaalde soorten query's of gebruikers te monitoren. 3. Analyseren van Logs a. Log Verwerken: - Gebruik bijvoorbeeld Logstash, Fluentd of andere logverwerkingstools om de logs te parseren en te visualiseren. - Importeer de logs in een analysetool zoals Kibana, Grafana of Elasticsearch zelf voor dashboards. b. Detecteren van Pieken: - Maak een tijdgebaseerde visualisatie van het aantal zoekopdrachten per tijdseenheid (bijvoorbeeld per minuut of uur). - Stel drempels in om plotselinge stijgingen te markeren. - Gebruik bijvoorbeeld een grafiek die het aantal zoekopdrachten toont en markeer afwijkingen. 4. Alerts Instellen - Gebruik monitoring- en alerting-tools zoals OpenSearch Dashboards met Alerting plugin, of externe tools zoals ElastAlert. - Stel een alert in die afgaat bij een plotselinge stijging in zoekopdrachten binnen een korte tijd. 5. Best Practices - Houd rekening met normale fluctuaties en definieer wat voor jou een afwijking is. - Combineer query logging met gebruikersidentificatie om te zien wie de piek veroorzaakt. - Periodiek analyseren en bijstellen van je thresholds. Samenvatting: - Activeer en configureer auditlogs voor uitgebreide query logging. - Verwerk en visualiseer logs om trends en pieken te identificeren. - Stel alerts in voor afwijkingen zoals plotselinge zoekvolumes. - Pas je monitoring en thresholds aan op basis van je gebruikspatroon. Wil je hulp bij het instellen van specifieke configuraties of bij het opzetten van dashboards?

Hier is een stapsgewijze handleiding voor het instellen en analyseren van query logging in je OpenSearch cluster om afwijkingen te detecteren: ## 1. Slow Log Query inschakelen ### Voor index-specifieke configuratie: ```json PUT /my-index/_settings { "index.search.slowlog.threshold.query.warn": "10s", "index.search.slowlog.threshold.query.info": "5s", "index.search.slowlog.threshold.query.debug": "2s", "index.search.slowlog.threshold.query.trace": "500ms", "index.search.slowlog.level": "info" } ``` ### Voor cluster-brede configuratie: ```yaml # opensearch.yml index.search.slowlog.threshold.query.warn: 10s index.search.slowlog.threshold.query.info: 5s index.search.slowlog.threshold.query.debug: 2s index.search.slowlog.threshold.query.trace: 500ms ``` ## 2. Search Audit Logging configureren ```json PUT /_plugins/_security/api/audit/config { "enabled": true, "audit": { "enable_rest": true, "disabled_rest_categories": [ "GRANTED_PRIVILEGES", "AUTHENTICATED" ], "enable_transport": true, "disabled_transport_categories": [ "GRANTED_PRIVILEGES", "AUTHENTICATED" ], "resolve_bulk_requests": false, "log_request_body": true, "resolve_indices": true, "exclude_sensitive_headers": true } } ``` ## 3. Anomaliedetectie voor zoekpatronen ### Maak een detector voor plotselinge pieken: ```json POST /_plugins/_anomaly_detection/detectors { "name": "search-query-spike-detector", "description": "Detecteert plotselinge pieken in zoekopdrachten", "time_field": "@timestamp", "indices": [".opendistro-alerting-alerts", "opensearch-audit-log*"], "filter_query": { "bool": { "must": [ { "exists": { "field": "search_count" } } ] } }, "detection_interval": { "period": { "interval": 10, "unit": "MINUTES" } }, "window_delay": { "period": { "interval": 1, "unit": "MINUTES" } }, "result_index": "search-anomaly-results" } ``` ## 4. Custom dashboard voor monitoring ### Maak een index pattern voor audit logs: ``` .opendistro_security_audit* ``` ### Voorbeeld queries voor afwijkingen: **Pieken in zoekvolume:** ```json GET /opensearch-audit-log*/_search { "size": 0, "aggs": { "searches_over_time": { "date_histogram": { "field": "@timestamp", "fixed_interval": "5m" }, "aggs": { "search_count": { "value_count": { "field": "audit_category.keyword" } } } } } } ``` **Ongebruikelijke query patronen:** ```json GET /_search { "query": { "bool": { "must": [ { "range": { "took": { "gte": 10000 } } } ] } }, "sort": [ { "@timestamp": { "order": "desc" } } ] } ``` ## 5. Alerting configureren ```json PUT /_plugins/_alerting/monitors { "name": "Search Query Spike Alert", "enabled": true, "inputs": [ { "search": { "indices": [".opendistro_security_audit*"], "query": { "size": 0, "aggs": { "searches_last_5min": { "date_histogram": { "field": "@timestamp", "fixed_interval": "5m" } } } } } } ], "schedule": { "period": { "interval": 5, "unit": "MINUTES" } }, "triggers": [ { "name": "spike-trigger", "severity": "1", "condition": { "script": { "source": "ctx.results[0].hits.total.value > params.threshold", "lang": "painless", "params": { "threshold": 1000 } } }, "actions": [] } ] } ``` ## 6. Praktische tips voor analyse ### Te monitoren metrics: - Aantal zoekopdrachten per tijdseenheid - Gemiddelde responstijd queries - Aantal slow queries - Meest voorkomende query types - Gebruikers met hoogste search volume ### Verdachte patronen: - Plotselinge 10x+ toename in search volume - Ongebruikelijk hoge query complexiteit - Queries buiten normale bedrijfsuren - Herhaalde failed queries vanzelfde gebruiker ### Onderhoud: - Stel log retention policies in - Monitor log storage groei - Review false positives in anomaliedetectie - Pas thresholds aan op basis van historische data Start met conservatieve thresholds en verfijn deze op basis van je specifieke use case en normaal zoekgedrag in je cluster.