Om een consistente, doorzoekbare en analytisch waardevolle loggingbenadering binnen je ELK Stack op te zetten, kun je de volgende richtlijnen, voorbeelden en best practices volgen: 1. Gebruik gestructureerde logging in JSON-formaat - Consistentie: Zorg dat alle logs in hetzelfde JSON-formaat worden gegenereerd. Bijvoorbeeld: ```json { "timestamp": "2024-04-27T14:23:45.123Z", "log_level": "ERROR", "service": "webserver", "message": "Fout bij het verwerken van aanvraag", "http_method": "GET", "endpoint": "/api/data", "status_code": 500, "client_ip": "192.168.1.100", "user_agent": "Mozilla/5.0 ..." } ``` - Implementatie: Pas je loggingbibliotheek (bijvoorbeeld Logback, Log4j, Winston, enz.) aan om JSON-logs te genereren in plaats van ongestructureerde tekst. 2. Configureer je webserver om JSON-logs te genereren - Webservers zoals Nginx of Apache kunnen worden geconfigureerd met modules of aangepaste logformaten die JSON-uitvoer produceren. - Voor Nginx bijvoorbeeld: ```nginx log_format json_logs '{ "timestamp": "$time_iso8601", ' '"remote_addr": "$remote_addr", ' '"request_method": "$request_method", ' '"status": "$status", ' '"body_bytes_sent": "$body_bytes_sent", ' '"http_referer": "$http_referer", ' '"http_user_agent": "$http_user_agent" }'; access_log /var/log/nginx/access.json json_logs; ``` 3. Implementeer log parsing en preprocessing - Gebruik Logstash of Filebeat om logs te verzamelen en te parseren. - Configureer ingest pipelines in Elasticsearch om JSON-logs correct te indexeren en te structureren. - Bijvoorbeeld, met Filebeat kun je een JSON configureren: ```yaml filebeat.inputs: - type: log paths: - /var/log/nginx/access.json json.keys_under_root: true json.add_error_header: true ``` 4. Definieer duidelijke index- en veldenstructuren - Maak indexpatronen die de verschillende logtypen scheiden (bv. webserver-logs). - Gebruik consistente veldnamen en datatypes. - Bijvoorbeeld, maak een index "webserver-logs" met velden zoals timestamp, log_level, service, message, enz. 5. Gebruik Elasticsearch ingest pipelines voor enrichments - Voeg metadata toe, zoals servicenaam of environment. - Bijvoorbeeld: ```json { "processors": [ { "set": { "field": "service", "value": "webserver" } } ] } ``` 6. Optimaliseer doorzoekbaarheid en analyse - Definieer mappings voor velden, zodat ze correct geanalyseerd of niet-analiseerde (keyword) velden worden. - Voeg relevante tags en labels toe voor filteren (bijv. status codes, error levels). 7. Best practices voor implementatie - Zorg voor consistente tijdstempels en tijdzones. - Vermijd gevoelige gegevens in logs. - Automatiseer het loggen en de configuratie via scripts of infrastructuur-as-code. - Test je configuraties uitgebreid voordat je ze in productie neemt. 8. Voorbeeld van een volledige workflow - Stap 1: Configureer je webserver om JSON-logbestanden te genereren. - Stap 2: Verzamel logs met Filebeat. - Stap 3: Parse en verrijk logs in Logstash of direct in Filebeat. - Stap 4: Indexeer logs in Elasticsearch met juiste mappings en ingest pipelines. - Stap 5: Visualiseer en analyseer logs via Kibana. Door deze aanpak te volgen, zorg je voor een uniforme, doorzoekbare en analytisch bruikbare loggingomgeving binnen je ELK Stack.

Zeker, hier is een gestructureerde aanpak voor JSON-logging in je ELK Stack met focus op webserver logs: ## 1. Log Generator Configuratie (Webserver) ### Nginx Voorbeeld ```nginx http { log_format json_structured escape=json '{' '"timestamp":"$time_iso8601",' '"client_ip":"$remote_addr",' '"method":"$request_method",' '"uri":"$request_uri",' '"status":$status,' '"response_time":$request_time,' '"user_agent":"$http_user_agent",' '"referrer":"$http_referer",' '"bytes_sent":$bytes_sent,' '"server_name":"$server_name"' '}'; access_log /var/log/nginx/access.log json_structured; } ``` ### Apache Voorbeeld ```apache LogFormat "{ \ \"timestamp\":\"%{%Y-%m-%dT%H:%M:%S%z}t\", \ \"client_ip\":\"%a\", \ \"method\":\"%m\", \ \"uri\":\"%U\", \ \"query_string\":\"%q\", \ \"status\":%>s, \ \"response_time\":%D, \ \"user_agent\":\"%{User-Agent}i\", \ \"referrer\":\"%{Referer}i\", \ \"bytes_sent\":%B, \ \"server_name\":\"%V\" \ }" json_structured CustomLog /var/log/apache2/access.log json_structured ``` ## 2. Elasticsearch Index Template ```json { "index_patterns": ["webserver-logs-*"], "template": { "mappings": { "properties": { "timestamp": { "type": "date", "format": "strict_date_optional_time||epoch_millis" }, "client_ip": { "type": "ip" }, "method": { "type": "keyword" }, "uri": { "type": "text", "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } } }, "status": { "type": "integer" }, "response_time": { "type": "float" }, "user_agent": { "type": "text", "fields": { "keyword": { "type": "keyword", "ignore_above": 512 } } }, "referrer": { "type": "keyword" }, "bytes_sent": { "type": "long" }, "server_name": { "type": "keyword" }, "geoip": { "properties": { "country_name": {"type": "keyword"}, "city_name": {"type": "keyword"}, "location": {"type": "geo_point"} } } } } } } ``` ## 3. Logstash Configuratie ```ruby input { file { path => "/var/log/nginx/access.log" start_position => "beginning" sincedb_path => "/dev/null" codec => "json" } } filter { # Parse timestamp date { match => [ "timestamp", "ISO8601" ] target => "@timestamp" } # GeoIP lookup geoip { source => "client_ip" target => "geoip" } # User Agent parsing useragent { source => "user_agent" target => "user_agent_info" } # Cleanup fields mutate { remove_field => [ "host", "@version" ] convert => { "status" => "integer" "response_time" => "float" "bytes_sent" => "integer" } } } output { elasticsearch { hosts => ["http://elasticsearch:9200"] index => "webserver-logs-%{+YYYY.MM.dd}" template => "/etc/logstash/templates/webserver-template.json" template_name => "webserver-logs" } } ``` ## 4. Best Practices & Richtlijnen ### Consistentie Richtlijnen - **Tijdstempels**: Gebruik altijd ISO 8601 formaat - **Veldenamen**: Gebruik snake_case (bijv. `client_ip`, `response_time`) - **Data types**: Definieer expliciete types in Elasticsearch mapping - **Verplichte velden**: `timestamp`, `log_level`, `message`, `service_name` ### Uitgebreid JSON Voorbeeld ```json { "timestamp": "2024-01-15T10:30:00.000Z", "log_level": "INFO", "service": "webserver", "environment": "production", "client_ip": "192.168.1.100", "method": "GET", "uri": "/api/v1/users", "status": 200, "response_time": 0.045, "bytes_sent": 2048, "user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36", "referrer": "https://example.com", "server_name": "web01", "request_id": "req-123456", "user_id": "user-789", "geoip": { "country_name": "Netherlands", "city_name": "Amsterdam", "location": { "lat": 52.3702, "lon": 4.8952 } } } ``` ### Monitoring en Validatie ```bash # Log format validatie jq . /var/log/nginx/access.log | head -5 # Elasticsearch health check curl -X GET "localhost:9200/_cat/indices/webserver-*?v" # Mapping inspectie curl -X GET "localhost:9200/webserver-logs-2024.01.15/_mapping" ``` ### Performance Optimalisaties - Gebruik index lifecycle management (ILM) voor retention - Implementeer bulk indexing in Logstash - Gebruik ingest pipelines voor complexe transformaties - Configureer index templates voor consistente mappings ### Beveiliging - Masker gevoelige data (bijv. auth headers) - Gebruik HTTPS voor Elasticsearch communicatie - Implementeer field-level security - Houd log retention policies aan Deze aanpak zorgt voor consistente, doorzoekbare logs die optimaal presteren in je ELK Stack omgeving.