Hieronder vind je een gestructureerd overzicht en aanbevelingen voor het maken van een Ansible playbook dat logbeheer in jouw infrastructuur automatiseert. ### 1. Structuur van het Playbook **a. Inventariseer en groepeer taken:** - **Logverzameling**: installaties en configuraties van logagents (bijvoorbeeld Filebeat, rsyslog). - **Logrotatie en opruiming**: configuraties voor logrotate. - **Integratie met ELK stack**: indexering, configuratie en alerting. - **Alertconfiguratie**: opzetten van monitoring en alerts voor fouten. **b. Bestandsstructuur:** ``` logbeheer_playbook/ ├── playbook.yml ├── roles/ │ ├── collect_logs/ │ │ ├── tasks/ │ │ │ └── main.yml │ │ └── vars/ │ │ └── main.yml │ ├── logrotate/ │ │ ├── tasks/ │ │ │ └── main.yml │ │ └── templates/ │ │ └── logrotate.conf.j2 │ ├── elasticsearch/ │ │ ├── tasks/ │ │ │ └── main.yml │ │ └── templates/ │ │ └── elasticsearch.yml.j2 │ └── alerting/ │ ├── tasks/ │ │ └── main.yml │ └── templates/ │ └── alert_rules.yml.j2 ``` ### 2. Aanbevelingen voor efficiënt logbeheer en automatisering **a. Logverzameling:** - Gebruik tools zoals Filebeat of rsyslog om logs centraal te verzamelen. - Maak taken die deze agents installeren en configureren. - Configuraties moeten gericht zijn op zowel systeemlogs als applicatielogs. **b. Logrotatie en opruiming:** - Configureer `logrotate` met een wekelijkse rotatie (`rotate 4`) voor logs. - Gebruik een Jinja2 template voor `logrotate.conf` zodat het flexibel is. - Automatiser het herladen van logrotate configuraties indien nodig. **c. Integratie met ELK stack:** - Zorg dat logs worden geïndexeerd in Elasticsearch. - Stel index policies in om logs ouder dan 4 weken automatisch te verwijderen. - Configureer Kibana dashboards en alerting rules. **d. Alerting:** - Gebruik Watcher of andere alerting tools binnen Elastic. - Stel alerts in voor meer dan 100 fouten per uur. - Automatiser de creatie en beheer van deze regels via Ansible. ### 3. Automatisering van rotatie en opruiming - Gebruik Ansible om de `logrotate` configuraties te plaatsen en te controleren. - Zorg dat de logs na rotatie automatisch worden verwijderd volgens het beleid. - Plan periodieke controles en rapportages. ### 4. Integratie met analysetools (ELK Stack) - Automatiseer de installatie van Elasticsearch, Logstash, Kibana via Ansible. - Configureer ingest pipelines en index policies. - Automatiseer het opzetten van dashboards en alertregels. - Implementeer een monitoring systeem dat automatisch fouten en afwijkingen detecteert en rapporteert. ### 5. Voorbeeldfragmenten **a. Logrotate configuratie (logrotate.conf.j2):** ```jinja /var/log/*log { weekly rotate 4 missingok notifempty compress delaycompress sharedscripts postrotate systemctl reload rsyslog endscript } ``` **b. Playbook hoofdlus (playbook.yml):** ```yaml - hosts: logservers become: yes vars: logrotate_config_template: logrotate.conf.j2 roles: - collect_logs - logrotate - elasticsearch - alerting ``` ### 6. Samenvatting en aanbevelingen - **Modulariseer je playbook** voor hergebruik en overzichtelijkheid. - **Gebruik templates** voor configuraties zoals logrotate en Elasticsearch. - **Automatiseer de installatie en configuratie** van logverzamelings- en analysetools. - **Plan periodieke taken** voor rotatie, opruiming en rapportage. - **Implementeer alerting regels** binnen ELK voor kritieke fouten, inclusief drempels zoals 100 fouten per uur. - **Test je configuraties grondig** en documenteer het proces voor onderhoud. --- Als je specifieke hulp nodig hebt bij het schrijven van bepaalde taken of configuraties, laat het gerust weten!

Zeker, ik help je graag een Ansible playbook te structureren voor efficiënt logbeheer. Hier is een complete aanpak: ## Ansible Playbook Structuur ``` logbeheer-playbook/ ├── group_vars/ │ ├── all.yml │ └── elk_servers.yml ├── host_vars/ │ └── elk-server.yml ├── roles/ │ ├── logrotate/ │ │ ├── tasks/ │ │ │ └── main.yml │ │ ├── templates/ │ │ │ └── logrotate.conf.j2 │ │ └── defaults/ │ │ └── main.yml │ ├── filebeat/ │ │ ├── tasks/ │ │ │ └── main.yml │ │ └── templates/ │ │ └── filebeat.yml.j2 │ └── elk-stack/ │ ├── tasks/ │ │ └── main.yml │ └── templates/ │ └── logstash.conf.j2 ├── site.yml └── requirements.yml ``` ## Hoofd Playbook (site.yml) ```yaml --- - name: Configureer logbeheer infrastructuur hosts: all become: yes roles: - logrotate - name: Configureer log shipping naar ELK hosts: all become: yes roles: - filebeat - name: Deploy ELK stack hosts: elk_servers become: yes roles: - elk-stack ``` ## Variabelen (group_vars/all.yml) ```yaml --- # Logrotate configuratie logrotate_retention: 4 logrotate_frequency: weekly logrotate_compress: yes # Log paden system_log_paths: - /var/log/syslog - /var/log/auth.log - /var/log/kern.log application_log_paths: - /var/log/nginx/*.log - /var/log/apache2/*.log - /opt/app/logs/*.log # ELK configuratie elk_server: "elk.example.com" elk_port: 5044 ``` ## Logrotate Role (roles/logrotate/tasks/main.yml) ```yaml --- - name: Installeer logrotate package: name: logrotate state: present - name: Maak logrotate configuratie voor systeemlogs template: src: logrotate.conf.j2 dest: /etc/logrotate.d/system_logs owner: root group: root mode: '0644' vars: log_files: "{{ system_log_paths }}" - name: Maak logrotate configuratie voor applicatielogs template: src: logrotate.conf.j2 dest: /etc/logrotate.d/app_logs owner: root group: root mode: '0644' vars: log_files: "{{ application_log_paths }}" - name: Forceer logrotate uitvoering command: logrotate -f /etc/logrotate.conf changed_when: false ``` ## Logrotate Template (roles/logrotate/templates/logrotate.conf.j2) ``` {{ log_files | join('\n') }} { {{ logrotate_frequency }} rotate {{ logrotate_retention }} {% if logrotate_compress %}compress{% endif %} delaycompress missingok notifempty create 644 root root postrotate /usr/bin/killall -HUP rsyslogd 2>/dev/null || true endscript } ``` ## Filebeat Role (roles/filebeat/tasks/main.yml) ```yaml --- - name: Download Filebeat .deb package get_url: url: "https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-{{ filebeat_version }}-amd64.deb" dest: /tmp/filebeat.deb - name: Installeer Filebeat apt: deb: /tmp/filebeat.deb - name: Configureer Filebeat template: src: filebeat.yml.j2 dest: /etc/filebeat/filebeat.yml owner: root group: root mode: '0640' notify: restart filebeat - name: Enable en start Filebeat service systemd: name: filebeat enabled: yes state: started - name: Cleanup package file: path: /tmp/filebeat.deb state: absent ``` ## Filebeat Configuratie (roles/filebeat/templates/filebeat.yml.j2) ```yaml filebeat.inputs: - type: log enabled: true paths: {% for path in system_log_paths %} - {{ path }} {% endfor %} {% for path in application_log_paths %} - {{ path }} {% endfor %} output.logstash: hosts: ["{{ elk_server }}:{{ elk_port }}"] processors: - add_host_metadata: ~ - add_cloud_metadata: ~ setup.kibana: host: "{{ elk_server }}:5601" ``` ## Alerting Configuratie (ELK Stack) Voor je alert criteria (meer dan 100 fouten in 1 uur) kun je Elasticsearch Watchers of Kibana Alerting gebruiken: ```json { "trigger": { "schedule": { "interval": "1h" } }, "input": { "search": { "request": { "search_type": "query_then_fetch", "indices": ["filebeat-*"], "body": { "size": 0, "query": { "bool": { "must": [ { "range": { "@timestamp": { "gte": "now-1h" } } }, { "match": { "message": "error" } } ] } }, "aggs": { "error_count": { "value_count": { "field": "message.keyword" } } } } } } }, "condition": { "compare": { "ctx.payload.aggregations.error_count.value": { "gt": 100 } } }, "actions": { "send_email": { "email": { "to": "admin@example.com", "subject": "Hoog aantal fouten gedetecteerd", "body": "Er zijn {{ctx.payload.aggregations.error_count.value}} fouten gedetecteerd in het afgelopen uur." } } } } ``` ## Aanbevelingen voor Efficiënt Logbeheer ### 1. Structuur en Organisatie - **Gebruik Ansible Roles** voor modulaire configuratie - **Centraliseer variabelen** in group_vars voor eenvoudig beheer - **Implementeer tags** voor specifieke taken: ```yaml ansible-playbook site.yml --tags "logrotate,filebeat" ``` ### 2. Automatisering en Monitoring - **Cron job voor logrotate**: Zet in /etc/cron.daily/logrotate - **Health checks**: Monitor Filebeat service status - **Retentie monitoring**: Controleer of oude logs worden opgeruimd ### 3. Beveiliging - **Log encryptie**: Configureer TLS voor Logstash communicatie - **Toegangscontrole**: Beperk log toegang met juiste file permissions - **Audit logging**: Log alle wijzigingen aan logconfiguraties ### 4. Onderhoud - **Regelmatige updates**: Houd Filebeat en ELK stack up-to-date - **Backup procedures**: Maak backups van belangrijke log configuraties - **Capaciteitsplanning**: Monitor log groei en schaal storage indien nodig ### 5. Uitvoering ```bash # Volledige implementatie ansible-playbook -i inventory site.yml # Alleen logrotate updates ansible-playbook -i inventory site.yml --tags "logrotate" # Alleen Filebeat configuratie ansible-playbook -i inventory site.yml --tags "filebeat" ``` Deze structuur biedt een schaalbare, onderhoudbare oplossing voor je logbeheer automatisering met Ansible.