Natuurlijk! Hier is een overzichtelijk plan om een effectief logging- en monitoringsysteem op te zetten voor je Ubuntu 20.04 server met Apache en MySQL: 1. Basisprincipes en doelen - Vroege foutdetectie: snel identificeren van problemen zoals fouten in logs, hoge CPU- of geheugengebruik. - CPU- en geheugengebruik monitoren: continu toezicht op systeembelasting. - Betrouwbaarheid en schaalbaarheid: systemen die meegroeien en makkelijk te onderhouden zijn. 2. Aanbevolen tools A. Logmanagement - **rsyslog** (standaard op Ubuntu): voor centrale logregistratie. - **Logwatch**: samenvattingen van logs voor dagelijkse rapportages. - **Elastic Stack (ELK)**: Elasticsearch, Logstash en Kibana voor geavanceerde loganalyse en visualisatie. - **Filebeat**: lichtgewicht agent om logs naar Elastic te sturen. B. Monitoring - **Prometheus**: open-source monitoring en alerting systeem. - **Grafana**: visualisatie dashboard voor Prometheus gegevens. - **Node Exporter**: verzamelt systeemstatistieken zoals CPU, geheugen, schijf, netwerk. - **MySQL Exporter**: verzamelt MySQL-specifieke statistieken. - **Apache Exporter**: voor webserver-specifieke metrics. 3. Implementatie stappen A. Logmanagement 1. Configureer rsyslog om logs van Apache, MySQL en systeemsystemen te centraliseren. 2. Installeer Logwatch voor dagelijkse rapportages. 3. Overweeg Elastic Stack voor geavanceerd logbeheer: - Installeer Elasticsearch, Logstash en Kibana. - Configureer Logstash om logs van rsyslog en applicaties te verzamelen en te indexeren. - Gebruik Kibana voor visualisatie en detectie van afwijkingen. B. System Monitoring 1. Installeer Prometheus en Grafana: ```bash sudo apt install prometheus grafana ``` 2. Installeer Node Exporter en MySQL Exporter: ```bash wget https://github.com/prometheus/node_exporter/releases/latest/download/node_exporter-*.linux-amd64.tar.gz tar -xzf node_exporter-*.linux-amd64.tar.gz sudo mv node_exporter-*/node_exporter /usr/local/bin/ ``` En voor MySQL: ```bash wget https://github.com/prometheus/mysqld_exporter/releases/latest/download/mysqld_exporter-*.linux-amd64.tar.gz tar -xzf mysqld_exporter-*.linux-amd64.tar.gz sudo mv mysqld_exporter-*/mysqld_exporter /usr/local/bin/ ``` 3. Configure Prometheus om deze exporters te scrapen: - Pas `prometheus.yml` aan om targets toe te voegen. 4. Maak dashboards in Grafana: - Gebruik bestaande dashboards of maak nieuwe voor CPU, geheugen, MySQL en Apache. 4. Best practices - **Automatiseer installatie en updates** met scripts of configuration management tools (Ansible, Puppet). - **Stel alerts in** via Prometheus Alertmanager of via dashboards (bijvoorbeeld bij hoge CPU of geheugen). - **Gebruik logrotatie** (logrotate) voor logbestanden om opslag te beheren. - **Beveilig je monitoring en logs**: restrictie toegang, versleuteling. - **Documenteer je configuraties** voor toekomstig onderhoud en schaalbaarheid. 5. Schaalbaarheid en toekomst - Overweeg het gebruik van centrale logservers of SIEM-systemen naarmate je omgeving groeit. - Monitor niet alleen de server, maar ook applicaties en afhankelijkheden. - Plan regelmatige reviews van logs en metrics om trends en issues vroegtijdig te detecteren. Met deze aanpak creëer je een betrouwbaar, schaalbaar en volledig inzichtelijk monitoringsysteem dat je helpt om problemen vroegtijdig te signaleren en de prestaties van je server te optimaliseren.

Zeker, ik help je graag een robuust monitoringsysteem op te zetten voor je Ubuntu 20.04 server. Hier is een stapsgewijze handleiding met tools, configuraties en best practices. --- ### **Aanbevolen Monitoring Stack** Gezien je doelen (vroege foutdetectie, CPU/geheugen) raad ik de volgende combinatie aan: 1. **Prometheus:** Een krachtige, open-source monitoringtool die metrische gegevens verzamelt en opslaat (de "database"). 2. **Node Exporter:** Een agent voor Prometheus die systeemstatistieken (CPU, geheugen, schijf I/O, etc.) van je Linux-host verzamelt. 3. **cAdvisor (Container Advisor):** Voor het monitoren van Docker containers (optioneel, maar handig voor de toekomst). 4. **Alertmanager:** Handelt alerts afkomstig van Prometheus en routeert ze (bijv. naar e-mail of Slack). 5. **Grafana:** Een platform voor data-visualisatie om dashboards te maken voor je metrische gegevens. Deze stack is gratis, schaalbaar, en de industrie standaard voor dit soort taken. --- ### **Stapsgewijze Implementatie** #### **Stap 1: Prometheus & Node Exporter installeren** 1. **Maak een dedicated gebruiker aan (best practice):** ```bash sudo useradd --no-create-home --shell /bin/false prometheus sudo useradd --no-create-home --shell /bin/false node_exporter ``` 2. **Download en installeer Prometheus:** ```bash # Maak directories sudo mkdir /etc/prometheus sudo mkdir /var/lib/prometheus # Download de nieuwste versie (controleer de laatste versie op https://prometheus.io/download/) wget https://github.com/prometheus/prometheus/releases/download/v2.47.2/prometheus-2.47.2.linux-amd64.tar.gz tar xvf prometheus-*.tar.gz cd prometheus-*/ # Kopieer de binaries sudo cp prometheus promtool /usr/local/bin/ sudo cp -r consoles/ console_libraries/ /etc/prometheus/ # Stel eigenaar in sudo chown prometheus:prometheus /usr/local/bin/prometheus sudo chown -R prometheus:prometheus /etc/prometheus sudo chown prometheus:prometheus /var/lib/prometheus ``` 3. **Configureer Prometheus:** Maak een configuratiebestand `/etc/prometheus/prometheus.yml`: ```yaml global: scrape_interval: 15s # Verzamel data elke 15 seconden scrape_configs: - job_name: 'prometheus' static_configs: - targets: ['localhost:9090'] # Monitor Prometheus zelf - job_name: 'node' # Deze job scant de Node Exporter static_configs: - targets: ['localhost:9100'] # De standaardpoort van Node Exporter ``` Stel de juiste permissies in: `sudo chown prometheus:prometheus /etc/prometheus/prometheus.yml` 4. **Maak een systemd service voor Prometheus:** Maak `/etc/systemd/system/prometheus.service`: ```ini [Unit] Description=Prometheus Wants=network-online.target After=network-online.target [Service] User=prometheus Group=prometheus Type=simple ExecStart=/usr/local/bin/prometheus \ --config.file /etc/prometheus/prometheus.yml \ --storage.tsdb.path /var/lib/prometheus/ \ --web.console.templates=/etc/prometheus/consoles \ --web.console.libraries=/etc/prometheus/console_libraries [Install] WantedBy=multi-user.target ``` 5. **Download en installeer Node Exporter:** ```bash wget https://github.com/prometheus/node_exporter/releases/download/v1.6.1/node_exporter-1.6.1.linux-amd64.tar.gz tar xvf node_exporter-*.tar.gz cd node_exporter-*/ sudo cp node_exporter /usr/local/bin/ sudo chown node_exporter:node_exporter /usr/local/bin/node_exporter ``` 6. **Maak een systemd service voor Node Exporter:** Maak `/etc/systemd/system/node_exporter.service`: ```ini [Unit] Description=Node Exporter After=network.target [Service] User=node_exporter Group=node_exporter Type=simple ExecStart=/usr/local/bin/node_exporter [Install] WantedBy=multi-user.target ``` 7. **Start de services en zorg dat ze automatisch opstarten:** ```bash sudo systemctl daemon-reload sudo systemctl start prometheus node_exporter sudo systemctl enable prometheus node_exporter ``` 8. **Controleer de status:** ```bash sudo systemctl status prometheus sudo systemctl status node_exporter ``` Prometheus is nu bereikbaar op `http://<jouw-server-ip>:9090` en Node Exporter op `http://<jouw-server-ip>:9100`. --- #### **Stap 2: Apache en MySQL Monitoring** 1. **Apache:** Installeer en activeer de `status_module`. ```bash sudo a2enmod status ``` Pas je Apache configuratie aan (bijv. in `/etc/apache2/mods-enabled/status.conf`). Zorg dat je toegang beperkt: ```apache <Location /server-status> SetHandler server-status Require local # Beperk tot localhost! Gebruik 'Require ip x.x.x.x' voor je monitoring server. </Location> ``` Herstart Apache: `sudo systemctl restart apache2` 2. **Prometheus Apache Exporter:** Download en installeer de [Apache Exporter](https://github.com/Lusitaniae/apache_exporter) om metrische gegevens van de `server-status` pagina naar Prometheus te halen. De configuratie is vergelijkbaar met Node Exporter. 3. **MySQL:** Maak een gebruiker voor Prometheus in MySQL: ```sql CREATE USER 'exporter'@'localhost' IDENTIFIED BY 'JOUW_STERK_WACHTWOORD_HIER' WITH MAX_USER_CONNECTIONS 3; GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'localhost'; ``` Download en installeer de [MySQL Exporter](https://github.com/prometheus/mysqld_exporter). De configuratie is vergelijkbaar met Node Exporter. 4. **Voeg de nieuwe jobs toe aan `prometheus.yml`:** ```yaml scrape_configs: ... (bestaande jobs) ... - job_name: 'apache' static_configs: - targets: ['localhost:9117'] # Standaard poort Apache Exporter - job_name: 'mysql' static_configs: - targets: ['localhost:9104'] # Standaard poort MySQL Exporter ``` Herstart Prometheus: `sudo systemctl restart prometheus` --- #### **Stap 3: Grafana installeren voor visualisatie** 1. **Voeg de Grafana repository toe en installeer:** ```bash sudo apt-get install -y software-properties-common sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main" wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - sudo apt-get update sudo apt-get install grafana ``` 2. **Start en enable de service:** ```bash sudo systemctl start grafana-server sudo systemctl enable grafana-server ``` Grafana is nu bereikbaar op `http://<jouw-server-ip>:3000`. Log in met `admin` / `admin` en verander direct het wachtwoord. 3. **Voeg Prometheus als data source toe:** * Ga in Grafana naar **Configuration > Data Sources > Add data source**. * Kies **Prometheus**. * Vul bij URL `http://localhost:9090` in. * Klik op **Save & Test**. 4. **Importeer dashboards:** * Ga naar **Dashboard > Import**. * Gebruik de volgende ID's om populaire, vooraf gemaakte dashboards te importeren: * **Node Exporter:** ID `1860` (voor uitgebreide systeemmetrics). * **Apache:** Zoek naar "Apache" op [Grafana Labs Dashboards](https://grafana.com/grafana/dashboards/). * **MySQL:** Zoek naar "MySQL" op dezelfde site. --- #### **Stap 4: Alertmanager instellen voor vroege foutdetectie** 1. **Download en installeer Alertmanager** (vergelijkbaar met Prometheus). 2. **Configureer Prometheus om met Alertmanager te praten** in `prometheus.yml`: ```yaml alerting: alertmanagers: - static_configs: - targets: - localhost:9093 # Standaardpoort Alertmanager ``` 3. **Definieer alertregels** in een bestand zoals `/etc/prometheus/alert_rules.yml` en verwijs ernaar in `prometheus.yml`. **Voorbeeld regel (CPU alert):** ```yaml groups: - name: example rules: - alert: HighCpuUsage expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80 for: 5m labels: severity: warning annotations: summary: "Hoge CPU gebruik op {{ $labels.instance }}" description: "CPU gebruik is boven 80% voor meer dan 5 minuten. Huidige waarde: {{ $value }}%" ``` 4. **Configureer Alertmanager** om alerts via e-mail, Slack, of andere kanalen te sturen. --- ### **Belangrijke Best Practices** 1. **Beveiliging:** * Draai exporters als niet-root gebruikers. * Beperk toegang tot Prometheus, Grafana en exporter poorten met een firewall (`ufw`). * Zet Grafana en Prometheus achter een reverse proxy (zoals Apache of Nginx) met HTTPS en basisauthenticatie voor toegang vanaf het internet. 2. **Retentie en Onderhoud:** * Configureer data retentie in Prometheus (`--storage.tsdb.retention.time` flag). 15-30 dagen is een goed startpunt. * Stel een plan op voor het opruimen van oude data. 3. **Documentatie:** * Documenteer je alertregels en escalatieprocedures. Wat gebeurt er als een alert afgaat? 4. **Testen:** * Test je alerts! Forceer een hoge CPU load met `stress-ng` om te zien of de alert correct werkt. Deze setup geeft je een diep inzicht in de gezondheid van je server en waarschuwt je *voordat* problemen kritiek worden. Begin met deze basis en breid later uit met monitoring voor applicatie-specifieke metrics.