Hier is een stapsgewijze gids en een voorbeeld Python-script dat je kunt gebruiken om door je logbestanden te scannen, patronen te zoeken en een samenvattend rapport te genereren: Stap 1: Logbestand lezen Gebruik Python's ingebouwde functies om het logbestand regel voor regel te lezen. Stap 2: Patronen definiëren en zoeken Gebruik de module `re` (reguliere expressies) om patronen te definiëren en te zoeken in elke regel. Stap 3: Bevindingen verzamelen Houd bij hoeveel keer elk patroon voorkomt en noteer relevante regels. Stap 4: Rapport genereren Maak een overzichtelijk rapport met de gevonden patronen en tellingen. Hieronder een voorbeeldscript dat specifiek zoekt naar het patroon "FOUT" in het logbestand `/var/log/system.log`: ```python import re # Pad naar het logbestand logbestand = "/var/log/system.log" # Patronen om te zoeken patronen = { "FOUT": re.compile(r"FOUT", re.IGNORECASE), "Waarschuwing": re.compile(r"WARNING|Waarschuwing", re.IGNORECASE), "Prestatieknelpunt": re.compile(r"prestatie|knelpunt", re.IGNORECASE) } # Verzameling van bevindingen bevindingen = {naam: {'aantal': 0, 'regels': []} for naam in patronen} # Lezen en zoeken in het logbestand with open(logbestand, 'r', encoding='utf-8', errors='ignore') as bestand: for regel in bestand: for naam, patroon in patronen.items(): if patroon.search(regel): bevindingen[naam]['aantal'] += 1 bevindingen[naam]['regels'].append(regel.strip()) # Genereren rapport print("Samenvatting Logbestand Analyse") print("=" * 40) for naam, data in bevindingen.items(): print(f"\nPatroon: {naam}") print(f"Totaal gevonden: {data['aantal']}") print("Voorbeeldregels:") for voorbeeld in data['regels'][:5]: # Toon eerste 5 voorbeelden print(f" - {voorbeeld}") if data['aantal'] > 5: print("...meer regels niet weergegeven.") # Optioneel: rapport opslaan in een tekstbestand with open('rapport_loganalyse.txt', 'w', encoding='utf-8') as rapport: rapport.write("Samenvatting Logbestand Analyse\n") rapport.write("=" * 40 + "\n") for naam, data in bevindingen.items(): rapport.write(f"\nPatroon: {naam}\n") rapport.write(f"Totaal gevonden: {data['aantal']}\n") rapport.write("Voorbeeldregels:\n") for voorbeeld in data['regels'][:5]: rapport.write(f" - {voorbeeld}\n") if data['aantal'] > 5: rapport.write("...meer regels niet weergegeven.\n") ``` ### Hoe te gebruiken: 1. Pas de lijst `patronen` aan om andere patronen toe te voegen. 2. Zorg dat het logbestand zich op de juiste locatie bevindt of wijzig het pad. 3. Voer het script uit met Python: `python scriptnaam.py`. 4. Bekijk het rapport in de console of in het bestand `rapport_loganalyse.txt`. ### Tips: - Gebruik meer complexe reguliere expressies voor geavanceerdere patronen. - Voeg functies toe om filters op tijdstempels of andere criteria te doen. - Overweeg om de resultaten te visualiseren voor betere interpretatie. Heeft u nog verdere wensen of specifieke patronen die u wilt zoeken?

Hier is een uitgebreide handleiding en Python-script voor het analyseren van je logbestanden: ## Python Script voor Loganalyse ```python import re import os from datetime import datetime from collections import defaultdict class LogAnalyzer: def __init__(self, log_path): self.log_path = log_path self.patterns = {} self.results = defaultdict(list) def add_pattern(self, name, pattern): """Voeg een zoekpatroon toe""" self.patterns[name] = re.compile(pattern, re.IGNORECASE) def read_log_file(self): """Lees het logbestand en retourneer de regels""" try: with open(self.log_path, 'r', encoding='utf-8') as file: return file.readlines() except FileNotFoundError: print(f"Fout: Logbestand {self.log_path} niet gevonden.") return [] except PermissionError: print(f"Fout: Geen toegang tot {self.log_path}. Voer uit met sudo.") return [] except UnicodeDecodeError: # Probeer met een ander encoding als UTF-8 faalt with open(self.log_path, 'r', encoding='latin-1') as file: return file.readlines() def analyze_logs(self): """Analyseer het logbestand op basis van gedefinieerde patronen""" lines = self.read_log_file() if not lines: return print(f"Analyseren van {len(lines)} regels uit {self.log_path}...") for line_num, line in enumerate(lines, 1): for pattern_name, regex in self.patterns.items(): matches = regex.findall(line) if matches: self.results[pattern_name].append({ 'line_number': line_num, 'content': line.strip(), 'matches': matches }) def generate_report(self): """Genereer een samenvattend rapport""" if not self.results: print("\nGeen overeenkomende patronen gevonden.") return print("\n" + "="*60) print("LOGBESTAND ANALYSE RAPPORT") print("="*60) print(f"Bestand: {self.log_path}") print(f"Datum analyse: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}") print("-"*60) total_found = 0 for pattern_name, matches in self.results.items(): count = len(matches) total_found += count print(f"\n{pattern_name.upper()}: {count} gevonden") print("-"*40) for i, match in enumerate(matches[:10], 1): # Toon eerste 10 resultaten print(f"{i}. Regel {match['line_number']}: {match['content'][:100]}...") if count > 10: print(f"... en {count - 10} meer resultaten") print("\n" + "="*60) print(f"TOTAAL: {total_found} patronen gevonden") print("="*60) def save_report_to_file(self, output_file="log_analyse_rapport.txt"): """Sla het rapport op in een bestand""" with open(output_file, 'w', encoding='utf-8') as f: f.write("LOGBESTAND ANALYSE RAPPORT\n") f.write("="*50 + "\n") f.write(f"Bestand: {self.log_path}\n") f.write(f"Datum: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}\n\n") for pattern_name, matches in self.results.items(): f.write(f"{pattern_name.upper()}: {len(matches)} gevonden\n") f.write("-"*40 + "\n") for match in matches: f.write(f"Regel {match['line_number']}: {match['content']}\n") f.write("\n") # HOOFDPROGRAMMA def main(): # Initialiseer de log analyzer analyzer = LogAnalyzer("/var/log/system.log") # Definieer de patronen om te zoeken analyzer.add_pattern("fouten", r"FOUT|ERROR|FAILED|CRITICAL") analyzer.add_pattern("waarschuwingen", r"WARNING|WAARSCHUWING|WARN") analyzer.add_pattern("prestatie", r"SLOW|TIMEOUT|LATENCY|PERFORMANCE") # Voer analyse uit analyzer.analyze_logs() # Toon rapport analyzer.generate_report() # Sla rapport op analyzer.save_report_to_file() print(f"\nRapport opgeslagen in: log_analyse_rapport.txt") if __name__ == "__main__": main() ``` ## Uitgebreide Handleiding ### 1. Logbestanden Lezen - **Bestandspaden**: Gebruik absolute paden zoals `/var/log/system.log` - **Encodering**: Logbestanden gebruiken vaak UTF-8 of Latin-1 - **Foutafhandeling**: Controleer altijd op bestandsrechten en -beschikbaarheid ### 2. Reguliere Expressies voor Patronen ```python # Veelvoorkomende patronen voor loganalyse patronen = { "fouten": r"(FOUT|ERROR|FAIL|CRITICAL|EXCEPTION)", "waarschuwingen": r"(WARNING|WARN|WAARSCHUWING)", "tijdsproblemen": r"(TIMEOUT|SLOW|LATENCY|DELAY)", "netwerkproblemen": r"(CONNECTION REFUSED|NETWORK ERROR|SOCKET)", "geheugenproblemen": r"(OUT OF MEMORY|MEMORY LEAK|OOM)", "database_fouten": r"(SQLERROR|DATABASE|CONNECTION LOST)" } ``` ### 3. Script Gebruik ```bash # Voer het script uit (mogelijk sudo nodig voor /var/log/) sudo python3 log_analyzer.py # Of maak het script uitvoerbaar chmod +x log_analyzer.py ./log_analyzer.py ``` ### 4. Aanvullende Functionaliteit ```python # Voor real-time monitoring def monitor_logs_realtime(log_path, patterns): """Monitor logbestand in real-time""" import time with open(log_path, 'r') as file: # Ga naar het einde van het bestand file.seek(0, 2) while True: line = file.readline() if not line: time.sleep(0.1) continue for pattern_name, regex in patterns.items(): if regex.search(line): print(f"[{datetime.now()}] {pattern_name}: {line.strip()}") ``` ### 5. Geavanceerde Analyse ```python # Tel frequentie van fouten per uur def analyze_error_frequency(matches): """Analyseer wanneer fouten het meest voorkomen""" hourly_count = defaultdict(int) for match in matches: # Extraheer tijdstip uit logregel (aanpassen aan je logformaat) time_match = re.search(r'(\d{2}):\d{2}:\d{2}', match['content']) if time_match: hour = time_match.group(1) hourly_count[hour] += 1 return dict(hourly_count) ``` ### Belangrijke Tips: 1. **Test je reguliere expressies** met tools zoals [regex101.com](https://regex101.com/) 2. **Pas het logformaat aan** aan je specifieke logbestanden 3. **Gebruik logging** voor betere foutafhandeling 4. **Overweeg logrotatie** voor grote bestanden 5. **Beveilig gevoelige informatie** in rapporten Dit script geeft je een solide basis voor loganalyse die je kunt uitbreiden naar je specifieke behoeften!