Natuurlijk! Hier is een uitgebreide gids met stappen en voorbeeldcode om uw dataset schoon en betrouwbaar te maken voordat u uw model traint: 1. Stap 1: Gegevensinspectie - Bekijk de eerste records en algemene statistieken om een idee te krijgen van de data. - Controleer op ontbrekende waarden, datatypes en duplicaten. Voorbeeldcode (Python met pandas): ```python import pandas as pd # Data inladen df = pd.read_csv('verkoopgegevens.csv') # Eerste records bekijken print(df.head()) # Basisstatistieken print(df.describe(include='all')) # Ontbrekende waarden tellen print(df.isnull().sum()) ``` 2. Stap 2: Ontbrekende Leeftijdswaarden Aanpakken - Mogelijkheden: a) Verwijderen van records met ontbrekende leeftijd. b) Invullen met gemiddelde, mediaan of modus. c) Gebruik maken van voorspellende modellen (geavanceerd). Bijvoorbeeld, invullen met mediaan: ```python # Invullen ontbrekende leeftijden met mediaan median_leeftijd = df['leeftijd'].median() df['leeftijd'].fillna(median_leeftijd, inplace=True) ``` 3. Stap 3: Validatie op Bereik en Type - Controleer of leeftijden binnen een realistisch bereik (bijv. 0-120 jaar). - Controleer dat datatypes correct zijn. ```python # Bereikcontrole onrealistische_leeftijden = df[(df['leeftijd'] < 0) | (df['leeftijd'] > 120)] print("Onrealistische leeftijden:\n", onrealistische_leeftijden) # Fix of verwijder onrealistische waarden df = df[(df['leeftijd'] >= 0) & (df['leeftijd'] <= 120)] ``` 4. Stap 4: Controle op Duplicaten - Identificeer en verwijder dubbele records op basis van relevante kolommen. ```python # Duplicaten identificeren duplicates = df[df.duplicated()] print("Aantal dubbele records:", len(duplicates)) # Duplicaten verwijderen df.drop_duplicates(inplace=True) ``` 5. Stap 5: Validatie op Consistentie en Logica - Check of bijvoorbeeld verkoopbedragen positief zijn. - Controleer dat datums logisch zijn (bijv. geen toekomstige datums). ```python # Verkoopbedragen positief df = df[df['bedrag'] > 0] # Datums controleren # Bijvoorbeeld, geen datums in de toekomst import datetime huidige_datum = datetime.datetime.now() df['datum'] = pd.to_datetime(df['datum']) df = df[df['datum'] <= huidige_datum] ``` 6. Stap 6: Documentatie en Validatie - Documenteer de aangebrachte wijzigingen. - Voer een laatste controle uit om te zorgen dat de data nu consistent en volledig is. 7. Extra: Automatisering en Validatiescripts - Maak scripts zodat je de validatie regelmatig kunt herhalen. Door deze stappen te volgen, zorg je dat je dataset schoon, betrouwbaar en geschikt is voor het trainen van je model. Mocht je specifieke codevoorbeelden nodig hebben voor bepaalde technieken, laat het gerust weten!

Zeker, hier is een gedetailleerd stappenplan met voorbeeldcode in Python om je dataset schoon en betrouwbaar te maken voor modeltraining. ### Stappenplan voor Gegevensvalidatie en -opschoning #### Stap 1: Importeer benodigde bibliotheken ```python import pandas as pd import numpy as np ``` #### Stap 2: Laad je dataset ```python # Vervang 'verkoopgegevens.csv' met je bestandsnaam df = pd.read_csv('verkoopgegevens.csv') ``` #### Stap 3: Eerste verkenning van de data ```python # Basis informatie over de dataset print("Dataset vorm:", df.shape) print("\nEerste 5 rijen:") print(df.head()) print("\nKolom informatie:") print(df.info()) print("\nBeschrijvende statistieken:") print(df.describe(include='all')) ``` #### Stap 4: Controle op dubbele invoer (jouw specifieke vereiste) ```python # Identificeer volledig dubbele rijen duplicate_rows = df[df.duplicated(keep=False)] if len(duplicate_rows) > 0: print(f"Aantal dubbele rijen gevonden: {len(duplicate_rows)}") print("Voorbeeld van dubbele rijen:") print(duplicate_rows.head()) else: print("Geen volledig dubbele rijen gevonden") # Verwijder dubbele rijen (bewaar eerste exemplaar) df_clean = df.drop_duplicates(keep='first') print(f"\nAantal rijen na verwijderen duplicaten: {len(df_clean)}") ``` #### Stap 5: Analyseer ontbrekende waarden (specifiek voor leeftijd) ```python # Controleer ontbrekende waarden per kolom missing_data = df_clean.isnull().sum() print("Ontbrekende waarden per kolom:") print(missing_data[missing_data > 0]) # Specifieke analyse voor leeftijdskolom if 'leeftijd' in df_clean.columns: missing_age = df_clean['leeftijd'].isnull().sum() print(f"\nOntbrekende leeftijdswaarden: {missing_age}") print(f"Percentage ontbrekend: {(missing_age/len(df_clean))*100:.2f}%") ``` #### Stap 6: Behandel ontbrekende leeftijdswaarden ```python # Optie 1: Verwijder rijen met ontbrekende leeftijd df_no_missing = df_clean.dropna(subset=['leeftijd']) # Optie 2: Vul ontbrekende leeftijden in met mediaan df_filled = df_clean.copy() if 'leeftijd' in df_filled.columns: age_median = df_filled['leeftijd'].median() df_filled['leeftijd'].fillna(age_median, inplace=True) print(f"Ontbrekende leeftijden ingevuld met mediaan: {age_median}") # Kies de aanpak die het beste past bij je use case ``` #### Stap 7: Uitgebreide gegevensvalidatie ```python def validate_data(df): """ Uitgebreide validatiefunctie voor de dataset """ validation_report = {} # Typecontroles validation_report['dtypes'] = df.dtypes # Bereikcontroles voor leeftijd (indien van toepassing) if 'leeftijd' in df.columns: validation_report['leeftijd_min'] = df['leeftijd'].min() validation_report['leeftijd_max'] = df['leeftijd'].max() validation_report['leeftijd_onrealistisch'] = df[(df['leeftijd'] < 0) | (df['leeftijd'] > 120)].shape[0] # Controle op ontbrekende waarden validation_report['missing_values'] = df.isnull().sum() # Controle op unieke waarden per kolom validation_report['unique_counts'] = df.nunique() return validation_report # Voer validatie uit validation_results = validate_data(df_clean) print("Validatierapport:") for key, value in validation_results.items(): print(f"{key}: {value}") ``` #### Stap 8: Data quality metrics ```python def calculate_data_quality(df_original, df_cleaned): """ Bereken data quality metrics """ quality_metrics = {} quality_metrics['original_rows'] = len(df_original) quality_metrics['cleaned_rows'] = len(df_cleaned) quality_metrics['data_retention'] = (len(df_cleaned) / len(df_original)) * 100 # Compleetheid (percentage niet-ontbrekende waarden) completeness = (df_cleaned.notnull().sum().sum() / (len(df_cleaned) * len(df_cleaned.columns))) * 100 quality_metrics['completeness_percentage'] = completeness return quality_metrics quality_report = calculate_data_quality(df, df_clean) print("\nData Quality Rapport:") for metric, value in quality_report.items(): print(f"{metric}: {value:.2f}" if isinstance(value, float) else f"{metric}: {value}") ``` #### Stap 9: Exporteer de schone dataset ```python # Exporteer de opgeschoonde dataset df_clean.to_csv('verkoopgegevens_schoongemaakt.csv', index=False) print("Schone dataset geëxporteerd naar 'verkoopgegevens_schoongemaakt.csv'") ``` ### Aanvullende aanbevelingen: 1. **Documenteer alle stappen**: Houd bij welke transformaties je hebt uitgevoerd 2. **Creëer een validatiepijplijn**: Maak herbruikbare code voor toekomstige datasets 3. **Domain knowledge**: Betrek domeinexperts bij het bepalen van realistische bereiken 4. **Cross-validatie**: Valideer je model op verschillende subsets van de data ### Volledig uitvoerbaar script: ```python # Compleet opschoningsscript import pandas as pd import numpy as np # Laad data df = pd.read_csv('verkoopgegevens.csv') # Verwijder duplicaten df_clean = df.drop_duplicates() # Behandel ontbrekende leeftijden if 'leeftijd' in df_clean.columns: df_clean['leeftijd'].fillna(df_clean['leeftijd'].median(), inplace=True) # Export resultaat df_clean.to_csv('verkoopgegevens_schoongemaakt.csv', index=False) print("Data opschoning voltooid!") ``` Dit stappenplan zorgt voor een grondige opschoning van je dataset, met speciale aandacht voor dubbele invoer en ontbrekende leeftijdswaarden, zodat je een betrouwbaar model kunt trainen.