Om een aangepaste scorefunctie te maken voor het evalueren van je classificatiemodel met de F1-score in Scikit-learn, kun je de volgende stappen volgen: 1. Definieer je eigen scorefunctie die de F1-score berekent. 2. Gebruik de `make_scorer`-functie van Scikit-learn om je aangepaste score te integreren. 3. Pas deze scorer toe bij bijvoorbeeld `cross_val_score`, `GridSearchCV` of `RandomizedSearchCV`. Hier is een voorbeeldcode: ```python import numpy as np from sklearn.metrics import f1_score, make_scorer from sklearn.model_selection import cross_val_score from sklearn.ensemble import RandomForestClassifier # Stap 1: Definieer je eigen scorefunctie (optioneel, hier rechtstreeks gebruikmakend van f1_score) def mijn_f1_score(y_true, y_pred): # Je kunt hier extra logica toevoegen indien nodig return f1_score(y_true, y_pred) # Stap 2: Maak een scorer object mijn_scorer = make_scorer(mijn_f1_score, average='weighted') # of 'macro', afhankelijk van je behoefte # Voorbeeld: Data en model X = ... # je feature matrix y = ... # je target vector model = RandomForestClassifier() # Stap 3: Gebruik de aangepaste scorer bij cross-validatie scores = cross_val_score(model, X, y, cv=5, scoring=mijn_scorer) print("Gemiddelde F1-score:", np.mean(scores)) ``` **Hoe te integreren in je evaluatieproces:** - Vervang standaard evaluatiemethoden door jouw `mijn_scorer`. - Bijvoorbeeld bij `GridSearchCV`: ```python from sklearn.model_selection import GridSearchCV param_grid = {...} # je hyperparameters grid = GridSearchCV(model, param_grid, scoring=mijn_scorer, cv=5) grid.fit(X, y) print("Beste parameters:", grid.best_params_) print("Beste score:", grid.best_score_) ``` **Samenvatting:** - Definieer je scorefunctie (optioneel, direct gebruikmakend van bestaande metrics). - Maak een scorer met `make_scorer`. - Gebruik deze scorer in je evaluatie- en tuning-methoden. Zo zorg je voor een aangepaste en consistente evaluatie van je classificatiemodel op basis van de F1-score.

Hier is een stapsgewijze handleiding om een aangepaste F1-score functie te implementeren in Scikit-learn: ## Stap 1: Importeer benodigde bibliotheken ```python import numpy as np from sklearn.metrics import f1_score from sklearn.model_selection import cross_val_score, GridSearchCV from sklearn.base import BaseEstimator, TransformerMixin ``` ## Stap 2: Maak een aangepaste scorefunctie ```python def aangepaste_f1_score(y_true, y_pred): """ Aangepaste F1-score functie met eventuele extra logica """ # Basis F1-score berekening f1 = f1_score(y_true, y_pred, average='weighted') # Voeg hier eventuele aangepaste logica toe # Bijvoorbeeld: extra straf voor specifieke fouttypes # of gewijzigde weging van klassen return f1 # Alternatief: F1-score met macro averaging def f1_macro_score(y_true, y_pred): return f1_score(y_true, y_pred, average='macro') # Alternatief: F1-score voor binaire classificatie def f1_binary_score(y_true, y_pred): return f1_score(y_true, y_pred, average='binary') ``` ## Stap 3: Registreer de scorefunctie in Scikit-learn ```python from sklearn.metrics import make_scorer # Maak een scorer object voor gebruik in cross-validatie aangepaste_f1_scorer = make_scorer( aangepaste_f1_score, greater_is_better=True, needs_proba=False # Gebruik voorspelde labels, niet probabilities ) # Of voor de macro variant: macro_f1_scorer = make_scorer(f1_macro_score, greater_is_better=True) ``` ## Stap 4: Gebruik in cross-validatie ```python from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score # Voorbeeld met Random Forest model = RandomForestClassifier(random_state=42) # Cross-validatie met aangepaste score scores = cross_val_score( model, X_train, y_train, cv=5, scoring=aangepaste_f1_scorer ) print(f"Gemiddelde aangepaste F1-score: {scores.mean():.4f} (+/- {scores.std() * 2:.4f})") ``` ## Stap 5: Gebruik in GridSearchCV ```python from sklearn.model_selection import GridSearchCV # Hyperparameter tuning param_grid = { 'n_estimators': [100, 200], 'max_depth': [10, 20, None], 'min_samples_split': [2, 5] } grid_search = GridSearchCV( RandomForestClassifier(random_state=42), param_grid, cv=5, scoring=aangepaste_f1_scorer, # Gebruik aangepaste score n_jobs=-1 ) grid_search.fit(X_train, y_train) print("Beste parameters:", grid_search.best_params_) print("Beste score:", grid_search.best_score_) ``` ## Stap 6: Complete workflow voorbeeld ```python from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report # Voorbeeld dataset (vervang met jouw data) X, y = make_classification(n_samples=1000, n_features=20, random_state=42) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Train model model = RandomForestClassifier(random_state=42) model.fit(X_train, y_train) # Maak voorspellingen y_pred = model.predict(X_test) # Gebruik aangepaste score aangepaste_score = aangepaste_f1_score(y_test, y_pred) print(f"Aangepaste F1-score op testset: {aangepaste_score:.4f}") # Vergelijk met standaard F1-score standaard_f1 = f1_score(y_test, y_pred, average='weighted') print(f"Standaard F1-score: {standaard_f1:.4f}") ``` ## Stap 7: Geavanceerde aangepaste score (optioneel) ```python def geavanceerde_f1_score(y_true, y_pred, klasse_gewichten=None): """ Geavanceerde F1-score met aanpasbare klasse gewichten """ if klasse_gewichten is None: # Standaard gewichten klasse_gewichten = {0: 1.0, 1: 1.0} # Bereken F1 per klasse f1_per_klasse = f1_score(y_true, y_pred, average=None) # Pas gewichten toe gewogen_f1 = 0 totaal_gewicht = 0 for klasse, f1 in enumerate(f1_per_klasse): gewicht = klasse_gewichten.get(klasse, 1.0) gewogen_f1 += f1 * gewicht totaal_gewicht += gewicht return gewogen_f1 / totaal_gewicht # Maak scorer voor geavanceerde functie geavanceerde_scorer = make_scorer( geavanceerde_f1_score, greater_is_better=True, klasse_gewichten={0: 1.0, 1: 2.0} # Geef klasse 1 dubbel gewicht ) ``` ## Belangrijke tips: 1. **Greater is better**: Zorg dat `greater_is_better=True` voor scores waar hoger beter is 2. **Consistentie**: Gebruik dezelfde scorefunctie tijdens training en evaluatie 3. **Documentatie**: Documenteer duidelijk wat je aangepaste score doet 4. **Vergelijking**: Vergelijk altijd met standaard metrics om context te hebben Deze aanpak geeft je volledige controle over hoe je modelprestaties worden geëvalueerd, specifiek afgestemd op je klantdemografie dataset.