Hier zijn de aanbevolen kalibratiemethoden voor uw RandomForestClassifier met ongelijke klassenverdeling en overconfidente waarschijnlijkheden: ## Aanbevolen Kalibratiemethoden 1. **Platt Scaling** - Goed voor beperkte data 2. **Isotonic Regression** - Beter voor grotere datasets 3. **Bayesian Binning** - Combineert voordelen van beide ## Voorbeeldcode Implementatie ```python import numpy as np from sklearn.calibration import CalibratedClassifierCV, calibration_curve from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import brier_score_loss import matplotlib.pyplot as plt # Veronderstel dat X en y uw features en target zijn X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, stratify=y, random_state=42) # Oorspronkelijk model rf = RandomForestClassifier(n_estimators=100, random_state=42, class_weight='balanced') # belangrijk voor ongelijke klassen rf.fit(X_train, y_train) # Kalibratie met Platt Scaling calibrated_rf = CalibratedClassifierCV(rf, method='sigmoid', cv=5) calibrated_rf.fit(X_train, y_train) # Kalibratie met Isotonic Regression (beter voor grotere datasets) calibrated_rf_isotonic = CalibratedClassifierCV(rf, method='isotonic', cv=5) calibrated_rf_isotonic.fit(X_train, y_train) # Waarschijnlijkheden vergelijken probs_original = rf.predict_proba(X_test)[:, 1] probs_calibrated = calibrated_rf.predict_proba(X_test)[:, 1] probs_isotonic = calibrated_rf_isotonic.predict_proba(X_test)[:, 1] # Kalibratie evalueren print(f"Brier Score Origineel: {brier_score_loss(y_test, probs_original):.4f}") print(f"Brier Score Platt: {brier_score_loss(y_test, probs_calibrated):.4f}") print(f"Brier Score Isotonic: {brier_score_loss(y_test, probs_isotonic):.4f}") ``` ## Kalibratiecurve Visualisatie ```python def plot_calibration_curve(y_true, probs, label): fraction_of_positives, mean_predicted_value = calibration_curve(y_true, probs, n_bins=10) plt.plot(mean_predicted_value, fraction_of_positives, "s-", label=label) plt.plot([0, 1], [0, 1], "k--", label="Perfectly calibrated") plt.figure(figsize=(10, 8)) plot_calibration_curve(y_test, probs_original, "Origineel") plot_calibration_curve(y_test, probs_calibrated, "Platt Scaling") plot_calibration_curve(y_test, probs_isotonic, "Isotonic Regression") plt.xlabel("Gemiddelde voorspelde waarschijnlijkheid") plt.ylabel("Fractie positieve voorbeelden") plt.title("Kalibratiecurve Vergelijking") plt.legend() plt.show() ``` ## Belangrijke Overwegingen 1. **Class Weight**: Gebruik `class_weight='balanced'` voor ongelijke klassen 2. **Cross-Validation**: Gebruik altijd CV bij kalibratie om overfitting te voorkomen 3. **Evaluatie**: Gebruik Brier Score voor kalibratie-evaluatie 4. **Data Splitting**: Kalibreer nooit op de testset ## Alternatieve Aanpak voor Zeer Ongelijke Klassen ```python from sklearn.calibration import CalibrationDisplay # Gebruik stratified k-fold voor betere kalibratie calibrator = CalibratedClassifierCV( estimator=RandomForestClassifier(n_estimators=100, class_weight='balanced'), method='sigmoid', cv=5, n_jobs=-1 ) calibrator.fit(X_train, y_train) # Kalibratie weergeven disp = CalibrationDisplay.from_estimator( calibrator, X_test, y_test, n_bins=10, name="Gekalibreerd Model" ) ``` Kies de methode die de laagste Brier Score geeft voor uw specifieke dataset. Isotonic regression werkt vaak beter bij grotere datasets, terwijl Platt Scaling beter presteert bij beperkte data.