Het continu monitoren en onderhouden van de prestaties van je klantverloopmodel is essentieel om ervoor te zorgen dat het effectief blijft. Hieronder vind je een uitgebreide gids met methoden, stappen en voorbeeldcode voor het implementeren van monitoring in AWS. **1. Kies de juiste prestatie-indicator (KPI):** Omdat je een maat voor nauwkeurigheid wilt, is het gebruikelijk om metrics zoals: - **AUC-ROC** (Area Under the Receiver Operating Characteristic Curve) - **Precision, Recall, F1-score** - **Log-loss / Cross-entropy** af te spreken. Voor imbalanced datasets (veel meer klanten die niet vertrekken dan wel), is AUC-ROC vaak geschikt. --- **2. Automatiseren van prestatie-evaluatie** Maak gebruik van een geautomatiseerd pipeline die regelmatig nieuwe data evalueert en prestaties vergelijkt met historische data. **3. Data en model versiebeheer** Gebruik AWS-services zoals **S3** voor data en modelopslag, en **AWS SageMaker Model Registry** voor modelversiebeheer. --- **4. Implementatie stappen:** ### a. Data Monitoring - **Data drift detectie:** Controleer of de distributie van nieuwe data afwijkt van de trainingsdata. - **Methoden:** Gebruik statistische tests zoals KS-test of vergelijk feature-distributies. **Voorbeeld:** ```python import pandas as pd from scipy.stats import ks_2samp # Laad oude en nieuwe data train_data = pd.read_csv('s3://jouw-bucket/train_data.csv') new_data = pd.read_csv('s3://jouw-bucket/new_data.csv') # Voorbeeld feature feature = 'klant_leeftijd' # KS-test stat, p_value = ks_2samp(train_data[feature], new_data[feature]) if p_value < 0.05: print('Data drift gedetecteerd voor', feature) else: print('Geen data drift voor', feature) ``` --- ### b. Model Performance Monitoring - **Regelmatige evaluatie:** Voer periodiek (bijv. dagelijks/wekelijk) een test uit op een recente testset. - **Automatisering:** Gebruik AWS Lambda, CloudWatch Events en SageMaker Batch Transform. **Voorbeeld:** Stel dat je model is opgeslagen op S3 en je hebt een nieuwe set testdata: ```python import boto3 from sklearn.metrics import roc_auc_score import joblib import pandas as pd # Laden van model s3 = boto3.client('s3') bucket = 'jouw-bucket' model_key = 'models/klantverloop_model.pkl' response = s3.get_object(Bucket=bucket, Key=model_key) model = joblib.load(response['Body']) # Laden van nieuwe data test_data_key = 'testsets/recente_test_data.csv' response = s3.get_object(Bucket=bucket, Key=test_data_key) test_data = pd.read_csv(response['Body']) X_test = test_data.drop('verloop', axis=1) y_test = test_data['verloop'] # Voorspellingen y_pred_proba = model.predict_proba(X_test)[:, 1] # Prestatie meten auc_score = roc_auc_score(y_test, y_pred_proba) print(f'Recente AUC-ROC: {auc_score}') ``` --- ### c. Alerting Gebruik **CloudWatch** alarms voor daling in prestaties: ```python # CloudWatch alarm instellen via AWS CLI of Console aws cloudwatch put-metric-alarm \ --alarm-name "ModelAUCDrop" \ --metric-name "AUC" \ --namespace "KlantverloopMonitoring" \ --statistic Average \ --period 3600 \ --threshold 0.75 \ --comparison-operator LessThanThreshold \ --evaluation-periods 1 \ --alarm-actions arn:aws:sns:region:account-id:alarm-topic ``` Je pipeline kan automatisch de AUC meten en deze naar CloudWatch pushen. --- ### d. Model retraining en deployment - Wanneer prestaties onder een drempel dalen, start automatisch een retrain pipeline. - Gebruik **AWS SageMaker Pipelines** voor geautomatiseerde workflows. --- **5. Samenvatting** - **Data drift detectie:** Controleer of nieuwe data overeenkomt met trainingsdata. - **Model performance evaluatie:** Periodiek meten van KPI’s zoals AUC-ROC. - **Automatisering:** Gebruik AWS Lambda, CloudWatch en SageMaker voor regelmatige checks en alerts. - **Versiebeheer:** Houd modellen en data versies bij voor traceerbaarheid. - **Retraining:** Automatiseer het retrainen en uitrollen van nieuwe modellen indien nodig. --- **Kort overzicht van benodigde AWS services:** - S3: Data en model opslag - SageMaker: Model training, deployment, en registry - CloudWatch: Monitoring en alarms - Lambda: Automatisering scripts - SNS: Alerts --- **Conclusie:** Door systematisch data drift te monitoren, periodiek de modelprestatie te meten en bij afwijkingen automatische alerts en retraining in te richten, zorg je dat je klantverloopmodel effectief blijft in de loop van de tijd. --- Heeft u verdere hulp of specifieke code voor uw pipeline?

Zeker, hier is een gedetailleerde handleiding voor het continu monitoren van uw klantverloopmodel op AWS: ## 1. Prestatiemonitoring Strategie ### Belangrijke Metrics om te Monitoren: - **Accuracy** (gevraagd) - **Precision, Recall, F1-score** (aanbevolen voor verloopmodellen) - **AUC-ROC** (voor classificatiekwaliteit) - **Data Drift** (feature distributie veranderingen) - **Concept Drift** (veranderende relaties features-target) ## 2. Implementatie Architectuur op AWS ```python # requirements.txt boto3==1.26.0 pandas==1.5.0 numpy==1.23.0 scikit-learn==1.2.0 ``` ## 3. Monitoring Script ```python import json import boto3 import pandas as pd import numpy as np from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score from datetime import datetime import warnings warnings.filterwarnings('ignore') class ChurnModelMonitor: def __init__(self, model_name, s3_bucket): self.model_name = model_name self.s3_bucket = s3_bucket self.s3_client = boto3.client('s3') self.cloudwatch = boto3.client('cloudwatch') def calculate_metrics(self, y_true, y_pred, y_pred_proba): """Bereken alle prestatiemetrics""" metrics = { 'timestamp': datetime.now().isoformat(), 'accuracy': accuracy_score(y_true, y_pred), 'precision': precision_score(y_true, y_pred, zero_division=0), 'recall': recall_score(y_true, y_pred, zero_division=0), 'f1_score': f1_score(y_true, y_pred, zero_division=0), 'auc_roc': roc_auc_score(y_true, y_pred_proba) if len(np.unique(y_true)) > 1 else 0.5, 'sample_size': len(y_true) } return metrics def detect_data_drift(self, current_data, reference_data): """Detecteer data drift tussen huidige en referentiedata""" drift_metrics = {} for column in current_data.columns: if current_data[column].dtype in ['float64', 'int64']: # KS-test voor numerieke features from scipy.stats import ks_2samp stat, p_value = ks_2samp(reference_data[column].dropna(), current_data[column].dropna()) drift_metrics[f'drift_{column}'] = p_value return drift_metrics def save_metrics_to_s3(self, metrics): """Sla metrics op in S3 voor historische tracking""" date_str = datetime.now().strftime('%Y-%m-%d') key = f'model-metrics/{self.model_name}/{date_str}/metrics.json' # Laad bestaande metrics of maak nieuwe try: existing_data = self.s3_client.get_object(Bucket=self.s3_bucket, Key=key) existing_metrics = json.loads(existing_data['Body'].read()) existing_metrics['runs'].append(metrics) except: existing_metrics = {'runs': [metrics]} # Sla updated metrics op self.s3_client.put_object( Bucket=self.s3_bucket, Key=key, Body=json.dumps(existing_metrics, indent=2) ) def publish_cloudwatch_metrics(self, metrics): """Publiceer metrics naar CloudWatch voor monitoring""" namespace = f'ChurnModel/{self.model_name}' cloudwatch_metrics = [] for metric_name, value in metrics.items(): if isinstance(value, (int, float)): cloudwatch_metrics.append({ 'MetricName': metric_name, 'Value': value, 'Unit': 'Count' if metric_name == 'sample_size' else 'None', 'Timestamp': datetime.now() }) # Publiceer in batches van 20 (CloudWatch limiet) for i in range(0, len(cloudwatch_metrics), 20): batch = cloudwatch_metrics[i:i+20] self.cloudwatch.put_metric_data( Namespace=namespace, MetricData=batch ) def check_performance_degradation(self, current_metrics, baseline_metrics, threshold=0.05): """Controleer op prestatie degradatie""" alerts = [] accuracy_drop = baseline_metrics['accuracy'] - current_metrics['accuracy'] if accuracy_drop > threshold: alerts.append(f"Accuracy degradatie: {accuracy_drop:.3f}") f1_drop = baseline_metrics['f1_score'] - current_metrics['f1_score'] if f1_drop > threshold: alerts.append(f"F1-score degradatie: {f1_drop:.3f}") return alerts # Gebruiksvoorbeeld def main(): # Initialiseer monitor monitor = ChurnModelMonitor( model_name="customer-churn-v1", s3_bucket="your-monitoring-bucket" ) # Simuleer prediction data (vervang met echte data) y_true = np.array([0, 1, 0, 1, 0, 1, 0, 0, 1, 0]) y_pred = np.array([0, 1, 0, 0, 0, 1, 0, 1, 1, 0]) y_pred_proba = np.array([0.1, 0.8, 0.2, 0.4, 0.1, 0.9, 0.3, 0.6, 0.7, 0.2]) # Bereken metrics metrics = monitor.calculate_metrics(y_true, y_pred, y_pred_proba) # Sla metrics op monitor.save_metrics_to_s3(metrics) # Publiceer naar CloudWatch monitor.publish_cloudwatch_metrics(metrics) print("Monitoring metrics:", metrics) if __name__ == "__main__": main() ``` ## 4. Geautomatiseerde Monitoring Pipeline ### AWS Lambda Function voor Batch Monitoring: ```python import boto3 import pandas as pd def lambda_handler(event, context): """Lambda functie voor dagelijkse model monitoring""" # Haal nieuwe prediction data op s3 = boto3.client('s3') # Voorbeeld: haal data op van S3 # data_response = s3.get_object(Bucket='your-data-bucket', Key='predictions/latest.csv') # new_data = pd.read_csv(data_response['Body']) # Voer monitoring uit monitor = ChurnModelMonitor("customer-churn-v1", "your-monitoring-bucket") # Hier zou je echte prediction data verwerken # metrics = monitor.calculate_metrics(y_true, y_pred, y_pred_proba) return { 'statusCode': 200, 'body': 'Monitoring uitgevoerd' } ``` ## 5. CloudWatch Alarms Configuratie ```python def setup_cloudwatch_alarms(): """Stel CloudWatch alarms in voor automatische alerting""" cloudwatch = boto3.client('cloudwatch') alarm_configs = [ { 'AlarmName': 'ChurnModel-LowAccuracy', 'MetricName': 'accuracy', 'Namespace': 'ChurnModel/customer-churn-v1', 'Threshold': 0.7, # Stel uw drempelwaarde in 'ComparisonOperator': 'LessThanThreshold' }, { 'AlarmName': 'ChurnModel-LowF1', 'MetricName': 'f1_score', 'Namespace': 'ChurnModel/customer-churn-v1', 'Threshold': 0.6, 'ComparisonOperator': 'LessThanThreshold' } ] for config in alarm_configs: cloudwatch.put_metric_alarm( AlarmName=config['AlarmName'], AlarmDescription=f"Alarm voor {config['MetricName']} degradatie", MetricName=config['MetricName'], Namespace=config['Namespace'], Statistic='Average', Period=300, # 5 minuten Threshold=config['Threshold'], ComparisonOperator=config['ComparisonOperator'], EvaluationPeriods=2, AlarmActions=[ 'arn:aws:sns:us-east-1:123456789012:model-alerts' # Vervang met jouw SNS ARN ] ) ``` ## 6. Aanbevolen Monitoring Frequentie - **Real-time**: Accuracy metrics voor elke prediction batch - **Dagelijks**: Gedetailleerde metrics en drift detection - **Wekelijks**: Uitgebreide model validatie - **Maandelijks**: Model retraining evaluatie ## 7. AWS Services Setup 1. **S3 Bucket** voor metrics opslag 2. **CloudWatch** voor real-time monitoring 3. **Lambda** voor geautomatiseerde checks 4. **SNS** voor alert notifications 5. **SageMaker Model Monitor** (optioneel voor geavanceerde monitoring) Deze implementatie zorgt voor continue monitoring van uw modelprestaties en waarschuwt u bij degradatie, zodat u tijdig kunt ingrijpen met model updates of retraining.