Natuurlijk! Hier is een stapsgewijze handleiding met voorbeeldcode om je Scikit-learn model te automatiseren met MLflow, inclusief registratie, versiebeheer en automatische deployment: Stap 1: Installeer benodigde pakketten Zorg dat je de volgende pakketten hebt geïnstalleerd: ```bash pip install mlflow scikit-learn pandas ``` Stap 2: Model trainen en loggen met MLflow Maak een script dat je model traint en automatisch registreert in MLflow. ```python import pandas as pd from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score import mlflow import mlflow.sklearn # Laad je dataset # vervang dit door je eigen data data = pd.read_csv('klantgegevens.csv') X = data.drop('churn', axis=1) y = data['churn'] # Split data X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Train het model model = RandomForestClassifier(n_estimators=100, random_state=42) model.fit(X_train, y_train) # Voer predicties uit en evalueer preds = model.predict(X_test) accuracy = accuracy_score(y_test, preds) print(f"Model accuracy: {accuracy:.2f}") # Log het model in MLflow with mlflow.start_run(): mlflow.sklearn.log_model(model, "model") mlflow.log_metric("accuracy", accuracy) run_id = mlflow.active_run().info.run_id print(f"Model gelogd met run ID: {run_id}") ``` Stap 3: Model registreren in MLflow Model Registry Na het loggen kun je het model registreren: ```python import mlflow from mlflow.tracking import MlflowClient client = MlflowClient() # Verkrijg de laatste run run_id = 'je_run_id' # vervang door de werkelijke run ID of sla deze op # Register het model model_name = "ChurnClassifier" model_uri = f"runs:/{run_id}/model" result = client.create_registered_model(model_name) model_version = client.create_model_version( name=model_name, source=model_uri, run_id=run_id ) print(f"Model geregistreerd als versie {model_version.version}") ``` Stap 4: Automatiseren met MLflow Projects en CI/CD Gebruik MLflow Projects of CI/CD pipelines (bijvoorbeeld Jenkins, GitHub Actions) om het proces te automatiseren: - **Train en log model** in een script dat automatisch wordt uitgevoerd bij nieuwe data of code commits. - **Promote de beste modellen** naar staging of productie via MLflow Model Registry. Stap 5: Model deployment automatiseren Gebruik MLflow’s ondersteuning voor verschillende deployment-omgevingen (bijv. REST API, Azure, AWS, Docker). Bijvoorbeeld, voor het automatisch deployen naar een lokale REST API: ```python import mlflow.pyfunc # Load het model uit MLflow (bijv. de nieuwste versie) model_name = "ChurnClassifier" model_version = "1" # of gebruik mlflow registry API om de nieuwste te krijgen model_uri = f"models:/{model_name}/{model_version}" model = mlflow.pyfunc.load_model(model_uri) # Voorbeeld: voorspellingen maken predictions = model.predict(X_new) # X_new: nieuwe gegevens ``` Voor automatische deployment kun je bijvoorbeeld MLflow’s CLI gebruiken: ```bash mlflow models serve -m models:/ChurnClassifier/Production -p 1234 ``` en dit proces integreren in je CI/CD pipeline zodat zodra een nieuwe modelversie wordt geregistreerd en goedgekeurd, deze automatisch wordt uitgerold. **Samenvatting:** - Train en log je model met MLflow. - Registreer het model in de Model Registry. - Gebruik MLflow’s API of CLI voor automatische deployment. - Integreer dit alles in je CI/CD pipeline voor volledige automatisering. Indien je verdere hulp nodig hebt bij specifieke integraties of scripts, laat het me gerust weten!

Zeker, hier is een stapsgewijze handleiding voor het automatiseren van je Scikit-learn model deployment met MLflow: --- ### **Stap 1: Installeer benodigde packages** ```bash pip install mlflow scikit-learn pandas numpy ``` ### **Stap 2: Basis MLflow Setup Script** ```python import mlflow import mlflow.sklearn from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, classification_report import pandas as pd import numpy as np # MLflow tracking setup mlflow.set_tracking_uri("file:./mlruns") # Lokale storage mlflow.set_experiment("Customer_Churn_Classification") ``` ### **Stap 3: Model Training en Registratie** ```python def train_and_register_model(X, y): with mlflow.start_run(): # Split data X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Model parameters params = { "n_estimators": 100, "random_state": 42, "max_depth": 10 } # Log parameters mlflow.log_params(params) # Train model model = RandomForestClassifier(**params) model.fit(X_train, y_train) # Predictions en metrics predictions = model.predict(X_test) accuracy = accuracy_score(y_test, predictions) # Log metrics mlflow.log_metric("accuracy", accuracy) mlflow.log_metric("dataset_size", len(X)) # Log model mlflow.sklearn.log_model( sk_model=model, artifact_path="churn_model", registered_model_name="RandomForest_Churn_Classifier" ) print(f"Model geregistreerd met accuracy: {accuracy:.4f}") return model ``` ### **Stap 4: Automatische Model Deployment** ```python def deploy_latest_model(): # Zoek latest version in model registry client = mlflow.tracking.MlflowClient() model_versions = client.get_latest_versions("RandomForest_Churn_Classifier") if model_versions: latest_version = model_versions[0] model_uri = f"models:/RandomForest_Churn_Classifier/{latest_version.version}" # Laad model voor deployment model = mlflow.sklearn.load_model(model_uri) # Deployment acties (aanpasbaar naar je infrastructuur) print(f"Deploying model version {latest_version.version}") print(f"Model URI: {model_uri}") return model else: print("Geen model gevonden in registry") return None ``` ### **Stap 5: Volledig Geautomatiseerd Pipeline Script** ```python def automated_pipeline(data_path): # Laad en prepare data data = pd.read_csv(data_path) X = data.drop('churn_label', axis=1) # Pas aan naar je target column y = data['churn_label'] # Train en registreer model model = train_and_register_model(X, y) # Auto-deploy latest version deployed_model = deploy_latest_model() return deployed_model # Run de pipeline if __name__ == "__main__": deployed_model = automated_pipeline("customer_data.csv") ``` ### **Stap 6: Model Serving (Optioneel - voor API deployment)** ```bash # Start MLflow model serving mlflow models serve -m "models:/RandomForest_Churn_Classifier/Production" -p 5001 # Of voor latest version: mlflow models serve -m "models:/RandomForest_Churn_Classifier/latest" -p 5001 ``` ### **Stap 7: CI/CD Integration (Basisvoorbeeld)** Maak een `.github/workflows/mlflow-deploy.yml` bestand: ```yaml name: MLflow Model Deployment on: push: branches: [ main ] jobs: deploy: runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - name: Set up Python uses: actions/setup-python@v2 with: python-version: '3.8' - name: Install dependencies run: | pip install mlflow scikit-learn pandas - name: Run training and deployment run: | python your_training_script.py ``` ### **Belangrijke Best Practices:** 1. **Model Versiebeheer**: MLflow houdt automatisch versies bij 2. **Experiment Tracking**: Alle runs worden gelogd met parameters en metrics 3. **Model Registry**: Gebruik `mlflow.register_model()` voor productie-modellen 4. **Environment Management**: Log conda environment met `mlflow.log_artifact()` ### **Monitoring en Management:** ```bash # Bekijk MLflow UI mlflow ui # Check model registry mlflow models list ``` Deze setup elimineert handmatig pickle beheer en biedt volledig traceerbare, versioned model deployment met automatische tracking van alle experimenten en modelversies.