Om de kenmerken die jouw convolutionele neurale netwerk heeft geleerd te visualiseren en te interpreteren, kun je verschillende methoden toepassen: 1. Visualisatie van filters (kernels): - Doel: Inzicht krijgen in de beginfilters die basispatronen zoals randen en lijnen detecteren. - Hoe: Plot de gewichten van de eerste convolutionele laag als beelden. Voor grijswaardenfilters van bijvoorbeeld 3x3 of 5x5 pixels, visualiseer je deze als grijstintenafbeeldingen. - Resultaat: Hiermee zie je welke basispatronen de filters detecteren. 2. Activatiekaarten (feature maps): - Doel: Begrijpen hoe de filters reageren op specifieke invoer. - Hoe: Voer een voorbeeldinvoer door het netwerk en visualiseer de activatiekaarten na elke convolutionele laag. - Tip: Visualiseer de activaties voor een enkele invoer en gebruik bij voorkeur meerdere voorbeelden om patronen te herkennen. - Resultaat: Zie welke delen van de invoer worden benadrukt door elke filter, wat inzicht geeft in de kenmerken die het netwerk herkent. 3. Visualisatie van filters na training (geavanceerd): - Methode: Gebruik technieken zoals Gradient Ascent om filters te optimaliseren voor het maximaliseren van activatie, en zo te visualiseren welke patronen de filters prefereren. - Doel: Begrijpen wat de filters "willen zien". 4. Class Activation Mapping (CAM) of Grad-CAM: - Doel: Bepalen welke regio’s in de invoer bijdragen aan de classificatiebeslissing. - Hoe: - CAM: Vereist dat het model globale gemiddelde pooling gebruikt voor de laatste convolutionele laag. - Grad-CAM: Kan bij meer geavanceerde modellen worden toegepast zonder speciale architectuur. - Process: - Bereken de gradiënten van de outputklasse met betrekking tot de activaties van de laatste convolutionele laag. - Weeg de activaties met deze gradiënten en visualiseer de resulterende warmtekaart. - Resultaat: Een overlay op de originele invoer die aangeeft welke gebieden het meest hebben bijgedragen aan de beslissing. Door deze methoden te combineren krijg je een dieper inzicht in welke kenmerken jouw CNN heeft geleerd, hoe deze worden geactiveerd bij verschillende inputs, en waarom het model bepaalde beslissingen neemt.

Zeker, ik leg uit hoe je de geleerde kenmerken van je CNN kunt visualiseren en interpreteren. Gezien je architectuur (2 convolutionele lagen, 32 en 64 filters, 28x28 grijswaarden input) zijn hier de meest effectieve methoden: ### 1. Visualisatie van de Filters (Gewichten) Zelf **Methode:** Directe weergave van de filtergewichten. - **Uitvoering:** Voor de eerste convolutielaag zijn je filters 3x3 (of vergelijkbaar) x1 input kanaal (grijswaarden). Je kunt deze direct visualiseren als kleine afbeeldingen. - **Interpretatie:** Elke filter is een feature detector. Je ziet patronen zoals randen, hoeken, of texturen. Lichte pixels zijn positieve gewichten, donkere negatieve. - **Tools:** Gebruik `matplotlib` in Python. Haal de gewichten op via `model.layers[0].get_weights()[0]` en plot ze in een grid. ### 2. Activatiekaarten (Feature Maps) Visualiseren **Methode:** Toon de output (activatie) van een bepaalde laag voor een specifieke inputafbeelding. - **Uitvoering:** Kies een testafbeelding en creëer een model dat de output van een bepaalde convolutielaag retourneert. Visualiseer de output feature maps. - **Interpretatie:** Je ziet *welke* delen van de inputafbeelding elke filter (neuroon) activeert. Heldere gebieden zijn sterke activaties. De eerste laag reageert op eenvoudige patronen, de tweede (64 filters) op complexere combinaties daarvan. - **Tools:** Gebruik de Keras `Model` API om een tussentijds model te maken: `activation_model = Model(inputs=model.input, outputs=model.layers[layer_index].output)`. Gebruik vervolgens `matplotlib` om de activaties te plotten. ### 3. Class Activation Mapping (CAM) / Grad-CAM **Methode:** Deze techniek toont *waar* in de afbeelding het model heeft gekeken om tot een bepaalde classificatiebeslissing te komen. Dit is bij uitstek geschikt om beslissingen te interpreteren. - **Uitvoering (Grad-CAM):** 1. Kies een inputafbeelding en een doelklasse (bijv. "kat"). 2. Bereken de gradient van de score voor de doelklasse t.o.v. de feature maps van de *laatste* convolutionele laag (je laag met 64 filters). Dit vertelt je hoe belangrijk elke feature map is voor de beslissing. 3. Genereer een heatmap door de feature maps te wegen met deze importanties. - **Interpretatie:** De resulterende heatmap (vaak over de originele afbeelding gelegd) laat de cruciale beeldregio's zien voor de classificatie. Rode/heldere gebieden zijn het meest beslissend. - **Tools:** Implementeer Grad-CAM handmatig of gebruik libraries zoals `tf-keras-vis`. Je laag met 64 filters is een goede kandidaat voor de doel-laag. ### Stapsgewijs Overzicht voor jouw Model 1. **Filters Laag 1 (32 stuks):** ```python # Voorbeeld code (conceptueel) filters, biases = model.layers[0].get_weights() # Normaliseer filters naar 0-1 f_min, f_max = filters.min(), filters.max() filters = (filters - f_min) / (f_max - f_min) # Plot alle 32 filters in een grid (bijv. 4x8) import matplotlib.pyplot as plt for i in range(32): plt.subplot(4, 8, i+1) plt.imshow(filters[:, :, 0, i], cmap='gray') # voor grijswaarden input plt.axis('off') plt.show() ``` 2. **Activatiekaarten voor een Afbeelding:** ```python # Maak een model dat de output van laag 1 retourneert from keras.models import Model layer_outputs = [layer.output for layer in model.layers] activation_model = Model(inputs=model.input, outputs=layer_outputs) # Voorspel voor één afbeelding (bijv. X_test[0]) activations = activation_model.predict(X_test[0].reshape(1, 28, 28, 1)) first_layer_activation = activations[0] # output van eerste conv laag # Visualiseer een selectie van de 32 activatiekaarten plt.figure(figsize=(10, 5)) for i in range(32): # Toon bijvoorbeeld de eerste 16 plt.subplot(4, 8, i+1) plt.imshow(first_layer_activation[0, :, :, i], cmap='viridis') plt.axis('off') plt.show() ``` 3. **Grad-CAM (Conceptuele Richtlijnen):** * Identificeer de laatste convolutionele laag (bijv. `conv2d_1`). * Bereken de gradient van de top-voorspelde klasse t.o.v. de feature maps van die laag. * Pool de gradients globaal (Global Average Pooling) om de importantie-gewichten te krijgen. * Maak een lineaire combinatie van de feature maps, gewogen door deze importanties. * Pas ReLU toe om alleen positieve bijdragen te houden. * Vergroot de heatmap naar de inputgrootte (28x28) en overlay deze op de originele afbeelding. ### Samenvatting en Interpretatie * **Laag 1 (32 filters):** Toont eenvoudige, low-level features zoals orientaties van randen (verticale, horizontale, diagonale lijnen) en blob-achtige patronen. Dit is de basis van herkenning. * **Laag 2 (64 filters):** Combineert de features van Laag 1 tot complexere patronen, zoals hoeken, cirkels, kruisingen of eenvoudige texturen. De activatiekaarten zijn abstracter. * **Grad-CAM:** Legt de link tussen deze abstracte features (Laag 2) en de uiteindelijke beslissing. Het beantwoordt de vraag: "Welk deel van het object (bijv. de wielen van een auto) was doorslaggevend voor het model?". Door deze technieken te combineren, krijg je een diep inzicht van eenvoudige tot complexe features en zie je direct *waarom* je model een bepaalde voorspelling doet.