Hier is een aangepaste GitLab CI-configuratie die automatisch testdata genereert met de Faker library en deze valideert op duplicaten tijdens de testfase. Het script zorgt ervoor dat de testdata wordt gegenereerd, opgeslagen en gecontroleerd voordat de tests worden uitgevoerd. ```yaml stages: - build - test build_job: stage: build script: - echo 'Build starten' # Voeg eventueel build- of installatiestappen toe indien nodig test_job: stage: test timeout: 30m image: python:3.11 # Of een andere geschikte Python Docker image script: - pip install faker pytest - python generate_testdata.py - python validate_testdata.py - pytest tests/ ``` Daarnaast heb je twee Python scripts nodig: 1. `generate_testdata.py` — voor het genereren van realistische testdata met Faker en het opslaan in een bestand. 2. `validate_testdata.py` — voor het controleren op duplicaten. **Voorbeeld inhoud van `generate_testdata.py`:** ```python from faker import Faker import json fake = Faker() aantal_items = 100 # Aantal testdata items te genereren testdata = [] for _ in range(aantal_items): data = { 'naam': fake.name(), 'email': fake.email(), 'adres': fake.address(), # Voeg meer velden toe indien nodig } testdata.append(data) # Sla op in JSON bestand with open('testdata.json', 'w') as f: json.dump(testdata, f) ``` **Voorbeeld inhoud van `validate_testdata.py`:** ```python import json with open('testdata.json') as f: testdata = json.load(f) # Controle op duplicaten op basis van een uniek veld, bijvoorbeeld 'email' emails = [item['email'] for item in testdata] duplicates = set([email for email in emails if emails.count(email) > 1]) if duplicates: print(f'Duplicaten gevonden: {duplicates}') exit(1) else: print('Geen duplicaten gevonden.') ``` **Samenvatting:** - Tijdens de buildfase wordt de omgeving voorbereid. - Tijdens de testfase worden testdata gegenereerd, gevalideerd en daarna de tests uitgevoerd. - De totale runtime blijft onder 30 minuten, afhankelijk van de complexiteit en grootte van de data en tests. Wil je nog verdere aanpassingen of hulp bij het integreren van deze scripts?

Hier is een verbeterde GitLab CI-configuratie voor uw Python webapplicatie met automatische testdatageneratie en validatie: ```yaml stages: - build - test - validate variables: PYTHON_VERSION: "3.9" # Cache voor dependencies cache: paths: - .cache/pip - venv/ before_script: - python --version - pip install virtualenv - virtualenv venv - source venv/bin/activate - pip install -r requirements.txt build_job: stage: build script: - echo 'Build starten' - pip install faker pytest - python -c "import faker; print('Faker geïnstalleerd')" timeout: 30 minutes artifacts: paths: - venv/ expire_in: 1 hour test_data_generation: stage: test script: - source venv/bin/activate - echo 'Testdata genereren met Faker' - | cat > generate_test_data.py << 'EOF' from faker import Faker import json fake = Faker('nl_NL') # Nederlandse data generated_data = [] # Genereer 100 testrecords for i in range(100): record = { 'id': i, 'naam': fake.name(), 'email': fake.email(), 'adres': fake.address(), 'telefoon': fake.phone_number(), 'bedrijf': fake.company() } generated_data.append(record) # Opslaan als JSON with open('test_data.json', 'w') as f: json.dump(generated_data, f, indent=2) print(f"{len(generated_data)} testrecords gegenereerd") EOF - python generate_test_data.py timeout: 30 minutes artifacts: paths: - test_data.json expire_in: 1 week data_validation: stage: validate script: - source venv/bin/activate - echo 'Testdata valideren - controle op duplicaten' - | cat > validate_data.py << 'EOF' import json with open('test_data.json', 'r') as f: test_data = json.load(f) # Controle op duplicaten in e-mailadressen (unieke identifier) emails = [record['email'] for record in test_data] unique_emails = set(emails) if len(emails) != len(unique_emails): duplicates = [email for email in emails if emails.count(email) > 1] raise ValueError(f"Duplicaten gevonden in testdata: {set(duplicates)}") # Controle op unieke IDs ids = [record['id'] for record in test_data] if len(ids) != len(set(ids)): raise ValueError("Duplicaten gevonden in IDs") print("✅ Validatie geslaagd: Geen duplicaten gevonden in testdata") print(f"Totaal records: {len(test_data)}") print(f"Unieke e-mails: {len(unique_emails)}") EOF - python validate_data.py timeout: 30 minutes dependencies: - test_data_generation test_job: stage: test script: - source venv/bin/activate - echo 'Tests uitvoeren met gegenereerde testdata' - | # Voorbeeld testscript dat de gegenereerde data gebruikt cat > run_tests.py << 'EOF' import json import pytest def load_test_data(): with open('test_data.json', 'r') as f: return json.load(f) def test_data_quality(): data = load_test_data() assert len(data) == 100, "Moet precies 100 testrecords bevatten" for record in data: assert 'email' in record, "Elk record moet een e-mail bevatten" assert '@' in record['email'], "E-mail moet geldig formaat hebben" if __name__ == "__main__": test_data_quality() print("Alle tests geslaagd!") EOF - python run_tests.py timeout: 30 minutes dependencies: - test_data_generation ``` **Belangrijke kenmerken van deze configuratie:** 1. **Drie stages**: build → test → validate 2. **Faker integration**: Genereert realistische Nederlandse testdata 3. **Duplicate validatie**: Controleert op unieke e-mails en IDs 4. **Timeout**: 30 minuten per job zoals vereist 5. **Artifacts**: Bewaart gegenereerde testdata tussen jobs 6. **Cache**: Optimaliseert buildtijden door dependencies te cachen **Aanvullende aanbevelingen:** - Voeg `faker` en `pytest` toe aan uw `requirements.txt` - Pas de datageneratie aan naar uw specifieke datamodel - Overweeg random seeds voor reproduceerbare testdata - Voeg meer validatieregels toe afhankelijk van uw domein De pipeline genereert eerst testdata, valideert deze op duplicaten, en gebruikt ze vervolgens in uw tests.