Hallo! Ik help je graag met het ontwikkelen van een Transformer-gebaseerd TensorFlow-model voor sentimentanalyse. Gezien je vereisten en uitdagingen, hier is een stapsgewijze aanpak: **Opmerking vooraf**: Je vermeldt Engelstalige nieuwsartikelen maar wilt meertalige verwerking. Ik behandel beide aspecten. ### 1. Data Voorbereiding ```python import tensorflow as tf from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences import pandas as pd # Laad je dataset (voorbeeldcode) # df = pd.read_csv('reviews.csv') # texts = df['text'].values # labels = df['sentiment'].values # Meertalige tokenization (overweeg een voorgetrainde tokenizer) vocab_size = 50000 max_length = 512 # Voor meertalige ondersteuning is een multilingual tokenizer aanbevolen ``` ### 2. Transformer Architectuur ```python from tensorflow.keras.layers import Input, Dense, GlobalAveragePooling1D from tensorflow.keras.models import Model from transformers import TFAutoModel, AutoTokenizer # Keuze van multilingual Transformer model_name = "bert-base-multilingual-cased" # Ondersteunt 104 talen tokenizer = AutoTokenizer.from_pretrained(model_name) transformer = TFAutoModel.from_pretrained(model_name) # Model architectuur input_ids = Input(shape=(max_length,), dtype=tf.int32, name="input_ids") attention_mask = Input(shape=(max_length,), dtype=tf.int32, name="attention_mask") transformer_output = transformer({"input_ids": input_ids, "attention_mask": attention_mask})[0] pooled_output = GlobalAveragePooling1D()(transformer_output) output = Dense(1, activation='sigmoid', name='output')(pooled_output) # Voor binaire sentimentanalyse model = tf.keras.Model(inputs=[input_ids, attention_mask], outputs=output) ``` ### 3. Model Compilatie ```python model.compile( optimizer=tf.keras.optimizers.Adam(learning_rate=3e-5), loss='binary_crossentropy', metrics=['accuracy'] ) ``` ### 4. Data Preprocessing Voor Meerdere Talen ```python def preprocess_texts(texts, tokenizer, max_length): encodings = tokenizer( texts.tolist(), truncation=True, padding='max_length', max_length=max_length, return_tensors="tf" ) return encodings["input_ids"], encodings["attention_mask"] # Voorbeeld gebruik: # input_ids, attention_masks = preprocess_texts(train_texts, tokenizer, max_length) ``` ### 5. Training ```python history = model.fit( [train_input_ids, train_attention_masks], train_labels, validation_split=0.2, epochs=3, batch_size=16 ) ``` ### 6. Evaluatie en Gebruik ```python # Evaluatie test_loss, test_acc = model.evaluate([test_input_ids, test_attention_masks], test_labels) # Voorspelling def predict_sentiment(text, model, tokenizer): input_ids, attention_mask = preprocess_texts([text], tokenizer, max_length) prediction = model.predict([input_ids, attention_mask]) return "Positief" if prediction[0] > 0.5 else "Negatief" ``` ### Belangrijke Aanbevelingen: 1. **Meertalige Pre-trained Modellen**: - `bert-base-multilingual-cased` (104 talen) - `XLM-RoBERTa` (excellente meertalige prestaties) 2. **Data Verhouding**: - Zorg voor voldoende voorbeelden per taal - Overweeg transfer learning van Engels naar andere talen 3. **Hardware**: - Gebruik GPU/TPU voor training - Gradient checkpointing voor geheugenoptimalisatie 4. **Fine-tuning**: - Experimenteer met learning rates (2e-5 tot 5e-5) - Gebruik early stopping om overfitting te voorkomen ### Alternatieve Benadering: Voor een custom Transformer van scratch: ```python # Custom Transformer layers (vereist meer data en rekenkracht) from tensorflow.keras.layers import MultiHeadAttention, LayerNormalization, Dropout class TransformerBlock(tf.keras.layers.Layer): def __init__(self, embed_dim, num_heads, ff_dim, rate=0.1): super().__init__() self.att = MultiHeadAttention(num_heads=num_heads, key_dim=embed_dim) self.ffn = tf.keras.Sequential([ Dense(ff_dim, activation="relu"), Dense(embed_dim) ]) self.layernorm1 = LayerNormalization(epsilon=1e-6) self.layernorm2 = LayerNormalization(epsilon=1e-6) self.dropout1 = Dropout(rate) self.dropout2 = Dropout(rate) ``` Wil je dat ik me meer focus op een specifiek onderdeel of heb je aanvullende vereisten?