Voor het effectief extraheren van bi-grammen en tri-grammen uit je tekstdataset, kun je gebruik maken van de scikit-learn bibliotheek, specifiek de `CountVectorizer` of `TfidfVectorizer`. Deze tools maken het mogelijk om n-grammen te genereren en te transformeren naar een numerieke representatie die geschikt is voor verdere analyse. Hieronder volgt een voorbeeldcode en uitleg: ```python from sklearn.feature_extraction.text import TfidfVectorizer # Voorbeeld van recensies recensies = [ "Dit product is geweldig, ik ben zeer tevreden.", "Slecht kwaliteit en slechte service.", "Goede prijs en snelle levering.", "Niet tevreden over de kwaliteit.", "Uitstekend product, zeer aan te bevelen!" ] # Vectorizer instellen voor bi-grammen en tri-grammen vectorizer = TfidfVectorizer(ngram_range=(2, 3), stop_words='dutch') # Transformeer de tekst naar een TF-IDF matrix X = vectorizer.fit_transform(recensies) # Toegang tot de feature namen (n-grammen) feature_names = vectorizer.get_feature_names_out() print("Geselecteerde n-grammen:") for ngram in feature_names: print(ngram) # De resulterende TF-IDF matrix print("\nTF-IDF matrix (sparse formaat):") print(X) ``` ### Uitleg: - **`TfidfVectorizer`**: Combineert het extraheren van n-grammen met het berekenen van TF-IDF waarden. Dit geeft je een gewogen representatie van de n-grammen in je dataset. - **`ngram_range=(2, 3)`**: Specificeert dat je bi-grammen en tri-grammen wilt extraheren. - **`stop_words='dutch'`**: Verwijdert veelvoorkomende woorden die niet relevant zijn (gebruik je eigen lijst indien nodig). - **`fit_transform()`**: Past de vectorizer toe op de tekstdata en geeft een sparse matrix met de gewichten. ### Alternatief: Gebruik ook `CountVectorizer` als je enkel de frequenties wilt zonder gewichten. ```python from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer(ngram_range=(2, 3), stop_words='dutch') X = vectorizer.fit_transform(recensies) ``` ### Samenvatting: - Gebruik `TfidfVectorizer` of `CountVectorizer` met `ngram_range=(2, 3)` om bi-grammen en tri-grammen te extraheren. - Pas eventueel stopwoordverwijdering toe om ruis te verminderen. - De resulterende matrix kan je gebruiken voor verdere analyses zoals classificatie, clustering, of sentimentanalyse. Mocht je meer hulp nodig hebben bij de implementatie of optimalisatie, laat het gerust weten!

Hier is een uitgebreide uitleg met voorbeeldcode voor het extraheren van bi-grammen en tri-grammen uit je recensiedataset: ## Methoden voor N-gram Extractie ### 1. Basis N-gram Extractie met CountVectorizer ```python import pandas as pd from sklearn.feature_extraction.text import CountVectorizer from sklearn.feature_extraction.text import TfidfVectorizer import nltk from nltk.corpus import stopwords from nltk.tokenize import word_tokenize from nltk.stem import SnowballStemmer # Download NLTK data (eenmalig) nltk.download('stopwords') nltk.download('punkt') # Voorbeeld dataset recensies = [ "Dit product is geweldig en werkt perfect", "Zeer slechte kwaliteit, niet aan te raden", "Snelle levering en goede klantenservice", "Product viel tegen, niet wat ik verwachtte" ] # Bi-grammen extraheren bigram_vectorizer = CountVectorizer(ngram_range=(2, 2), stop_words=stopwords.words('dutch')) bigram_features = bigram_vectorizer.fit_transform(recensies) print("Bi-grammen:") print(bigram_vectorizer.get_feature_names_out()) print("Matrix vorm:", bigram_features.shape) ``` ### 2. Geavanceerde Preprocessing met N-grammen ```python def preprocess_tekst(tekst): """Preprocessing functie voor Nederlandse tekst""" # Naar lowercase tekst = tekst.lower() # Stopwoorden verwijderen stopwoorden = set(stopwords.words('dutch')) tokens = word_tokenize(tekst) gefilterd = [woord for woord in tokens if woord not in stopwoorden and woord.isalpha()] return ' '.join(gefilterd) # Preprocessing toepassen gereinigde_recensies = [preprocess_tekst(recensie) for recensie in recensies] # Bi-grammen en tri-grammen samen ngram_vectorizer = CountVectorizer(ngram_range=(2, 3), max_features=100) ngram_features = ngram_vectorizer.fit_transform(gereinigde_recensies) print("\nBi-grammen en Tri-grammen:") print(ngram_vectorizer.get_feature_names_out()[:20]) # Toon eerste 20 ``` ### 3. TF-IDF met N-grammen ```python # TF-IDF met n-grammen tfidf_ngram = TfidfVectorizer( ngram_range=(2, 3), stop_words=stopwords.words('dutch'), max_features=1000, min_df=2, # Woorden die in minstens 2 documenten voorkomen max_df=0.8 # Woorden die in max 80% van documenten voorkomen ) tfidf_features = tfidf_ngram.fit_transform(recensies) # Toon belangrijkste n-grammen gebaseerd op TF-IDF scores feature_names = tfidf_ngram.get_feature_names_out() dense_features = tfidf_features.todense() print("\nTop TF-IDF n-grammen voor eerste recensie:") eerste_recensie_scores = dense_features[0].tolist()[0] gesorteerd = sorted(zip(feature_names, eerste_recensie_scores), key=lambda x: x[1], reverse=True)[:10] for ngram, score in gesorteerd: if score > 0: print(f"{ngram}: {score:.4f}") ``` ### 4. Complete Pipeline voor Analyse ```python import pandas as pd from collections import Counter def analyse_ngrammen(df, tekst_kolom='recensie'): """ Complete n-gram analyse pipeline """ # Preprocessing df['gereinigde_tekst'] = df[tekst_kolom].apply(preprocess_tekst) # Bi-grammen bigram_vectorizer = CountVectorizer(ngram_range=(2, 2)) bigram_matrix = bigram_vectorizer.fit_transform(df['gereinigde_tekst']) bigrammen = bigram_vectorizer.get_feature_names_out() # Tri-grammen trigram_vectorizer = CountVectorizer(ngram_range=(3, 3)) trigram_matrix = trigram_vectorizer.fit_transform(df['gereinigde_tekst']) trigrammen = trigram_vectorizer.get_feature_names_out() # Meest voorkomende n-grammen bigram_sommen = bigram_matrix.sum(axis=0) trigram_sommen = trigram_matrix.sum(axis=0) top_bigrammen = sorted(zip(bigrammen, bigram_sommen.tolist()[0]), key=lambda x: x[1], reverse=True)[:10] top_trigrammen = sorted(zip(trigrammen, trigram_sommen.tolist()[0]), key=lambda x: x[1], reverse=True)[:10] return { 'bigram_features': bigram_matrix, 'trigram_features': trigram_matrix, 'top_bigrammen': top_bigrammen, 'top_trigrammen': top_trigrammen, 'bigram_vectorizer': bigram_vectorizer, 'trigram_vectorizer': trigram_vectorizer } # Gebruik voorbeeld df = pd.DataFrame({'recensie': recensies}) resultaten = analyse_ngrammen(df) print("Top 5 bi-grammen:") for ngram, count in resultaten['top_bigrammen'][:5]: print(f" {ngram}: {count}") print("\nTop 5 tri-grammen:") for ngram, count in resultaten['top_trigrammen'][:5]: print(f" {ngram}: {count}") ``` ### 5. Praktische Tips voor Je Dataset ```python # Aanbevolen instellingen voor e-commerce recensies optimale_vectorizer = TfidfVectorizer( ngram_range=(2, 3), stop_words=stopwords.words('dutch'), max_features=2000, min_df=3, # Filter zeldzame n-grammen max_df=0.7, # Filter te algemene n-grammen lowercase=True, analyzer='word' ) # Voor machine learning modellen from sklearn.pipeline import Pipeline from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split # Voorbeeld pipeline voor sentiment analyse pipeline = Pipeline([ ('tfidf', optimale_vectorizer), ('classifier', RandomForestClassifier()) ]) # X zou je recensies zijn, y de labels (bijv. positief/negatief) # X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) # pipeline.fit(X_train, y_train) ``` ## Belangrijke Overwegingen: 1. **Stopwoorden**: Verwijder Nederlandse stopwoorden voor betere resultaten 2. **Minimum Frequency**: Gebruik `min_df` om zeldzame n-grammen te filteren 3. **Maximum Features**: Beperk het aantal features met `max_features` voor efficiëntie 4. **TF-IDF vs Count**: TF-IDF werkt vaak beter voor tekstclassificatie 5. **Preprocessing**: Stemming/lemmatisering kan helpen maar kan n-grammen breken Deze methoden geven je een solide basis voor het extraheren van betekenisvolle n-grammen uit je e-commerce recensies!