Word2Vec
Word2Vec ve Skip-Gram: Kelimelerden Anlama Giden Yol
Doğal dil işleme (NLP) alanında devrim yaratan en önemli adımlardan biri, kelimeleri sayısal vektörlerle ifade etme fikri oldu. Word2Vec ve özellikle Skip-Gram yaklaşımı, kelimeler arasındaki anlamsal ilişkileri matematiksel olarak modellememize imkan tanıyor. Bu yazıda, Word2Vec’in Skip-Gram mimarisini, kullanılan teknikleri ve PyTorch ile eğitim sürecini adım adım inceleyeceğiz.
1. Veri Hazırlığı: Gürültüyü Azaltmak
Bir dil modeli eğitmeye başlamadan önce elimizde büyük bir metin verisi olması gerekiyor. Ancak bu ham veri doğrudan kullanılmaz.
- Frekans analizi: Tüm corpus taranır, her kelimenin kaç defa geçtiği sayılır.
- Minimum eşik: Çok nadir geçen kelimeler atılır (ör. 5 defadan az görünenler). Çünkü bunlar modele fayda yerine noise katar.
- Çok sık geçenler: “ve”, “bir”, “the” gibi kelimeler bağlamda sık tekrar ettiği için öğrenmeyi yavaşlatır. Bunlar da özel tekniklerle azaltılır.
- Kelimelerden “training sample” (eğitim örnekleri) oluşturuluyor: Skip-Gram yönteminde bir merkez kelimeden çevresindeki kelimeleri tahmin etmeye çalışıyoruz.
📌 Sonuç: Daha temiz, daha dengeli ve istatistiksel olarak anlamlı bir kelime dağarcığı (vocabulary).
2. Skip-Gram Mantığı
Skip-Gram’in fikri basit ama güçlüdür.Skip-Gram yönteminde bir merkez kelimeden çevresindeki kelimeleri tahmin etmeye çalışıyoruz. Bundan sonraki bahsedeceğimiz maddelerde de bu model için hazırlık aşamalırıdır:
- Girdi: Bir merkez kelime (ör. kitap).
- Çıktı: Bu kelimenin yakınındaki bağlam kelimeleri (okumak, sayfa, yazar).
Model, her kelimeyi yoğun (dense) vektörlerle ifade etmeyi öğrenir. Eğitim sırasında hem input embedding (hedef kelime) hem de output embedding (bağlam kelime) matrisleri güncellenir.
3. Neden Rastgelelik?
Word2Vec eğitiminde birçok aşama rastgele yapılır:
- Örnek seçme: Sub-sampling ile bazı sık kelimeler daha az gösterilir.
- Negative sampling: Rastgele yanlış kelimeler seçilir.
- Ağırlık başlatma: Modelin başlangıç parametreleri rastgele atanır.
Bu rastgelelik, modelin daha hızlı ve genelleme gücü yüksek öğrenmesini sağlar. Ancak her çalıştırmada farklı sonuç alınır.
📌 Çözüm: Reprodüksiyon için random seed belirlenir. Böylece aynı deney her seferinde aynı sonuçları üretir.
4. Sub-sampling: Sık Kelimeleri Azaltmak
Problem: Çok sık tekrar eden kelimeler (“the”, “ve”) modelin ilgisini sürekli üstüne çeker.
Çözüm: Bu kelimeler belirli bir olasılıkla atlanır.
- Yüksek frekanslı kelimeler daha çok atılır.
- Nadir ama anlamlı kelimeler korunur.
Öncesi ve Sonrası Karşılaştırma
- Önce: Tüm corpus’taki kelimeler sayılıyor → en sık geçenlerden en az geçenlere doğru sıralanıyor.
- Sonra: Sub-sampling tekniği uygulanıyor → çok sık geçen kelimelerden bazı örnekler atılıyor.
- Bu sayede:
“the”, “and” gibi yüksek frekanslı kelimelerin sayısının drastik şekilde azaldığı görülüyor.
Daha az geçen, ama daha anlamlı olabilecek kelimelerin ise çoğunlukla korunduğu ortaya çıkıyor.
5. Negative Sampling: Hesaplamayı Kolaylaştırmak
Skip-Gram’de softmax hesaplaması tüm sözlük üzerinde yapılsaydı, milyonlarca kelime için işlem yapmak gerekirdi. Bu neredeyse imkânsız.
Çözüm: Negative sampling.
- Her doğru (target–context) örneğin yanına birkaç yanlış örnek eklenir.
- Model sadece bu küçük alt küme üzerinde güncellenir.
- Negatif örnekler özel bir dağılımdan seçilir: kelime frekanslarının ¾ (0.75) üssü.
Neden 3/4?
Çok sık kelimeler biraz azaltılır (çok fazla çıkmasın diye).
Çok nadir kelimeler biraz artırılır (daha fazla şans bulsunlar diye).
Böylece negatif örnekler daha dengeli ve anlamlı seçilir.
📌 Bu sayede eğitim hem hızlı hem de anlamlı hale gelir.
6. Skip-Gram Modelin’de PyTorch ile Dataset ve DataLoader
Skip-Gram mantığında:
- Hedef (target) kelime seçilir.
- Bunun çevresindeki bağlam (context) kelimeler alınır.
- Ayrıca negative sampling ile bağlamda olmayan kelimeler eklenir.
Eğitim seti bu üçlüden oluşur: (target, context, negative_samples)
Word2Vec eğitiminde veri hazırlığı kritik rol oynar. PyTorch’ta bunun için özel Dataset ve DataLoader yazılır.
- Dataset:
Bu aşamada ise sub-sampling yöntemi ile temizlediğimiz veri kullanılarak skip-gram modelimizin 3'lüsü oluşturulur(target-context,negatives)
- __getitem__: (target-context,negatives) döndürür.Bu kısım için girdi olarak Dynamic window(her örnekte 1–5 arasında rastgele bağlamlar seçilir). Önceden hazırladığımız negative sampling. Ve de temizliğini yaptığımız temiz target vocabulary
- __len__: Kaç örnek olduğunu söyler.
- DataLoader — Collate function (collate_fn)
- PyTorch’un DataLoader sınıfı, Dataset’ten gelen tekil örnekleri alıp batch (küme) haline getirir.
- Ama her target kelimenin bağlam sayısı farklı olabilir.Her örnekte negatif örnek sayısı da değişebilir.
- Dolayısıyla standart DataLoader bunu düzgün bir tensöre çeviremeyebilir
- DataLoader’a parametre olarak verilir.
- Dataset’ten gelen tekil örnekleri alır.Onları düzgün hale getirir (gerekirse pad ekler).Sonra targets, contexts, negatives olarak ayrı tensörler halinde döndürür.
- GPU üzerinde paralel eğitime uygun hale getirir.
7. Skip-Gram Modeli ve Loss Fonksiyonu
Get zehra hatipoğlu’s stories in your inbox
Join Medium for free to get updates from this writer.
Model iki embedding matrisi kullanır:
- Input embeddings
- Output embeddings
Loss fonksiyonu:
- Pozitif eşleşmeler için: log(σ(target·context))
- Negatif örnekler için: log(σ(-target·negative))
📌 Eğitim sonunda kelimeler, semantik ilişkileri yansıtan vektörlerle temsil edilir.
8. Embedding’lerin Kullanımı
Eğitim bittiğinde elimizde her kelime için vektörler vardır.
- Sadece input embedding kullanılabilir.
- Sadece output embedding kullanılabilir.
- Ya da ikisi birleştirilip ortalama alınabilir.
Bu embedding’ler:
- Benzerlik ölçümü
- Kümeleme
- t-SNE ile görselleştirme
- Başka NLP görevleri için girdi
olarak kullanılabilir.
9. Cosine Similarity ile Benzerlik Analizi
Modelin başarısını ölçmek için en sık kullanılan yöntemlerden biri cosine similarity’dir.
- 1 → tamamen benzer
- 0 → ilgisiz
- -1 → tamamen zıt
Örneğin: king — man + woman ≈ queen ilişkisi doğru çıkıyorsa embedding’ler anlamlıdır.
“computer”
10. SKIP-GRAM MODELİNDE LOSS
Skip-Gram modelinde amacımız şudur:
- Pozitif örnekler: (target, context) çiftleri → bunların birlikte görülme olasılığı yüksek olmalı.
- Negatif örnekler: (target, negative) çiftleri → bunların birlikte görülme olasılığı düşük olmalı.
Loss fonksiyonu bu ayrımı öğretir.
Matematiksel formül
Her (t, c) pozitif çifti için loss:
Yani:
- Target ile gerçek context çarpımı yüksek olsun → σ\sigmaσ büyük → −log-\log−log küçük.
- Target ile negatif çarpımı düşük olsun → σ(−score)\sigma(-score)σ(−score) büyük → loss küçük.
NOT:
collet_fn
Strateji A: flatten
- Her (target, context) çifti ayrı bir satır kabul ediliyor.
- Yani target tekrar etse bile context’ler tek tek ayrılıyor.
collate_fn sadece stack (yani listeleri üst üste koyma) yapar.
(target=kitap, contexts=[okudum, aldım], negatives=[…])
Row1: (kitap, okudum, negs)
Row2: (kitap, aldım, negs)
Strateji B:
- Her target tek satır ama altında birden fazla context olabilir.
- Bu durumda context sayısı her örnekte farklıdır → sabitlemek için padding + mask gerekir.
ÖRNK
target=kitap, contexts=[okudum, aldım]
target=masa, contexts=[gördüm]
targets: [kitap, masa]
contexts: [[okudum, aldım], [gördüm, PAD]]
mask: [[1,1], [1,0]]








