Turkish ASR Benchmark

Türkçe ASR modelleri gerçek şartlar altında — eklemeli gürültü, Opus kodek ve kombinasyonları — ve farklı gerçek veri setlerinde skorlanır. Şeffaf, veri-sızıntısına duyarlı.
Turkish ASR scored under real-world conditions — additive noise, Opus codec and their combinations — and across multiple real-world datasets. Transparent, data-leakage aware.

Tablodaki terimler ne anlama geliyor?

whisper
Encoder–decoder, dikkat tabanlı. OpenAI'nin çok dilli modeli; büyük ölçekli zayıf denetimle eğitildi. makale ↗
wav2vec2
CTC tabanlı, kendi-kendine denetimli ön-eğitim + etiketli ince ayar. Decoder yok, dil modeli isteğe bağlı. makale ↗
from-scratch
Sıfırdan eğitildi: hazır ağırlık kullanılmadı. Buradaki conformer-rnnt mimarisi evrişim ile dikkati birleştirir ve akış (streaming) için uygundur. Conformer ↗ · RNN-T ↗
FT
Fine-tune (ince ayar). Önceden eğitilmiş bir modelin Türkçe veriyle bir süre daha eğitilmesi. Sütunlardaki whisper-ft bunu belirtir; whisper-family ham (dokunulmamış) modeldir.
WER / CER
Kelime / karakter hata oranı. Düşük olan iyidir. Hepsi aynı Türkçe normalizerden geçer, böylece skor noktalama değil akustik farkı ölçer.
whisper attention-based encoder–decoder · wav2vec2 CTC with self-supervised pretraining · from-scratch trained from zero, no pretrained weights (here a conformer-rnnt, convolution + attention, streaming-capable) · FT fine-tune, a pretrained model trained further on Turkish (whisper-family = untouched baseline) · WER/CER word / character error rate, lower is better, one shared Turkish normalizer.
Hücreler WER % (CER'i görmek için üstüne gel). RTFx = hız (RTX 5090; yüksek = hızlı). En düşük WER yeşil; turuncu hücre = model o seti eğitimde gördü (alan-içi, "en iyi"ye sayılmaz). Boş hücreler GPU skorlaması ilerledikçe dolar.
Cells are WER % (hover for CER). RTFx = speed (RTX 5090; higher = faster). Lowest WER in green; amber cell = model saw that set in training (in-domain, not counted as "best"). Empty cells fill as GPU scoring progresses.