Get a score & publish

← Leaderboard

Modelinizi Turkish ASR Benchmark'ta nasıl skorlatırsınız ve (isterseniz) nasıl yayınlarsınız. Skor almak için yayınlamak zorunda değilsiniz. / How to get your model scored and, if you want, published. Getting a score does not require publishing.

① Get Score ② Publish · optional

① Get Score

Modelinizi aynı, adil reçeteyle skorlatın. Yayınlamak zorunlu değil. / Get your model scored with the same fair recipe — publishing is not required.

Türkçe

İki yol var:

  1. Bize çalıştırtın. Store deposunda (turkspeak-bench-store · discussions) bir başlık açın; HF model id'nizi ve whisper değilse mimari/backend'i (ör. wav2vec2-CTC) yazın. Aynı reçeteyle — turkspeak-trnorm normalizeri, whisper için faster-whisper beam=5/fp16, native için 🤗 Transformers CTC — biz skorlar, sonucu size iletiriz.
  2. Kendiniz çalıştırın. Skorlama harness'ı açık: Speech reposu, leaderboard/eval/. Örnek: 
    python leaderboard/eval/run_eval.py \
  --model <hf-id-veya-yol> --backend faster-whisper-ct2 \
  --dataset degradation --tag benim_modelim
    Çıktı JSON'unu paylaşın; biz doğrulayıp ekleriz.
Not: Skoru özel olarak da öğrenebilirsiniz — board'da göstermek tamamen size kalmış (aşağıya bakın).
English

Two ways:

  1. We run it. Open a thread in the store repo (turkspeak-bench-store · discussions) with your HF model id and, if not a Whisper model, its architecture/backend (e.g. wav2vec2-CTC). We score it with the exact recipe — turkspeak-trnorm, faster-whisper beam=5/fp16 for Whisper, 🤗 Transformers CTC for native archs — and send you the numbers.
  2. Run it yourself. The scoring harness is open: Speech repo, leaderboard/eval/. Share the output JSON and we verify & add it.
Note: you can learn your score privately — showing it on the board is entirely optional (see below).

② Publish opsiyonel / optional

Skorunuzu board'da göstermek isterseniz. Tamamen isteğe bağlı. / Only if you want your score shown on the board. Entirely optional.

Türkçe
  1. Store'daki metrics-00.csv'ye satır ekleyen bir Pull Request açın — her (model, veri-seti) için bir satır.
  2. Şema store README'sinde: asr_model_name, wer, cer, …, backend, normalizer, family, params_m, license, contamination.
  3. İnceleyip birleştiririz. Eğitim veriniz bir test setiyle çakışıyorsa contamination alanını şeffafça işaretleriz (in-domain / suspected).
English
  1. Open a Pull Request adding rows to metrics-00.csv in the store — one row per (model, dataset).
  2. Schema is in the store README: asr_model_name, wer, cer, …, backend, normalizer, family, params_m, license, contamination.
  3. We review & merge, tagging contamination transparently if your training data overlaps a test set (in-domain / suspected).