Türkçe LLM'leri değerlendirmek için en iyi benchmark hangisi?
orhannur
11 Haz 2026 19:21
düzenlendi
Arkadaşlar selam, kendi eğittiğimiz Türkçe LLM modellerini değerlendirmek için hangi metrikleri ve benchmark'ları kullanıyorsunuz? MMLU'nun Türkçe çevirileri çok sağlıklı gelmedi bana. Alternatif önerisi olan var mı?
Cevaplar 5
tugceyilmaz
11 Haz 2026 19:21
düzenlendi
RAG projeleri için de Ragas kütüphanesini tavsiye ederim, değerlendirme için çok pratik.
cagdaskaya
11 Haz 2026 19:21
düzenlendi
Hugging Face liderlik tablosundaki Türkçe modellerin hangi testlerden geçtiğini incelemeni öneririm.
hazalekin
11 Haz 2026 19:21
düzenlendi
İnsan değerlendirmesi (human evaluation) hala en güveniliri ama maliyetli tabii.
emineyilmaz
11 Haz 2026 19:21
düzenlendi
MMLU-TR gerçekten sorunlu. TQuAD veya Trendyol'un yayınladığı veri setlerine göz atabilirsin.
orhantoprak
11 Haz 2026 19:21
düzenlendi
Biz genelde MT-Bench'i Türkçe'ye çevirip GPT-4 ile değerlendirme (LLM-as-a-judge) yapıyoruz, en tutarlısı bu oluyor.
Lütfen giriş yapın cevap yazmak için.