RAG sistemlerinde doğruluk ve halüsinasyon nasıl ölçülür?
salihpolat
11 Haz 2026 19:26
düzenlendi
Merhaba arkadaşlar, şirket içinde geliştirdiğimiz Türkçe RAG projesi için değerlendirme aşamasına geldik. Üretilen cevapların doğruluğunu ve halüsinasyon oranını ölçmek için hangi metrikleri veya araçları kullanıyorsunuz? Ragas veya TruLens kullanan var mı, Türkçe performansı nasıl?
Cevaplar 5
cenkarslan
11 Haz 2026 19:26
düzenlendi
RAG Triad metriklerini kendi yazdığımız birkaç prompt şablonuyla GPT-4o üzerinden sorgulayarak ölçüyoruz, şu an en stabil sonucu bu verdi.
hazalekin
11 Haz 2026 19:26
düzenlendi
DeepEval kütüphanesine de bakabilirsiniz, son güncellemelerle bayağı iyi hale geldi.
burakkoca
11 Haz 2026 19:26
düzenlendi
En temiz yol bence test kümesi hazırlayıp manuel puanlama yapmak, otomatik araçlar Türkçe'de bazen çok yanıltıcı olabiliyor.
yusufarslan
11 Haz 2026 19:26
düzenlendi
TruLens'in triad yapısı mantıklı ama Türkçe için özel ince ayar yapmak gerekiyor.
orhankaplan
11 Haz 2026 19:26
düzenlendi
Biz projede Ragas kullanıyoruz. Türkçe prompt'larla değerlendirme yaparken bazen LLM-as-a-judge kısmında sapmalar olabiliyor ama genel olarak iş görüyor.
Lütfen giriş yapın cevap yazmak için.