Selamlar herkese, son zamanlarda LLM projelerinde çıktı kalitesini ölçmek için yine başka bir LLM'i (özellikle GPT-4'ü) hakem olarak kullanmak (LLM-as-a-judge) çok popüler oldu. RAG sistemlerinde veya chatbot yanıtlarında bunu sıkça kullanıyoruz. Ancak bu yöntem sizce ne kadar güvenilir? LLM'lerin kendi ürettikleri yanıtlara veya benzer tarzdaki yanıtlar için taraflı (bias) davrandığını düşünüyor musunuz? İnsan değerlendirmesi (human-in-the-loop) hâlâ zorunlu mu yoksa tamamen otomatize sistemlere geçebilir miyiz? Deneyimlerinizi merak ediyorum.