Batch Inference icin en iyi arac hangisi? (Ray vs Spark vs Triton)
simgekose
11 Haz 2026 19:14
düzenlendi
Merhaba arkadaslar, elimizde yaklasik 10 milyon satirlik bir veri seti var ve bunun uzerinde derin ogrenme modelimizle batch inference yapmamiz gerekiyor. Gercek zamanli (real-time) olmasina gerek yok ama islem suresini optimize etmek istiyoruz. PyTorch kullaniyoruz. Hugging Face, Ray veya direkt Spark uzerinde mi kosmaliyiz? Sizin bu olcekte batch prediction icin tercih ettiginiz yontemler nelerdir?
Cevaplar 5
muratsahin
11 Haz 2026 19:14
düzenlendi
Biz benzer bir senaryoda Hugging Face Dataset map fonksiyonunu batched=True parametresiyle kullandik. Veri yukleme ve on isleme asamalarini cok hizlandiriyor.
barisgunes
11 Haz 2026 19:14
düzenlendi
Triton Inference Server'i da degerlendirebilirsiniz. Ozellikle dynamic batching ozelligi bu tarz buyuk islerde throughput'u inanilmaz artiriyor.
nilaynur
11 Haz 2026 19:14
düzenlendi
PyTorch'un kendi DataLoader'ini dogru batch_size ve num_workers ile ayarlamak bile bazen yeterli oluyor. Ekstra kutuphane karmasasina girmeden once basit bir script ile baseline olcun bence.
berkecan
11 Haz 2026 19:14
düzenlendi
Eger halihazirda kurulu bir Spark cluster yapiniz varsa, PySpark ve Pandas UDFs ikilisiyle gitmek isleri cok kolaylastirabilir. Biz benzer bir yapiyi bu sekilde cozmustuk.
nilaynur
11 Haz 2026 19:14
düzenlendi
Ray kesinlikle bu is icin bicilmis kaftan. Paralellestirmeyi cok iyi yonetiyor, ozellikle GPU kaynaklarini optimize etmek istiyorsan kesinlikle Ray'e bir sans ver derim.
Lütfen giriş yapın cevap yazmak için.