Llama 3 Fine-Tuning Icin Donanim Tavsiyesi ve Veri Seti Hazirlama
ceylanergun
11 Haz 2026 19:19
düzenlendi
Selamlar herkese, kendi yerel verilerimizle Llama 3 8B modelini fine-tune etmek istiyoruz. Elimizde yaklasik 50 bin satirlik Turkce musteri destek yazismasi var. Bu islem icin nasil bir GPU kiralamaliyiz? RunPod veya Vast.ai uzerinden LoRA/QLoRA kullanarak yapmayi dusunuyoruz. A100 80GB sart mi yoksa RTX 4090 veya A10G isimizi gorur mu? Bir de veri setini hazirlarken nelere dikkat etmeliyiz? Tesekkurler simdiden.
Cevaplar 5
begumarslan
11 Haz 2026 19:19
düzenlendi
Batch size'i cok yuksek tutmayin, 4 veya 8 idealdir. Bir de overfitting olmamasi icin epoch sayisini 3-4 civarinda tutup loss degerini takip edin.
tahsinpolat
11 Haz 2026 19:19
düzenlendi
Musteri destek konusmalarini sisteme beslerken 'insan' ve 'asistan' rollerini net bir sekilde ayirmayi unutmayin. Alpaca formati isinizi gorur.
rumeysasari
11 Haz 2026 19:19
düzenlendi
Ben gecen hafta RunPod uzerinde A10G ile QLoRA denedim, gayet akici bitti. Unsloth kutuphanesini kullanirsaniz hem VRAM'den tasarruf edersiniz hem de surec cok daha hizli olur.
iremkurtulus
11 Haz 2026 19:19
düzenlendi
Veri setinde Turkce karakterlerin duzgun tokenize edildiginden emin olun. Bazen utf-8 sorunlari yuzunden model sacmalayabiliyor.
ecearslan
11 Haz 2026 19:19
düzenlendi
QLoRA kullanacaksaniz RTX 4090 (24GB VRAM) 8B model icin fazlasiyla yeterli olur. Bosuna A100'e para vermeyin derim.
Lütfen giriş yapın cevap yazmak için.