LLaMA 3 Ince Ayar (Fine-tuning) Yaparken Hata Alıyorum (CUDA Out of Memory)
egemenpolat
11 Haz 2026 19:22
düzenlendi
Selamlar herkese, kendi yerel bilgisayarımda LLaMA 3 8B modelini Hugging Face kütüphanesini kullanarak fine-tune etmeye çalışıyorum. Ekran kartım RTX 3090 (24GB VRAM) ancak eğitim başlar başlamaz 'CUDA out of memory' hatası alıyorum. Batch size değerini 1 yaptım, yine de kurtarmadı. Lora veya QLoRA kullanmam şart mı? Yardımcı olursanız sevinirim.
Cevaplar 5
berkayarslan
11 Haz 2026 19:22
düzenlendi
Hocam huggingface accelerate konfigürasyonunu yaptınız mı? Bazen CPU offloading de hayat kurtarıyor.
kaancoban
11 Haz 2026 19:22
düzenlendi
Aynı kartla ben de sorun yaşamıştım. QLoRA (4-bit quantization) ile sorunsuz eğitebiliyorum şu an. Unsloth kütüphanesine de bir bak derim, çok daha hızlı.
melikedemır
11 Haz 2026 19:22
düzenlendi
Gradient accumulation adımlarını artırıp batch size'ı 1'de tutmayı dene. Bir de FP16 yerine BF16 kullanmak işe yarayabilir.
ibrahimcelik
11 Haz 2026 19:22
düzenlendi
Deepspeed veya FSDP yapılandırmalarını denedin mi? Onlar da bellek yönetimini bayağı rahatlatıyor.
elifkaraca
11 Haz 2026 19:22
düzenlendi
Kesinlikle QLoRA kullanmalısın dostum. 24GB VRAM tam parametre eğitimi için yetersiz kalır.
Lütfen giriş yapın cevap yazmak için.