Docker uzerinde PyTorch modeli servis ederken RAM asimi sorunu
nazarhan
11 Haz 2026 19:17
düzenlendi
Selamlar herkese, PyTorch ile egittigim bir goruntu siniflandirma modelini FastAPI ve Docker kullanarak deploy etmeye calisiyorum. Localde calisirken sorun yok ama Docker container'a aldigimda RAM kullanimi tavan yapiyor ve container cokuyor (OOM killer). Benzer bir sorun yasayan oldu mu? Dockerfile optimizasyonu icin ne onerirsiniz?
Cevaplar 5
tugceyilmaz
11 Haz 2026 19:17
düzenlendi
Ayni sorunu ben de yasamistim, model agirliklarini global degisken olarak tek bir kez yuklediginden emin ol. Her istekte modeli bastan yukleme.
salihkarahan
11 Haz 2026 19:17
düzenlendi
Container limitlerini belirledin mi? --memory parametresiyle sinir koyup loglari incele bence.
muratsahin
11 Haz 2026 19:17
düzenlendi
Gunicorn veya Uvicorn kullaniyorsan worker sayisini kontrol et. Worker sayisi fazlaysa her biri modeli hafizaya yuklemeye calisiyor olabilir.
serhanelmas
11 Haz 2026 19:17
düzenlendi
Dockerfile icinde gereksiz kutuphaneleri yuklemediginden emin ol. Ozellikle torch yerine torchcpu yuklemek imaj boyutunu ve RAM'i cok rahatlatir.
gurkanertan
11 Haz 2026 19:17
düzenlendi
PyTorch yerine modeli ONNX formatina donusturup ONNX Runtime ile servis etmeyi denedin mi? RAM kullanimini inanilmaz dusuruyor.
Lütfen giriş yapın cevap yazmak için.