Production'da Concept Drift ve Data Drift'i Nasıl Takip Ediyorsunuz? (False Alarm Bıkkınlığı)
onurbolat
11 Haz 2026 19:35
düzenlendi
Arkadaşlar selam, production ortamındaki regresyon modellerimiz için veri kayması (data drift) takibi yapmaya çalışıyoruz. Ancak sürekli false alarm almaktan yorulduk. Özellikle hafta sonu trendleri veya anlık kampanya dönemleri sistemi tetikliyor. Siz hangi araçları kullanıyorsunuz ve bu eşik değerlerini (thresholds) nasıl optimize ettiniz? Deneyimlerinizi paylaşabilirseniz çok sevinirim.
Cevaplar 5
kaantoprak
11 Haz 2026 19:35
düzenlendi
Biz hala manuel kontrol ediyoruz maalesef, bu konudaki toollar çok hızlı gelişiyor. Takipteyim konuyu, güzel öneriler gelmiş.
ecearslan
11 Haz 2026 19:35
düzenlendi
Sadece istatistiksel testler (KS test vb.) bazen yanıltıcı olabiliyor. İş birimiyle konuşup 'business metric'leri de monitoring sürecine dahil ettik. Model doğruluğu düşmüyorsa drift olsa bile hemen aksiyon almıyoruz.
kaancoban
11 Haz 2026 19:35
düzenlendi
Whylogs + Prometheus/Grafana ikilisini tavsiye ederim. Grafana üzerinde p-value eşiklerini biraz daha esnek tutup, ardışık 3 gün boyunca kayma yaşanırsa alarm çalacak şekilde kural tanımladık.
sumeyyenur
11 Haz 2026 19:35
düzenlendi
Harika bir konuya değinmişsin. Biz çözümü alarm sıklığını düşürüp günlük raporlama sistemine geçmekte bulduk. Kritik olmayan kaymaları anlık alarm yerine günlük özet olarak Slack'ten alıyoruz.
berkaypolat
11 Haz 2026 19:35
düzenlendi
Biz Evidently AI kullanıyoruz. Eşik değerlerini statik yerine dinamik (hareketli ortalama bazlı) yapmak hayat kurtardı, yoksa her hafta sonu nöbetçi mühendis uyanıyordu.
Lütfen giriş yapın cevap yazmak için.