Bir modelin gerçekte ne kadar VRAM'a ihtiyaç duyduğu.

Formül

Burada, ikinci bir modelle karşılaşınca geçerliliğini koruyan bir kestirme kural yoktur. Hesabın tamamı üç satırdır ve bir çarpana güvenmek yerine bu üç satırı hesaplamaya değer.

# 1. Weights
weights_gb   = parameters_in_billions × bytes_per_parameter

# 2. KV cache, per token — then multiplied by the context you serve
bytes_per_tok = 2 × layers × kv_heads × head_dim × cache_bytes
cache_gb      = bytes_per_tok × context_tokens × batch / 1024³

# 3. Everything else
total_gb      = (weights_gb + cache_gb) × 1.15

2 sayısı, token başına iki tensör olmasından gelir: K ve V. bytes_per_parameter, BF16 için 2, FP8 için 1, 4-bit için 0.5'tir. cache_bytes ise ayrı bir sayıdır ve bu ayrım, yanlış bir cevabın en yaygın tek kaynağıdır — bkz. aşağıda.

Ağırlıklar

Kolay yarı. Parametre sayısıyla tam olarak doğrusaldır ve tek karar hassasiyettir.

Dört bit nicemleme kaliteden ödün verdirir; ne kadar ödün verdireceği ise yöntemden çok modele bağlıdır. Tek kart ile dört kart arasındaki farkı belirliyorsa doğru bir tercihtir; zaten rahatsanız kötü bir tercihtir.

KV önbelleği

Zor yarı — bir makinenin 4k'de yeterli, 128k'de ise yetersiz olup olmadığını belirleyen kısım budur. Katmanlara ve KV head sayısına bağlıdır, modelin ne kadar büyük olduğuna değil.

Son sütunu ilkinden önce okuyun. 4k bağlamda önbellek, buradaki her modelde yuvarlama hatası düzeyindedir; 128k'de ise 4-bit'teki bir 70B modelin ağırlıklarından daha büyüktür. DeepSeek V3 istisnadır, çünkü latent attention mekanizması önbelleği tasarım gereği sıkıştırır — listedeki en büyük model olmasına rağmen uzun bağlamda kullanılabilir olmasının nedeni budur.

Tahminlerin nerede yanlış gittiği

Çözümlü örnekler

Gereken toplam bellek — ağırlıklar artı önbellek artı ek yük — 8k bağlamda ve tek istekte. Bu, yapılandırıcının katalogdaki her yapılandırma için yaptığı hesabın aynısıdır.

Son sütun, modeli 4-bit ve 8k bağlamda barındıran, katalogumuzdaki en ucuz düğümdür; bellek bant genişliğinin izin verdiği tek akışlı üretim hızıyla birlikte gösterilir. İşlem hacmi rakamları kasıtlı olarak muhafazakârdır ve yayımlanmış ölçümlere göre kalibre edilmiştir — bunları bir söz değil, bir taban olarak değerlendirin.

Birden fazla isteğe hizmet vermek

Bir demo için boyutlandırılmış bir makinenin bir ürüne hizmet veremeyen bir makineye dönüştüğü nokta burasıdır. Ağırlıklar bir kez ödenir; önbellek ise eşzamanlı dizi başına ödenir.

Ne yaparsanız yapın, Llama 3.3 70B 4-bit'te 35 GB ağırlık demektir. O tabloda 35 GB'ın üzerindeki her şey önbellektir. “Dizüstümde sorunsuz çalıştı” ile “üretimde çöktü” ifadelerinin aynı kartta aynı model olmasının nedeni budur.

Bunun anlamı hangi makine

Yukarıdakilerin tamamından çıkan, önem sırasına göre üç pratik kural.

1. Mümkün olduğunda tek kart, birden fazla karttan iyidir. Sharding yok, katmanlar arasında senkronizasyon yok, düşünülecek bir ara bağlantı yok. Modeliniz, kullandığınız bağlamda tek bir karta sığıyorsa, o kartı alın.
2. Gerçek bağlamınıza ve gerçek eşzamanlılığınıza göre boyutlandırın, modelin ilan edilen maksimumuna göre değil. İlan edilen maksimum bir yetenektir, bir zorunluluk değil.
3. Sharding yapmanız gerektiğinde NVLink'i tercih edin. Dört PCIe kart arasında bölmek işe yarar; dört NVLink kart arasında bölmek de işe yarar ve belirgin şekilde daha hızlıdır. Bir sonraki rehber, tam olarak bu farkın ne zaman parasına değdiğini anlatır.

Yapılandırıcı, bu hesaplamayı 41 yapılandırmanın tamamına karşı canlı olarak çalıştırır: bir model, bir hassasiyet ve bir bağlam uzunluğu seçin; size hangi düğümlerin bunu barındırdığını, hangilerinin tek bir kartta barındırdığını ve her birinin aylık maliyetinin ne olduğunu söyler. Bu sayfadaki formülü kullanır, yani hesabımıza katılmıyorsanız artık tam olarak nerede olduğunu söyleyebilirsiniz.