Gerçekte hangi nicemleme formatının çalıştırılacağı.

Buradan başlayın

Bu sayfanın büyük bölümü aritmetiktir, o yüzden önce sonucu verelim. Formatı dört soru belirler ve bu sorular şu sırayla sorulur, çünkü her biri tartışmayı tek başına bitirebilir.

Bundan sonraki her şey, bu dört cevabın neden böyle olduğunu açıklar ve onları bizim değil kendi modelinizle karşılaştırmanız için gereken sayıları verir. Modelinizin ne kadar belleğe ihtiyaç duyduğunu henüz hiç hesaplamadıysanız, o aritmetik ayrı bir rehberdir ve önce onu okumanız gerekir.

Üç format, dört ad

Sunum için yaygın kullanımda yalnızca üç sayı formatı vardır ve bunlar tek bir şeyde farklılaşır: her bir parametrenin kaç bayta mal olduğu. Geri kalan her şey — AWQ, GPTQ, GGUF, bitsandbytes — bu üçünden birini üretmenin bir yöntemidir, dördüncü bir format değildir.

İki sayısal sütunu bir çift olarak okuyun. İlk iki satırda eşittirler, üçüncü satırda ise eşit değildirler; bu tek asimetri, sayfanın devamındaki sürprizlerin çoğundan sorumludur.

Bir model deposunda gerçekte karşılaşacağınız dört ad, o tabloyla şu şekilde eşleşir.

Her birini istemek tek bir bayrak meselesidir. Bunlar, vLLM rehberinin ayrıntılı olarak kullandığı seçeneklerin aynısıdır; buradaki asıl mesele, aralarındaki farkın ne kadar küçük olduğudur.

# 1. Reference. The weights as published, nothing to prepare.
$ vllm serve meta-llama/Llama-3.3-70B-Instruct --dtype bfloat16

# 2. FP8, quantised while it loads. No second download, no calibration.
#    --kv-cache-dtype is the half everyone forgets: it is what
#    halves the CACHE as well as the weights.
$ vllm serve meta-llama/Llama-3.3-70B-Instruct \
    --quantization fp8 --kv-cache-dtype fp8

# 3. Four-bit AWQ. A DIFFERENT checkpoint, prepared by someone else.
$ vllm serve casperhansen/llama-3.3-70b-instruct-awq \
    --quantization awq_marlin

# 4. Four-bit GPTQ. Same idea, different repository and flag.
$ vllm serve TechxGenus/Llama-3.3-70B-Instruct-GPTQ \
    --quantization gptq_marlin

Küçülmeyen yarı

Ağırlıkları 4 bite nicemlemek, anahtar/değer önbelleğini nicemlemez. AWQ ve GPTQ yalnızca ağırlıkları sıkıştırır, başka hiçbir şeyi değil; ayrıca bir FP8 önbelleği istemediğiniz sürece önbellek 16 bitte kalır ve 4 bit bir checkpointte çoğu kişi bunu hiç istemez. Yukarıdaki tablonun üçüncü sütunu budur ve aşağıdaki aritmetiğin kimsenin beklediği gibi gitmemesinin nedeni de budur.

Bu sonucu görmenin en kolay yolu tek bir model üzerindendir. Aşağıda, yapılandırıcının sunduğu her bağlam uzunluğunda, 4 bit hâlindeki Llama 3.3 70B yer alıyor — ağırlıklara karşı önbellek.

Ağırlıklar sütunu hiç değişmez — onları nicemlemenin bütün amacı da budur. Önbellek sütunu ise bağlamla birlikte doğrusal olarak büyür; öyle ki son satırda, ait olduğu modelden bile daha büyük hâle gelir.

Bunu yeterince ileri götürün, 4 bit artık hiç kazanmaz olur. FP8 her iki yarıyı da yarıya indirir; 4 bit ise yalnızca bir yarıyı çeyreğe indirir, diğerine dokunmaz. Yani her model için ikisinin kesiştiği bir bağlam uzunluğu vardır ve model küçüldükçe bu nokta daha erken gelir — çünkü küçük bir modelde kazanılacak ağırlık azdır, oysa token başına önbellek büyümesi aynı kalır.

Rakamlar gigabayt cinsindendir, iki formattan küçük olanı gösterir; kaybeden format altında belirtilir. Soldan sağa okuyun ve bağlam büyüdükçe avantajın 4 bit sütunundan nasıl eridiğini izleyin.

Son satır liderliğini her yerde korur, çünkü 70 milyar parametre, tasarruf edilecek çok büyük bir ağırlıktır. Orta satır ise berabere biter: 128k bağlamında Qwen 3 32B her iki formatta da tam olarak aynı maliyete sahiptir ve kalite için FP8'i tercih edersiniz. İlk satır ise tamamen tersine döner at 128k; burada 4 bit, FP8'den daha fazla bellek ister ve üstelik ikisinin daha az sadık olanıdır. Bu bileşim — daha fazla bellek ve daha kötü çıktı — gördüğümüz en yaygın tek nicemleme hatasıdır ve yalnızca ağırlık dosyasının boyutuna bakarsanız görünmez kalır.

Kartınızın gerçekte yapabildiği

FP8 önce bir donanım özelliğidir, sonra bir yazılım özelliği. Tensor çekirdekleri bunu desteklemeyen bir kart yine de bir FP8 checkpoint yükler — yığın, çarpma işlemine giderken ağırlıkları 16 bite açar — ama yalnızca indirme tasarrufunu korursunuz, hızdan hiçbir şey kazanmazsınız; bir FP8 önbelleği de size hiç sunulmaz. 4 bit ise tam tersidir: her yerde çalışır, çünkü ağırlıklar zaten aritmetikten önce 16 bite açılır.

O sütun donanımı anlatır; bu, FP8'in nerede işe yaradığı sorusuyla tam olarak aynı şey değildir. Kataloğun formatın yanındaki kendi notu Hopper and Blackwell adını verir ve bu, tensor çekirdekleriyle değil sunum yığınlarıyla ilgili bir ifadedir: bunlar, FP8 kernellerin ve FP8 önbelleklerin en çok kullanıldığı ve en az sürprizle karşılaşıldığı nesillerdir. Ada Lovelace bunu çalıştırır. Buna bağımlı bir deploymenti Hopper'a ve Blackwell'e koyardık.

Kart seçmeden önce bilmeye değer bir şey daha. Llama 3.3 70B, FP8'de 8k bağlamda 81.9 GB gerektirir; 80 GB'lık bir kart ise — diğerlerinin yanı sıra NVIDIA A100 PCIe da dâhil — buna 1.9 GB yetersiz kalır. Bir çizelgede fark edilecek kadar büyük bir eksik değildir, ama makinede başarısız olmaya yetecek kadar büyüktür. Bunu tek başına karşılayan kart bir üsttekidir ve yapılandırıcı, ödemeden önce hangisi olduğunu size söyler, sonra değil.

Hız açısından ne kazandırır

Bir token üretmek, etkin ağırlıkları bellekten bir kez okumak demektir. Ağırlık başına daha az bayt, okunacak daha az bayt demektir; bu da saniyede daha fazla token demektir — ve batching uygulanmamış tek bir akışta bu ilişki neredeyse tam olarak doğrusaldır, çünkü kartın başka bekleyeceği bir şey yoktur. Bu, token başına maliyet rehberinin böldüğü bellek bant genişliği üst sınırının aynısıdır ve kasıtlı olarak temkinlidir. Aşağıda bu, kiraladığımız her tek kartlı makinede çalışacak kadar küçük bir modele uygulanır; böylece format ve kart aynı tablodan okunabilir.

Llama 3.1 8B, tek kartta, bir seferde tek akış. Listelenen her makine bunu üç formatın tamamında barındırır; bu yüzden satırlar hem yatayda hem dikeyde karşılaştırılabilir — ve üç sütun arasındaki oran her satırda aynıdır, çünkü bunu belirleyen tek şey ağırlık başına bayt sayısıdır.

O tabloyu okurken dikkat edilmesi gereken iki nokta var. Birincisi, tablonun bir seferde bir isteği tarif etmesi; oysa neredeyse kimse bir seferde tek istek sunmaz: sürekli batching altında ağırlıklar tüm toplu iş için bir kez okunur, böylece sınırlayıcı olan bellek değil aritmetik hâline gelir ve sütunlar arasındaki oran daralır. İkincisi, nicemlemeyi geri almanın bir bedeli olmasıdır. 4 bit ağırlıklar çarpılmadan önce açılmalıdır ve küçük bir modelde düşük toplu iş boyutunda bu açma işlemi, daha küçük okumanın sağladığı kazancın gözle görülür bir bölümünü yiyip bitirebilir. Tablonun yönü güvenilirdir; tam katlar ise bir garanti değildir.

Size neye mal olur

Bu, konunun kendinden emin rakamlara güvenilmemesi gereken kısmıdır; bizimkiler de dâhil. Nicemleme hatası, yöntemden çok modele bağlıdır ve yayımlanmış karşılaştırmalar birbirinden farklı sonuçlar verir, çünkü farklı görevlerde farklı modelleri ölçerler. Dürüstçe söylenebilecek olan, bu hatanın genel eğilimidir.

Bu da bizi bu sayfadaki aritmetik olmayan tek öneriye götürür: ikisini de çalıştırın. Üzerinde root olan ve hiçbir şeyi sayaçla ölçülmeyen bir makine kiralıyorsunuz; aynı modeli iki portta çalıştırıp her birine kendi yüz isteminizi göndermek bir akşamınızı alır ve soruyu başkasının değil, sizin iş yükünüz için çözer. Bu, bu tablo dahil herhangi bir tablodan gerçek anlamda daha iyi bir yanıttır — ve size bir puan yerine formülü göstermeyi tercih etmemizin nedeni de budur.

Bunun anlamı hangi makine

Bütün bunların önemli olmasının nedeni makbuzdur. Aşağıda, kataloğumuzdaki her modeli üç formatın her birinde 8k bağlamda bütün hâlde barındıran en ucuz makine yer alıyor — bütün derken, kartlar arasında bölünmeden tek bir kart üzerinde kastediliyor; çünkü kartlar arasında bölünmüş bir model, işin içine ara bağlantıyı katar ve bu da başka bir rehberin konusudur.

8k bağlamda, gerçekten kiraladığımız makinelerde. Bir hücre birden fazla kart adı taşıyorsa bu, bölünmüş bir model değil, kartın satıldığı en küçük düğümdür: en büyük kartlar dörtlü ve sekizli satılır, dolayısıyla 70B'yi tam hassasiyette bölmekten kaçınmanın en ucuz yolu, dört tanesini satın alıp yalnızca birini kullanmaktır. Nicemlemenin var olma amacı, tam olarak bu ücretten kaçınmaktır.

Bu tabloyu doğru kullanmakla ona kanmak arasındaki farkı iki alışkanlık belirler. Modelin azami değerine göre değil, gerçekte çalıştıracağınız bağlama göre boyutlandırın — bu sayfadaki ikinci tablo, ikisini karıştıranların başına geleni gösterir. Ve formatı siparişten önce karta göre kontrol edin, sonra değil: hangi bayrağı geçerseniz geçin, NVIDIA RTX A6000, NVIDIA A100 PCIe ve NVIDIA A100 SXM4 size FP8 rakamlarını veremez. Yapılandırıcı, ödeme yapılmadan önce her düğüm ve her format için gereken belleği ve tek karta sığıp sığmadığını bildirir. Kiralamayı API'yi token başına ödemekle karşılaştırıyorsanız bu başabaş noktası ayrıca hesaplanır ve nicemleme bu dengeyi donanımın lehine büyük ölçüde kaydırır.