Bir uzman karışımının gerçek maliyeti.

Kısa özet

Bir uzman karışımı, her katmanın ileri beslemeli kısmını birçok küçük ağa böler ve her tokeni bunlardan yalnızca birkaçı üzerinden gönderir. Yayımlanan isim her iki gerçeği de kaydeder: toplam parametre sayısını ve herhangi bir token için etkin olan sayıyı. Birincisinin tamamını bellekte tutmanız gerekir, ikincisini ise yalnızca token başına okursunuz. Bu tek cümle rehberin tamamıdır ve bunu tersten anlamak, bir sipariş öncesinde insanların yaptığını gördüğümüz en pahalı hatadır.

Sonuç, garip bir maliyet biçimine sahip bir modeldir: bir dev gibi kiralanır ve orta boy bir model gibi çalışır. Bunun bir fırsat mı yoksa bir tuzak mı olduğu, tamamen darboğazınızın bu iki sayıdan hangisi olduğuna bağlıdır.

Aşağıdaki aritmetik, yapılandırıcının aynı katalog üzerinde çalıştırdığı aritmetiğin aynısıdır. Bir modelin ne kadar belleğe ihtiyaç duyduğunu genel olarak henüz hesaplamadıysanız, önce o formül gelir — model bir uzman karışımı olduğunda değişen şey ise bu sayfadır.

Adın okunması

Dolaşımda üç adlandırma kuralı var ve hepsi aynı sayı çiftini kodluyor; kafa karışıklığının sürmesinin nedeni de bu. Onları okuyabildiğinizde, boyutlandırma sorusu kendiliğinden cevaplanır.

Hatırlanması gereken sütun, sonuncusudur. Yoğun bir model, sakladığı her şeyi okur; bir uzman karışımı ise bir dilimini okur. Bu modellerle ilgili tuhaf olan her şey — iyisi de kötüsü de — o tek satırdan çıkar.

Gerçekte kiraladığınız bellek

İşte bütün tuzak tek bir tabloda. Orta sütun, modelin makinede ihtiyaç duyduğu şeydir; ondan sonraki sütun, etkin sayıyı olduğu gibi kabul eden bir okuyucunun bütçeleyeceği şeydir. Son sütun ise bu yanlış okumanın bedelidir.

Son sütunu bir alışveriş hatası olarak okuyun. Yalnızca etkin sayıya göre boyutlandıran biri, tek bir kart aramaya çıkar ve sonunda koca bir düğüme ihtiyaç duyar — biraz daha büyük bir makineye değil, farklı bir fiyatta, tamamen farklı bir makine kategorisine.

Etkin parametrelerin sağladığı

Üretim, bellek bant genişliğiyle sınırlıdır: her yeni token, kendisine katılan ağırlıkların yeniden okunmasını gerektirir. Bir uzman karışımı yalnızca kendi etkin dilimini okur, bu yüzden hızının tavanı, boyutunun ima ettiğinden çok daha küçük bir sayıyla belirlenir. Vaadin bu kısmı gerçektir ve bu modellerin var olma sebebi de zaten budur.

Aşağıdaki tablo, her modeli aynı makineye koyar — ayda $7,906 karşılığında 8 × NVIDIA A100 PCIe, kataloğumuzda hepsini aynı anda barındıran en ucuz düğüm. Farklı makinelerde alınmış işlem hacmi rakamlarını karşılaştırmak, hiçbir şeyi karşılaştırmamaktır.

Karşılaştırmaya değer iki satır, en büyük uzman karışımı ile en büyük yoğun modeldir, çünkü ikisi de düğümün tamamına paylaştırılmıştır. Karışım, çok daha büyük bir model olmasına rağmen hâlâ daha hızlı üretim yapar, çünkü token başına kendisinin yalnızca bir dilimini okur — mimarinin var oluş amacı olan takas budur. Tek kartta işaretli satırları farklı okuyun: bu modeller düğümün tek bir kartını kaplar ve diğer yediyi boş bırakır; bu, seçilmeyi bekleyen daha ucuz bir makinedir, daha yavaş bir makine değil.

Aritmetiğin gizlediği ikinci şey, bir uzman karışımını iyi paylaştırmanın daha zor olduğudur. Kartlar arasında paylaştırılmış yoğun bir model, katman başına bir kez senkronize olur; bir karışım ise ayrıca tokenleri seçilen uzmanı barındıran herhangi bir karta yönlendirmek zorundadır, ki bu farklı ve daha az öngörülebilir bir trafik örüntüsüdür. Bu, ara bağlantının yalnızca makbuzda görünmekle kalmayıp parasını gerçekten hak ettiği az sayıdaki iş yükünden biridir.

Ucuzlayan yarı

Şimdiye kadarki her şey büyük modeller için kötü haberdi. İşte telafisi, üstelik neredeyse hiçbir karşılaştırmanın değinmediği kadar büyük bir telafi: bu sayfadaki en fazla parametreye sahip modeller, token başına en az anahtar/değer önbelleğine sahiptir. Önbellek, dikkat tasarımı tarafından belirlenir — katmanlar, anahtar/değer başlıkları, başlık boyutu — ve dikkatin arkasında kaç uzman olduğuyla hiçbir ilgisi yoktur.

O sütunlar, eşzamanlı istek başınadır. Uç noktayı aynı anda kullanan kişi sayısıyla çarpın; son sütundaki sıralama, makinenizi ağırlıklardan çok daha fazla belirler.

Pratikteki karşılığı şudur: ağırlıklar sabit bir giriş ücretidir, önbellek ise işletme maliyetidir. Bir uzman karışımı, muazzam bir giriş ücreti alır ve ardından kullanıcı başına küçük bir işletme maliyeti uygular. Benzer yetenekteki yoğun bir model ise bunun tam tersidir. İkisinden hangisinin sizin için daha ucuz olduğuna, model kartındaki parametre sayısı değil, eşzamanlılık ve bağlam uzunluğu karar verir.

Bunları hangi makineler barındırır

4 bit'te, referans bağlamla ve her modeli barındıran kataloğumuzdaki en ucuz düğüm alınarak — ister tek bir kartta olsun, ister düğüm genelinde paylaştırılmış olsun. Bunlar giriş biletleridir, öneri değildir; bir sonraki bölüm nedenini açıklar.

Bunların her biri çoklu kartlı bir düğümdür ve bu sayfanın dürüst özeti de budur: etkin sayı onları ne kadar küçük gösterirse göstersin, kataloğumuzda hiçbiri tek bir kartta barındırılamaz. Kalan yapılandırmalar tam katalogda yer alır ve yapılandırıcı aynı kontrolü kendi modeliniz ve bağlamınız için de çalıştırır.

En ucuz düğüm, yanlış olandır

Sığmak bir eşiktir, bir hedef değil. Bir model düğüm genelinde paylaştırıldığında, işlem hacmi, paylaştırıldığı kartların bellek bant genişliğine bağlıdır — ve dolar başına bant genişliği, hepsi aynı bellek eşiğini geçen yapılandırmalar arasında bile iki kattan fazla değişir. İşte DeepSeek V3 671B-A37B (MoE), onu barındıran her düğümde, fiyata göre sıralanmış ve önemli olan tek sütun sağda.

$7,906 yapılandırmasından $11,790 yapılandırmasına geçmek, makbuzu 1.5× katına, işlem hacmini ise 2.8× katına çıkarır — daha fazla ödersiniz ve her token size daha az mal olur. Bir kataloğu fiyata göre sıralayıp sığan ilk makineyi almak, bir sunum bütçesinin iki kez harcanmasının yoludur.

O sütunla ilgili bir uyarı var; bu, okuyacağınız her fiyat-işlem hacmi tablosu için geçerlidir: bu sütun tek akışlı üretimi esas alır. Sürekli batching altında toplam, her satırda birkaç kat daha yükseğe çıkar ve her satırda aynı kat kadar yükselmez — ağırlıklardan sonra daha fazla boş belleği olan bir düğüm, daha fazla eşzamanlı diziyi barındırır. Sıralama sabittir; mutlak rakamlar ise muhafazakârdır. Bu toplamın ekonomisi ayrıca ele alınır.

Bir uzman karışımının doğru cevap olduğu an

Sırayla. Sizi tanımlayan ilk satırda durun.

1. Tek bir karta sığan yoğun bir model işi görür. O zaman onu seçin ve arkanıza bakmayın. Tek kart; paylaştırma yok, ara bağlantı sorunu yok, uzman yönlendirme trafiği yok ve bir düğümün ancak bir kısmına mal olan bir makine anlamına gelir. En gelişmiş açık bir modele ihtiyacı olduğunu düşünen ürünlerin çoğu, aslında iyi bir 32B modele ihtiyaç duyar.
2. Kaliteye ihtiyacınız var ve bağlamınız uzun. Bir uzman karışımının gerçekten mevcut en iyi araç olduğu yer burasıdır: ağırlıklar için yalnızca bir kez ödersiniz ve küçük önbellek, makinenin uzun konuşmalara çökmeden hizmet vermeye devam etmesini sağlar. Düğümü ağırlıklara göre boyutlandırın, ardından gerçek bağlamınız için önbellek tablosunu kontrol edin.
3. Kaliteye ihtiyacınız var ve aynı anda çok sayıda kişiye hizmet veriyorsunuz. Aynı cevap, aynı sebep; ve bu avantaj eşzamanlılıkla birlikte büyür. Sabit maliyet her akışa yayılırken akış başına maliyet düşük kalır.
4. Kaliteye ihtiyacınız var ama yalnızca ara sıra. Bu durumda haftada birkaç saat sıcak tutmak için büyük bir düğüm kiralıyorsunuz demektir; bu da aylık bir sürenin mümkün olan en kötü kullanımıdır. Ya işi tek bir oturuşta çalışacak şekilde toplulaştırın, ya da bunun için barındırılan bir uç nokta kullanın ve kendi makinenizi düzenli yük için saklayın.
5. Birini fine-tune etmek istiyorsunuz. Farklı bir sorun, daha büyük bir makine: eğitim her uzmana dokunur ve hepsi için optimizer durumuna ihtiyaç duyar, bu yüzden çıkarımı zaten zorlaştıran bellek ihtiyacı burada karşılanamaz hâle gelir. Yoğun bir model üzerinde adaptör fine-tuning, neredeyse herkes için gerçekçi olan yoldur.

Hangi satırda durduysanız durun, önce kontrol edilecek sayı, sunmayı düşündüğünüz hassasiyette toplam parametre sayısıdır. Bu sayfadaki her şey — hız, önbellek, saniyedeki token başına fiyat — ancak model bellekte hazır bulunduğunda önem kazanır. Yapılandırıcı, kiraladığımız her düğüme karşı bu kontrolün tamamını çalıştırır ve yukarıdaki tablolarla aynı yönlendirme düzeltmesini işlem hacmi tahminine uygular. Bellek aritmetiğini önce baştan sona görmek isterseniz, bunun kendi başına bir rehberi var; henüz bir sayı biçimine karar vermediyseniz, bu seçim, bundan öncedir.