Bir milyon tokenin her iki yoldan da maliyeti.

Kısa özet

Bu ikisinin neredeyse her karşılaştırması tek bir sayıya indirgenerek okunur — “kendi barındırmak on kat daha ucuz”, “devasa boyuta ulaşana kadar API daha ucuz” — ve ikisi de aynı hatadır: token başına faturalandırılmayan bir makine için token başına maliyet vermek. Kiralanan bir GPU'nun tam olarak tek bir fiyatı vardır ve o kıpırdamaz: bu ay bir milyar token üretseniz de hiç üretmeseniz de makbuz aynıdır. Dolayısıyla dürüst soru “burada bir token kaça mal olur” değil, “sabit fiyat sayacı yenmeden önce kaç token üretmem gerekir”dir.

Bu sayı bir bölme işlemidir ve aşağıda kendi fiyatlarımız ve kendi işlem hacmi modelimiz üzerinden hesaplanır — yapılandırıcının kullandığı modelin aynısı. Bundan sonraki her şey, bu hacme ulaşıp ulaşamayacağınızı belirleyen iki şeyle ilgilidir: batching ve makineyi boşta bıraktığınız saatler.

Aritmetik

Dört satır. Üçüncüsü bir beyaz tahtaya yazmaya değer olandır; dördüncüsü insanların atladığıdır ve onu atlamak, sağlam bir tahmini yanlış bir tahmine dönüştüren şeydir.

# 1. What the API charges. Linear in what you use, zero when you stop.
api_cost_per_month = output_tokens_per_month / 1e6 × api_price_per_million

# 2. What the machine charges. A constant. Tokens are free once you own the hours.
machine_cost_per_month = monthly_price

# 3. Set them equal. This is the break-even VOLUME, in output tokens per month.
break_even_tokens = monthly_price / api_price_per_million × 1e6

# 4. And the only question that matters: can the machine produce that many?
#    730 hours is the month we bill, so 2,628,000 seconds of it.
sustained_tokens_per_second = break_even_tokens / 2,628,000

4. satır sürdürülebilir bir hızdır, tepe değer değil. Günde bir saat saniyede 600 tokene ulaşan ve geri kalan yirmi üç saat boşta duran bir makinenin sürdürülebilir hızı 25'tir; makbuz ise ikisinden hangisinden söz ettiğinizi umursamaz.

Tek akışın maliyeti

En kötü durumla başlayın, çünkü varsayım gerektirmeden ifade edilebilecek tek rakam budur: bir seferde bir istek, batching yok, makine bunun dışında boşta. Aşağıdaki her düğüm Llama 3.3 70B modelini 4-bit (AWQ, GPTQ) hassasiyetinde çalıştırır ve işlem hacmi kendi temkinli tahminimizdir — iyi bir günde ölçülen değil, bellek bant genişliğiyle sınırlı olan tahmin.

Bunu bir üst sınır olarak okuyun, asla bir fiyat teklifi olarak değil. Bu, makineye ayda sadece bir seferde bir soru cevaplatıp geri kalan süre boyunca boşta bıraktığınızda bir tokenin maliyetidir — var olan en verimsiz GPU sahipliği biçimi. Gerçek her sunum yığını bundan daha iyisini yapar; sonraki iki bölüm de ne kadar daha iyi olduğuyla ilgilidir.

Katmana göre başabaş noktası

Yukarıdaki en ucuz satırı alın — ayda $692 karşılığında 2 × NVIDIA RTX 5090 — ve API pazarının her katmanını geçmek için ne kadar iş yapması gerektiğini sorun.

Son sütun, yazının tamamıdır. “Zaten daha ucuz” yazdığı yerde, bir $692 makinesindeki tek, batching uygulanmamış bir akış API'yi geride bırakır ve düşünecek bir şey yoktur. Bir kat gösterdiği yerdeyse makine yine de kazanabilir — ama yalnızca onu gerçekten doyurursanız, ki bir sonraki bölüm de bunu anlatır.

Batching, oyunun tamamıdır.

Bir token üretmek, etkin ağırlıkları bellekten bir kez okumayı gerektirir. Yüz farklı istek için yüz token üretmek de onları yalnızca bir kez okumayı gerektirir — aynı ağırlıklar toplu işteki her isteğe hizmet eder. Sürekli batching kullanan bir sunum yığınının aynı donanımda tek bir akışa kıyasla saniyede kat kat fazla token üretmesinin nedeni budur; o tablonun son sütunundaki oranın hiç erişilebilir olmasının nedeni de budur.

Pratik sonuç: başabaş tablosundaki katı bir kullanıcı sayısı değil, bir işlem hacmi hedefi olarak ele alın. Tek akışın on katı bir hedef, “on kullanıcı” anlamına gelmez; sunucunun, batching uygulanmamış hızının ortalama on katına ulaşması gerektiği anlamına gelir ve bu genellikle on eşzamanlı istekten biraz fazlasını, yüzden ise biraz azını gerektirir. Bir sayıya bağlanmadan önce bunu makinede ölçün — bu tek bir kıyaslamadır ve tartışmayı sonlandırır.

Yine de ödediğiniz boşta geçen saatler

Yukarıdakilerin tümü, yükün ay boyunca eşit dağıldığını varsaydı. Asla öyle olmaz. Aylık kiralanan bir makine Pazar günü saat 04:00 için de ödenir ve o sırada üretmediğiniz tokenler sonraya devretmez. Gerçekte hizmet verdiğiniz haftayı, gerçekte ödediğiniz haftaya bölün:

Üçüncü satır, çoğu iç kullanım aracının yaşadığı yerdir ve başabaş noktanızı sessizce dörtten fazla katına çıkarır. Bir self-hosting tahmininin yanlış çıkmasının en yaygın tek nedeni budur — token fiyatı değil, donanım değil, bir çalışma haftasının bütün bir hafta olduğu varsayımı.

Promptunuzun neden neredeyse bedava olduğu

Bir asimetri, makineye sahip olmaktan kesinlikle yana işler ve hiçbir token başına fiyat karşılaştırması bunu göstermez. Bir API sizden girdi tokenleri için ücret alır — genellikle token başına çıktı fiyatının dörtte biri ile üçte biri arasında. Kendi GPU'nuzda girdi tokenleri, tüm promptu paralel olarak işleyen ve bellek bant genişliği yerine aritmetikle sınırlanan prefill geçişinde işlenir. Prefill, üretimden saniyede bir büyüklük mertebesi daha fazla token işler.

Aritmetiğin gözden kaçırdığı

Token başına maliyet tablosunda asla görünmeyen, ama soruyu rakamlar kadar sık belirleyen dört şey.

Hangi tarafta olduğunuz

Sırayla okuyun ve sizi tanımlayan ilk maddede durun.

1. Sınır bir kapalı modelin kalitesine ihtiyacınız var. O zaman bu yazı size uymaz: o ağırlıkları kimse size kiralamaz. API'yi kullanın ve belirli göreviniz için açık bir model farkı kapattığında tekrar bakın.
2. Hacminiz düşük ya da henüz bilmiyorsunuz. API'yi kullanın. Trafiğinizin gerçekte neye benzediğini öğrenmenin en ucuz yolu budur ve sayaç gayet iyi bir ölçüm aracıdır.
3. Trafiğiniz sivri uçludur ve bir kuyruğa tahammül eder. API'yi kullanın, ya da bölün: düzenli taban yük için kendi makineniz, yoğunluklar için barındırılan bir uç nokta. Hiçbir şey kararı tek yönlü olmaya zorlamaz.
4. Açık ağırlıklı bir model karşısında gerçek, toplu bir hacmi sürdürüyorsunuz. Donanımın kazandığı durum budur, hem de büyük farkla — sayaç işlemeye devam ederken sabit fiyat kıpırdamaz. İnanmadan önce yukarıdaki tabloda kendi sayınızı kontrol edin.
5. İstemler hassastır, model değişmemelidir ya da faturanın önceden bilinmesi gerekir. O zaman aritmetik bir formaliteden ibarettir. Modelinizi barındıran makineyi kiralayın ve kimseye kim olduğunuzu söylemeden ödeyin.

Hangi satırda durduysanız durun, kontrol etmeniz gereken sayı, başabaş tablosunda kendi modeliniz ve kendi hacminiz için verilen sayıdır. Yapılandırıcı, kiraladığımız her düğüm için modelinizin tek bir karta sığıp sığmadığını, bölünmesi gerekip gerekmediğini ve işlem hacmi tahmininin ne olduğunu bildirir — bu aritmetiğin ihtiyaç duyduğu her girdi de budur. Aylık kiralama ile saatlik ölçüm arasında hâlâ karar veremediyseniz, bu farklı bir başabaş hesabıdır ve o da ayrıca ele alınmıştır.