Görsel ve video modelleri için kart seçimi.

Her modelin ihtiyaç duyduğu

Her şeyin geri kalanını belirleyen farktan başlayın. Bir dil modeli, bağlamın her tokeniyle büyüyen bir key/value önbelleği taşır; aynı 70B modelin ne kadar konuşma tuttuğunuza bağlı olarak 40 GB veya 140 GB istemesinin nedeni de budur. Bir diffusion modelinin hiç önbelleği yoktur. Bir prompt okur, sabit sayıda adımda bir latenti gürültüden arındırır ve unutur. Ağırlıklar bu yüzden bellek sorusunun neredeyse tamamıdır ve promptlarınız uzadıkça cevap değişmez.

Ağırlıklar artı aktivasyonlar, CUDA bağlamı ve ayırıcı parçalanması için %15'lik bir çalışma zamanı payı — yapılandırıcının uyguladığı payla aynı, böylece bunları ona göre kontrol edebilirsiniz. Bağlam sütunu yoktur, çünkü içine koyacak bir şey yoktur.

O tabloda durup üzerinde düşünmeye değer iki satır var, çünkü bir satın almanın tam olarak yanlış gittiği yer orasıdır.

Her kartın barındırdığı

Kiraladığımız her tek kartlı makine ve her birinin bu iki zorlu model için barındırdığı en iyi hassasiyet. Bant genişliği sütunu bir sonraki bölüm için var; onu bu bölümü okuduktan sonra okuyun.

Yeşil referans ağırlıklardır, kehribar nicemlenmiştir. Bir diffusion modelini nicemlemek, bir dil modelinde olduğu gibi bedava bir kazanım değildir: aynı prompt ve seed, görünür şekilde farklı bir görsel verir, genellikle biraz daha yumuşak bir görsel. FP8'te iyi bir takastır, 4 bitte ise bir değerlendirme meselesidir.

Fiyat sütununun altından okuyun, tablo nettir. NVIDIA L4, aylık $125 ile, FLUX.1 dev modelini hiç olmazsa barındıran en ucuz kiraladığımız makinedir — FP8'te. Onu tam BF16'da barındıran en ucuz olan ise NVIDIA RTX A6000, $286 ile. Tam hassasiyette video aynı kartta başlar.

Herkesin yanlış okuduğu sütun

İşte görsel işleri bu sitedeki her şeyden ayıran kısım burada, ve o tablodaki en ucuz kartın neden bir tuzak olduğunun nedeni de bu.

Bir dil modeli bir token ürettiğinde, her aktif ağırlığı bellekten bir kez okur, her biriyle küçük bir aritmetik işlem yapar ve tek bir token yazar. Bunu bir sonraki token için, sonra bir sonraki için tekrar yapar. Kart hayatını bellek yolunu bekleyerek geçirir; dil modelleri için işlem hacmi tahminlerimizin esasen bant genişliğinin okunan ağırlığa bölünmesi olmasının ve bir sunum rehberinde önemli olan sütunun bant genişliği olmasının nedeni budur.

Bir diffusion adımı böyle görünmez. Aynı ağırlıklar bir latent tensöre yirmi ila elli kez uygulanır ve her geçiş, getirilen her bayt başına çok fazla aritmetik işlem yapar. Ağırlıklar bellekte sabit kalır; iş, küçük bir tensör üzerindeki konvolüsyon ve attention işlemleridir. Bu, kısıtı tersine çevirir: bir görsel model bellek yoluna değil, tensör işlem hacmine bağlıdır. Bundan üç şey çıkar ve üçünü de yanlış anlarsanız paraya mal olur.

Dolar başına bant genişliği, baktığınız kart sınıfı için bir gösterge — kaba bir gösterge — niteliğindedir ve kataloğumuzda NVIDIA RTX 5090 ve NVIDIA RTX 4090 kartlarını büyük bir farkla birinci ve ikinci sıraya koyar. Bu bir tesadüf değildir ve sizi ikna etmeye çalıştığımız bir pazarlık da değildir: bunlar tam olarak bu tür bir aritmetik için tasarlanmış parçalardır ve fiyat listemizin alt sıralarında yer alırlar, çünkü piyasa onları eğitim kümelerine karşı değil, oyun kartlarına karşı fiyatlandırır.

Çözünürlük, batch ve video

Ağırlıklar sabittir. Değişen şey çalışma kümesidir ve bu, parametrelerle değil pikselle değişir. Latentin kendisi ihmal edilebilir düzeydedir — kartı dolduran, o çözünürlükte ağdan geçen aktivasyonlardır.

latent_elements = (H / 8) * (W / 8) * C * batch
# C = 4 latent channels on SDXL, 16 on SD 3.5 and FLUX.

# 1024x1024, batch 1, SDXL:
128 * 128 * 4 * 1     = 65,536 elements   = 128 KB in FP16

# 2048x2048, batch 4, SDXL:
256 * 256 * 4 * 4     = 1,048,576         = 2 MB in FP16

# The latent is never the problem. The activations that pass through the
# network at that resolution are, and they scale by the SAME factor:
# doubling the edge quadruples the pixel count, and roughly quadruples
# the working set. Batch multiplies it linearly on top.

Karşılaşacağınız sırayla üç pratik sonuç:

1. Zirve noktası genellikle örnekleme döngüsü değil, VAE kod çözmedir. Kod çözme, latenti tek geçişte tam çözünürlüğe geri genişletir ve bir dakikadır sorunsuz çalışan bir işin tam sonunda bellek yetersizliği hatasını tetikleyen an tam da budur. Karo halinde kod çözme bunu giderir ve biraz zaman kaybettirir.
2. Büyük bir kartı kullanmanın yolu batching yapmaktır. Model size 20 GB boşluk bırakıyorsa, aynı anda dört görsel üretmek, tek görseli boşlukla üretmekten çok daha iyi bir kullanımdır — ağırlıklar tüm batch için bir kez okunur, ki bir diffusion hattının bant genişliğine bağlı bir iş gibi davrandığı tek nokta budur.
3. Video bir yüzde değil, bir boyut ekler. Wan 2.1 video 14B, bir kare bloğunu birlikte üretir; bu yüzden kareler, yükseklik ve genişliğin zaten çarptığı çalışma kümesini bir kez daha çarpar. 14 milyar parametreli bir video modelinin 12 milyar parametreli bir görsel modelinden çok daha büyük bir kart istemesinin nedeni budur, ve yukarıdaki ağırlık tablosunun bunu diğer her satırdan daha fazla eksik göstermesinin de nedeni budur.

ComfyUI'yi ayağa kaldırma

ComfyUI, makine teslim edilmeden önce üzerine yazabileceğimiz imajlardan biridir; bu da bu bölümü isteğe bağlı kılar. Bunu kendiniz kurmayı tercih ederseniz, bir konteyner ve bir tünelden ibarettir.

$ ssh root@203.0.113.42
$ nvidia-smi --query-gpu=name,memory.total --format=csv

# Checkpoints, LoRAs, ControlNets and VAEs on the fast local NVMe.
# This directory is the reason you are renting by the month.
$ mkdir -p /scratch/comfy/models
$ df -h /scratch

$ docker run -d --name comfy --restart unless-stopped \
    --gpus all --ipc=host \
    -v /scratch/comfy:/data \
    -p 127.0.0.1:8188:8188 \
    your-comfyui-image --listen 0.0.0.0 --port 8188

# From YOUR machine, not the server: a tunnel, then a local browser tab.
$ ssh -N -L 8188:127.0.0.1:8188 root@203.0.113.42
# http://127.0.0.1:8188

Bir ayın satın aldığı

Görsel işlerin aylık bir makineye uymasının nedeni GPU'nun fiyatı değildir. Nedeni kitaplıktır. Ciddi bir ComfyUI kurulumu; özenle seçtiğiniz ve yeniden indirmek istemediğiniz checkpoint, LoRA, ControlNet, upscaler ve VAE dosyalarından oluşan birkaç yüz gigabayttır.

Karşılaştırılması gereken sütun budur ve saatlik platformların başlıkta atladığı sütun da budur. Orada disk ayrı bir kalemdir, gigabayt başına aylık fiyatlandırılır ve makine durdurulduğunda bile faturalandırmaya devam eder — ya da onu silersiniz ve bir dahaki oturuşunuzda yüzlerce gigabaytı yeniden indirirsiniz.

Bu, saatlik başabaş noktasının anlattığı tuzağın aynısıdır, görsel işler için aldığı biçimdir. Saniye başına faturalandırma güvenli görünür, çünkü makineyi durdurabilirsiniz; ama kimse durdurmaz, çünkü durdurmak kitaplığı kaybetmek anlamına gelir. Dürüst soru “kaç saat üretim yapacağım” değil, “bu makinenin var olması kaç saat gerekecek” sorusudur — ve özenle seçilmiş bir model dizini olan herkes için cevap hepsidir. Ödeme kripto para ile tek bir transferdir, kurulum ücreti yoktur ve kim olduğunuzu sormadık: promptlar, eğittiğiniz LoRA'lar ve henüz teslim etmediğiniz müşteri işi, yalnızca sizin roota sahip olduğunuz bir makinede kalır.

Bir kart ne zaman kiralanmamalı

Bunlardan birini kiralayıp pişman olmanızı istemeyiz, bu yüzden cevabın hayır olduğu durumlar aşağıda.

Her yerde başka — oluşturduğunuz bir kitaplık, sürekli değiştirdiğiniz bir işlem hattı, gece boyunca çalışan toplu işler veya kendi diskinizden hiç çıkmaması gereken bir çalışma — aylık adanmış bir kart daha ucuz ve daha sakin bir düzenlemedir. Yapılandırıcı, katalogdaki her düğüm için, aklınızdaki modelin ödeme yapmadan önce tek karta sığıp sığmadığını size söyler.