Ödeme onayından ilk tokene.

Gelenler

Ödeme onaylandıktan 5 dakikanın altında sonra tek bir mesaj. İhtiyacınız olan her şeyi içerir, tıklayıp geçmeniz gereken hiçbir şeyi içermez.

İlk bağlantı

Kabul edilecek bir şey yok, kurulacak bir ajan yok. Yapılandırıcıda bize bir genel anahtar verdiyseniz o zaten /root/.ssh/authorized_keys içindedir.

$ ssh root@203.0.113.42
# Sonra, her şeyden önce — teslimat mesajındaki parmak izi
# burada yazdırılanla eşleşmelidir:
$ ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub

Bir anahtar gönderdiyseniz parolayı kapatın. Tek bir komut yeter ve tahmin edilebilecek tek kimlik bilgisini ortadan kaldırır.

# ÖNCE anahtarınızın çalıştığını doğrulayın — burada hâlâ oturum açıkken, ikinci bir terminalde.
$ sed -i 's/^#\?PasswordAuthentication.*/PasswordAuthentication no/' /etc/ssh/sshd_config
$ systemctl reload ssh

Donanımı doğrulayın

Bunu ilk on dakika içinde yapın. Görmediğiniz bir makineniz var ve bir donanım arızasındaki SLA saati, bize bildirdiğiniz anda başlar.

$ nvidia-smi --query-gpu=index,name,serial,memory.total,pcie.link.gen.current --format=csv
index, name, serial, memory.total [MiB], pcie.link.gen.current
0, NVIDIA H100 80GB HBM3, 1650123456789, 81559 MiB, 5
1, NVIDIA H100 80GB HBM3, 1650123456790, 81559 MiB, 5

# Çoklu GPU'lu bir düğümde, topolojinin ödediğinizle eşleştiğini kontrol edin.
# NV# NVLink anlamına gelir; PIX/PHB/SYS ise trafiğin PCIe üzerinden gittiği anlamına gelir.
$ nvidia-smi topo -m

# Her kartı yük altında iki dakika tutun ve hangi saat hızında sabitlendiğini izleyin.
$ nvidia-smi -q -d PERFORMANCE,TEMPERATURE,CLOCK | grep -E 'Slowdown|SW Power|Graphics *:'

# Diskler: sayıyı ve modeli teslimat mesajıyla karşılaştırarak doğrulayın.
$ lsblk -d -o NAME,MODEL,SIZE,ROTA
$ nvme list

Önceden kurulanlar

Yapılandırıcıda bir işletim sistemi seçin, isterseniz üzerine bir yığın da ekleyin. Aşağıdakilerin tümü teslimattan önce yazılır, ilk önyüklemede indirilmez.

Hangi yazılım yığınını seçerseniz seçin, her Linux imajında zaten çalışan bir NVIDIA sürücüsü, CUDA, cuDNN ve NCCL bulunur. Hepsini değiştirmekte özgürsünüz — root sizindir ve yeniden kurulum hiçbir ücrete tabi değildir ve hız sınırlaması yoktur.

Konteynerler ve CUDA

Docker ve NVIDIA container toolkit kurulu ve yapılandırılmış durumdadır. Aşağıdaki kontrol otuz saniyenizi almaya değer, çünkü kartları göremeyen bir konteyner çok daha sonra kafa karıştırıcı bir şekilde başarısız olur.

$ docker run --rm --gpus all nvidia/cuda:12.8.0-base-ubuntu24.04 nvidia-smi

# Çoklu GPU işleri de paylaşımlı bellek ve IPC gerektirir; varsayılan sınırlar bunu bozar.
# Bu üç bayrak genellikle sessiz bir NCCL takılmasının nedenidir:
$ docker run --rm --gpus all --ipc=host --shm-size=16g --ulimit memlock=-1 …

Bir modeli sunma

Teslim edilen bir makineden OpenAI uyumlu bir uç noktaya en kısa yararlı yol. Kendi modelinizi kullanın; önemli olan bayraklardır.

$ docker run -d --name vllm --gpus all --ipc=host -p 8000:8000 \
    vllm/vllm-openai:latest \
--model meta-llama/Llama-3.3-70B-Instruct \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.92

# Çoklu GPU'lu bir düğümde, kutudaki her kart arasında paylaştırın:
$ … --tensor-parallel-size 4

# Sonra, kendi makinenizden:
$ curl http://203.0.113.42:8000/v1/models

Belirli bir modelin belirli bir makineye sığıp sığmadığı bir görüş değil, aritmetiktir — ağırlıklar, artı bağlam uzunluğuyla büyüyen bir KV önbelleği. Yapılandırıcı, ödemeden önce her yapılandırma için bu aritmetiği yapar ve VRAM boyutlandırma rehberi formülü gösterir, böylece bizimkini kontrol edebilirsiniz.

Diskler ve depolama

Sistem biriminin ötesindeki diskler ham olarak teslim edilir. Herhangi bir RAID seviyesi dayatmayız, çünkü doğru seçim, kaybedemeyeceğiniz kontrol noktalarını mı yoksa bir saatte yeniden indirebileceğiniz bir veri kümesini mi tuttuğunuza bağlıdır.

# Önce neyin kullanılmadığını kontrol edin — bu, adı geçen aygıtlardaki verileri yok eder.
$ lsblk

$ mdadm --create /dev/md0 --level=0 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1
$ mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/md0
$ mkdir -p /scratch && mount /dev/md0 /scratch
$ echo '/dev/md0 /scratch ext4 defaults,noatime 0 2' >> /etc/fstab

Ek NVMe, arşiv HDD ve makine dışı anlık görüntüler, yapılandırıcıda veya sonradan eklenen aylık seçeneklerdir. Yerel diskler tarafımızca yedeklenmez ve hiçbir zaman yedeklenmeyecektir — aşağıdaki anlık görüntülere bakın.

Güvenlik duvarı ve portlar

Kendi makinenizin engellediği dışında gelen her şey açıktır: önünüzde bir ağ filtresi yoktur, bu bilinçli bir tercihtir ve sorumluluğu buraya bırakır. Giden port 25 tek istisnadır; siz istemedikçe üst kademede kapalı tutulur.

$ ufw default deny incoming
$ ufw default allow outgoing
$ ufw allow 22/tcp
$ ufw allow from 198.51.100.7 to any port 8000 proto tcp
$ ufw --force enable

# Bir portu hiç açmamaktan daha güvenli: hizmeti localhost üzerinde tutun
# ve kendi makinenizden ona tünel açın.
$ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42

IPMI ve yeniden kurulum

Bant dışı erişim her makinede, kendi adresinde bulunur. Sabahın üçünde, kimseye sormadan, kendinizi dışarıda bıraktığınız bir kutuyu kurtarmanızı sağlayan yol budur.

Sunduğumuz imajlardan herhangi birine temiz bir yeniden kurulum bizden talep edilir ve orijinal teslimatla yaklaşık aynı süreyi alır. Hiçbir ücrete tabi değildir, ne sıklıkla yapılacağına dair bir sınır yoktur ve makine adreslerini korur. Disklerdeki her şey bu işlemle yok edilir — bir yeniden kurulumun amacı budur ve geri alma yoktur.

Anlık Görüntüler

İsteğe bağlı, aylık, makinenin dışında. Onları satın almazsanız, verilerinizin bir kopyası kendi disklerinizden başka hiçbir yerde bulunmaz — bu, bir GPU'da çalışan işlerin çoğu için doğru varsayılandır, kalanı için ise bir felakettir.

Süreyi sonlandırma

Aylık bir süre, ödenen ayın sonunda biter; bildirim süresi ve iptal ücreti yoktur. Bundan sonra olanlar geri alınamaz, bu yüzden bir dipnotta değil burada açıkça yazılıdır.

1. Hiçbir şey kendiliğinden yenilenmez. Kayıtlı bir kart ve otomatik ödeme talimatı yoktur — bir süre yalnızca bir sonrakini ödediğiniz için devam eder.
2. Genel port, sürenin bittiği anda kesilir. Makine, bir ek günün sonunda değil, anında erişilemez hale gelir.
3. Diskler bir saat içinde silinir. Önce kriptografik silme, ardından tam üzerine yazma. Verilerinizin bir yerde hâlâ var olduğu bir zaman aralığı yoktur.
4. Anlık görüntüler de onunla birlikte gider. Satın aldıysanız, aynı işlemde silinirler.
5. Adres havuza geri döner. Bir bekleme süresinin ardından, ve yalnızca temiz olduğunda.