Kabine ne taktığımız ve bozulduğunda ne olduğu.
Adanmış bir sunucu, fiziksel bir nesne hakkında verilen bir sözdür. Bu sayfa o nesneyi anlatır: hangi kartları satın alıyoruz, bir düğüm bir kiracı almadan önce nasıl test ediliyor ve bunlardan biri öldüğünde ne yapıyoruz.
- 12İşlettiğimiz GPU modelleri
- 72 hbir düğüm kiracı almadan önce burn-in
- 4 harızalı donanımı değiştirme hedefi
- 0başka bir sağlayıcıdan yeniden satılan kartlar
İşlettiğimiz her kart
Liste bu kadar — listelenmeyen bir seviye ve daha büyük hesaplar için sakladığımız bir kart yoktur. Bellek bant genişliği tabloda yer alır, çünkü çıkarım için işlem hacmini herhangi bir teraflop değerinden çok daha iyi öngörür.
| Kart | Mimari | Bellek | Bant Genişliği | Düğüm boyutları | Başlangıç |
|---|---|---|---|---|---|
| L4 | Ada Lovelace | 24 GB | 300 GB/s | 1×, 2×, 4×, 8×, 10× | $125/ay |
| RTX 4090 | Ada Lovelace | 24 GB | 1,008 GB/s | 1×, 2×, 4×, 8× | $193/ay |
| RTX 5090 | Blackwell | 32 GB | 1,792 GB/s | 1×, 2×, 4×, 8× | $335/ay |
| RTX A6000 | Ampere | 48 GB | 768 GB/s | 1×, 2×, 4×, 8× | $286/ay |
| L40S | Ada Lovelace | 48 GB | 864 GB/s | 1×, 2×, 4×, 8× | $714/ay |
| A100 PCIe | Ampere | 40 GB | 1,555 GB/s | 1×, 2×, 4×, 8× | $392/ay |
| A100 PCIe | Ampere | 80 GB | 1,935 GB/s | 1×, 2×, 4×, 8× | $1,091/ay |
| H100 PCIe | Hopper | 80 GB | 2,000 GB/s | 1×, 2×, 4×, 8× | $1,469/ay |
| A100 SXM4 | Ampere | 80 GB | 2,039 GB/s | 4×, 8× | $4,395/ay |
| H100 SXM5 | Hopper | 80 GB | 3,350 GB/s | 4×, 8× | $6,061/ay |
| H200 SXM5 | Hopper | 141 GB | 4,800 GB/s | 4×, 8× | $8,405/ay |
| B200 SXM6 | Blackwell | 180 GB | 8,000 GB/s | 4×, 8× | $11,790/ay |
Her kart, garantisi bizim adımıza olan, yeni satın alınmış perakende veya OEM bir parçadır. Eski madencilik stoku satın almayız ve geçmişini hesabını veremeyeceğimiz kartları satın almayız — ikinci el bir RTX 4090'ın ucuz olmasının bir nedeni vardır ve bu neden dördüncü ayda ortaya çıkar.
Kartların çevresindekiler
CPU, RAM veya disk işlem hacminden yoksun bırakılmış bir GPU, pahalı bir bekleme şeklidir. Kasa, kart sayısına göre seçilir; bir yükseltme yolu olarak satılmaz.
| Düğüm | CPU | Sistem RAM'ı | Yerel depolama | Port |
|---|---|---|---|---|
| 1 × GPU | AMD Ryzen 9 7950X | 128 GB | 2 × 2 TB NVMe | 1 Gbit/s |
| 2 × GPU | AMD Threadripper 7960X | 256 GB | 2 × 3.84 TB NVMe | 2 Gbit/s |
| 4 × GPU | AMD Threadripper 7970X | 512 GB | 4 × 3.84 TB NVMe | 10 Gbit/s |
| 8 × GPU | 2 × Intel Xeon Gold 6438Y+ | 1 TB | 8 × 3.84 TB NVMe | 25 Gbit/s |
| 10 × GPU | 2 × Intel Xeon Platinum 8462Y+ | 1 TB | 8 × 7.68 TB NVMe | 25 Gbit/s |
İki CPU listelendiğinde, ikisinden biri teslim edilebilir — çekirdek sayısı ve bellek kanalları açısından eşleştirilmişlerdir ve yapılandırıcı, ödeme yapmadan önce düğümünüzde hangisinin olduğunu size gösterir. Diskler ham olarak teslim edilir: hiçbir RAID seviyesi dayatmayız, çünkü doğru seviye, kontrol noktaları mı yoksa yeniden indirebileceğiniz bir veri kümesi mi sakladığınıza bağlıdır.
Bir düğüm satılmadan önce
Bir makine, kataloğa ancak üç gün boyunca bozulmaya çalışıp başarısız olduktan sonra girer. Erken ölecek neredeyse her kart burada, bizim elimizde ölür — sizin elinizde değil.
ADIM 1 · 2 SAAT
Montaj ve envanter
Her kartın, modülün ve diskin seri numarası kasaya karşı kaydedilir. Bu kayıt, daha sonra size makinenizde tam olarak hangi fiziksel parçanın bulunduğunu söylememizi sağlayan şeydir.
ADIM 2 · 24 SAAT
Bellek ve hesaplama dayanıklılık testi
Her kartta tam VRAM ECC örüntü testleri, ardından %100 kullanımda sürdürülen matris çarpımı. Tek bir düzeltilemez hata, kartın kutuya geri dönmesi demektir.
ADIM 3 · 24 SAAT
Isı ve güç yükleme testi
Giriş sıcaklığı salonun en kötü senaryosuna çıkarılırken düğümün tamamı tam yükte tutulur. Kutu üzerindeki boost değerini değil, kartların fiilen sürdürdüğü saat hızını kaydederiz; teknik özelliklerin altına düşen bir düğüm, yeniden test edilmeden önce yeniden oturtulur veya termal macunu yenilenir.
ADIM 4 · 24 SAAT
Ara bağlantı ve depolama
Karttan karta ölçülen NVLink veya PCIe eşler arası bant genişliği, örneklenen NVMe yazma dayanıklılığı, hat hızında tutulan port. Sayılar, aynı modelin diğer düğümleriyle karşılaştırılır, çünkü %15 yavaş olan bir düğüm, sorunlu bir düğümdür.
SONRA · RAFA YERLEŞTİRİLDİ VE BEKLİYOR
Kullanılabilir, yazılmaya hazır bir imajla
Teslimatın bir iş günü değil 5 dakikanın altında olmasının nedeni budur: sipariş verdiğinizde hiçbir şey monte edilmez. Makine zaten mevcuttur, güç altındadır ve test edilmiştir; ödemeniz bir montaj değil, bir imaj yazma işlemini tetikler.
Firmware ve sürücüler
nvidia-smi ile yükseltebilir veya düşürebilirsiniz; garanti sonucu sizin değil, bizim sorumluluğumuzdadır.
Bir şey arızalandığında
Donanım bozulur. Sağlayıcıları birbirinden ayıran şey bunun olup olmaması değil, sonraki dört saatin nasıl geçtiğidir.
Yedekler sahada
Her salon, yedek kartlar, PSU'lar, diskler ve model başına eksiksiz bir kasa bulundurur. Bir değişim, bir koridorda yürümekle olur, kurye rezervasyonuyla değil.
Dört saatlik hedef
Bildiriminizden çalışır donanıma kadar, günün her saati. Bunu kaçırırsak, SLA süreninizi otomatik olarak uzatır — talep etmenize gerek kalmaz.
Diskleriniz sizin kalır
Arızalı bir GPU veya PSU, diskler yerinde ve dokunulmadan değiştirilir. Depolamaya dokunmadan önce yalnızca izin isteriz, ve bunu yalnızca arızalanan şey depolamaysa yaparız.
İki kiracı arasında
Aynı makine sizden sonra tekrar kiralanacaktır. Aşağıdaki her şey, kimse sormasa bile, makine kataloğa yeniden girmeden önce gerçekleşir.
| Adım | Ne olur | Doğrulayan |
|---|---|---|
| 1. Ağ | Makine, süre sona erer ermez herkese açık portundan kesilir. Beklerken hiçbir şey erişilebilir bırakılmaz. | Port durumu, loglanır |
| 2. Depolama | Her NVMe cihazı, tam bir kriptografik silme işleminden ve ardından tüm adres alanının tek geçişlik üzerine yazılmasından geçer. | Her cihazda geri okuma örneklemesi |
| 3. GPU belleği | Kartlar sıfırlanır ve bellekleri temizlenir; ECC sayaçları okunur ve burn-in sırasında kaydedilen değerlerle karşılaştırılır. | nvidia-smi sıfırlama logu |
| 4. Firmware | BMC ve BIOS ayarları, süre boyunca yapılan her değişikliği geçersiz kılarak referansımıza göre yeniden yazılır. | Referansa göre sağlama toplamı |
| 5. Kimlik | IPMI kimlik bilgileri değiştirilir, IP adresleri havuza geri döner, rDNS temizlenir. | Temiz olana kadar tutulan adres |
Süre sona erdikten sonra hiçbir şeyi geri yükleyememizin nedeni de budur. Verilerinizin bir yerde hâlâ var olduğu bir tolerans süresi yoktur — adım 2 zaten çalışmıştır. İhtiyacınız varsa, süre kapanmadan önce verilerinizi makineden alın.
Yapmayacaklarımız
Bir kartı bölümlemek. MIG yok, vGPU yok, time-slicing yok. Fiziksel GPU başına bir kiracı — listedeki işlem hacmini tekrarlanabilir kılan da budur.
Bir düğümü aşırı satmak. Makinede ikinci bir hesap yoktur ve sizinle donanım arasında bir hipervizör bulunmaz.
Başkasının kapasitesini yeniden satmak. Bu sayfadaki her kart, satın alıp rafa yerleştirdiğimiz bir karttır. Burada başka bir bulut üzerinden alınan bayi marjı yoktur.
Farklı bir kartla ikame etmek. Sipariş ettiğiniz model teslim edilemiyorsa, sessizce yakın bir eşdeğerini göndermeyiz — size söyleriz ve süreyi iade ederiz.
İşletim sisteminize girmek. Root yalnızca size aittir. IPMI'miz var; bu, elektriği kesip açabilir ve medya bağlayabilir, ama makinenizin içinde bir oturum açma erişimimiz yoktur.
Herhangi bir şeyin kopyasını tutmak. Disklerinizin yedeğini almayız. Anlık görüntüler yalnızca satın alırsanız var olur ve süreyle birlikte silinir.
Satırda görülen özellikler, tam olarak aldığınız özelliklerdir.
Yukarıdaki her kart, 6 veri merkezinin tamamında, rafa yerleştirilmiş, burn-in testinden geçirilmiş ve yazılmaya hazır bir imajla kullanılabilir.
İlgili sayfalar
- Ağ25 Gbit/s'e kadar sayaçsız portlar, site başına iki operatör ve bir IX, sürekli DDoS filtreleme, yönlendirilen IPv6 — ve baştan belirtilen, sunmadığımız dört şey.
- Dokümantasyonİlk SSH, donanımı doğrulama, CUDA konteynerleri, vLLM ile model sunma, RAID, güvenlik duvarı, IPMI ve yeniden kurulumlar — gerçek bir makinede, komutlarıyla.
- Hizmet seviyesi sözleşmesi%99,9 taahhüdü: neyin kesinti sayıldığı, dışarıdan nasıl ölçüldüğü, kaybedilen her dakika için beş dakika süre iadesi ve istisnaların tamamı.
- Hakkımızdagpuserver.io'yu kimin işlettiği, donanımı yeniden satmak yerine neden satın aldığımız ve esnetmediğimiz dört kural — bize satış kaybettirenler dahil.