支払い承認から最初のトークンまで。

届くもの

支払いの承認から5分未満後に届く、たった1通のメッセージ。必要な情報がすべて含まれており、クリックして進む手順は一切ありません。

初回接続

同意する規約もなく、インストールするエージェントもありません。設定画面で公開鍵を入力していた場合、それはすでに/root/.ssh/authorized_keysに記載されています。

$ ssh root@203.0.113.42
# まず何よりも先に、納品メッセージに記載されたフィンガープリント
# ここに表示されているものと一致している必要があります:
$ ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub

鍵を送信した場合は、パスワードを無効にしてください。コマンド1つで済み、推測されうる唯一の認証情報を排除できます。

# まず鍵が機能することを確認してください。別のターミナルを開き、こちらのログインは維持したままにしてください。
$ sed -i 's/^#\?PasswordAuthentication.*/PasswordAuthentication no/' /etc/ssh/sshd_config
$ systemctl reload ssh

ハードウェアを検証する

これは最初の10分以内に行ってください。まだ見たことのないマシンであり、ハードウェア障害に関するSLAの時計は、お客様からのご連絡をもって動き出します。

$ nvidia-smi --query-gpu=index,name,serial,memory.total,pcie.link.gen.current --format=csv
index, name, serial, memory.total [MiB], pcie.link.gen.current
0, NVIDIA H100 80GB HBM3, 1650123456789, 81559 MiB, 5
1, NVIDIA H100 80GB HBM3, 1650123456790, 81559 MiB, 5

# マルチGPUノードでは、トポロジーが購入した構成と一致しているか確認してください。
# NV#はNVLinkを意味し、PIX/PHB/SYSはトラフィックがPCIe経由であることを意味します。
$ nvidia-smi topo -m

# すべてのカードに2分間負荷をかけ続け、安定するクロック速度を確認してください。
$ nvidia-smi -q -d PERFORMANCE,TEMPERATURE,CLOCK | grep -E 'Slowdown|SW Power|Graphics *:'

# ディスク:枚数とモデルを納品メッセージと照合してください。
$ lsblk -d -o NAME,MODEL,SIZE,ROTA
$ nvme list

プリインストールされる内容

設定画面でオペレーティングシステムを選び、必要に応じてその上に載せるスタックも選択できます。以下のものはすべて納品前に書き込まれており、初回起動時にダウンロードされるわけではありません。

どのスタックを選んでも、Linuxイメージにはあらかじめ動作するNVIDIAドライバー、CUDA、cuDNN、NCCLが含まれています。これらはすべて自由に入れ替えて構いません。rootはお客様のものであり、再インストールは無料で、回数の制限もありません。

コンテナとCUDA

DockerとNVIDIA Container Toolkitはインストールおよび設定済みです。以下の確認には30秒の価値があります。カードを認識できないコンテナは、後になってから分かりにくい形で失敗するためです。

$ docker run --rm --gpus all nvidia/cuda:12.8.0-base-ubuntu24.04 nvidia-smi

# マルチGPUジョブには共有メモリとIPCも必要ですが、デフォルトの制限値ではこれを妨げてしまいます。
# この3つのフラグが、NCCLが無言でハングする典型的な原因です:
$ docker run --rm --gpus all --ipc=host --shm-size=16g --ulimit memlock=-1 …

モデルの提供

納品されたマシンからOpenAI互換エンドポイントに至る、実用上最短の経路です。モデルはご自身のものに置き換えてください。重要なのはフラグです。

$ docker run -d --name vllm --gpus all --ipc=host -p 8000:8000 \
    vllm/vllm-openai:latest \
--model meta-llama/Llama-3.3-70B-Instruct \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.92

# マルチGPUノードでは、筐体内のすべてのカードにわたってシャーディングします:
$ … --tensor-parallel-size 4

# 続いて、ご自身のマシンから:
$ curl http://203.0.113.42:8000/v1/models

あるモデルが特定のマシンに収まるかどうかは意見ではなく算術の問題です。重みに加えて、コンテキスト長に応じて増加するKVキャッシュを足し合わせます。コンフィギュレーターは支払い前にすべての構成についてこの計算を行っており、VRAMサイジングガイドではその計算式を示していますので、当社の計算を検証していただけます。

ディスクとストレージ

システムボリュームを除き、ディスクは未加工のまま提供されます。RAIDレベルは指定しません。適切なレベルは、失うことのできないチェックポイントを保持しているか、1時間で再ダウンロードできるデータセットを扱っているかによって異なるためです。

# 未使用の領域を先に確認してください。指定したデバイス上のデータは消去されます。
$ lsblk

$ mdadm --create /dev/md0 --level=0 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1
$ mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/md0
$ mkdir -p /scratch && mount /dev/md0 /scratch
$ echo '/dev/md0 /scratch ext4 defaults,noatime 0 2' >> /etc/fstab

追加のNVMe、アーカイブ用HDD、マシン外へのスナップショットは月額オプションであり、設定時または後から追加できます。ローカルディスクは当社によるバックアップの対象外であり、今後もその方針は変わりません。詳細は下記のスナップショットをご覧ください。

ファイアウォールとポート

インバウンドは、お客様自身のマシンが遮断するもの以外はすべて開放されています。手前にネットワークフィルターは存在しません。これは意図的な設計であり、責任はお客様側にあります。唯一の例外はアウトバウンドのポート25で、こちらからの申し出があるまで上流で閉じられています。

$ ufw default deny incoming
$ ufw default allow outgoing
$ ufw allow 22/tcp
$ ufw allow from 198.51.100.7 to any port 8000 proto tcp
$ ufw --force enable

# ポートを開けるより安全な方法: サービスをlocalhostにとどめる
# ご自身のマシンからそこへトンネル接続します。
$ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42

IPMIと再インストール

アウトオブバンドアクセスはすべてのマシンに備わっており、専用のアドレスを持っています。自分自身をロックアウトしてしまったマシンを、朝の3時に誰にも頼らず復旧させる手段です。

当社が提供するイメージへのクリーンな再インストールは、お申し出いただければ実施します。所要時間は最初の納品時とほぼ同じです。費用はかからず、回数の制限もなく、マシンのアドレスはそのまま維持されます。ディスク上のすべてのデータは消去されます。それが再インストールの目的であり、元に戻すことはできません。

スナップショット

任意加入で月払い、マシン本体とは別の場所に保存されます。加入しない場合、お客様のデータのコピーはご自身のディスク以外のどこにも存在しません。GPU上で動く処理の大半にとってはこれが正しい既定値であり、残りにとっては致命的な事態になります。

契約期間の終了

月単位の契約は、支払い済みの月の終了と同時に終了します。予告期間や解約手数料はありません。この後に起きることは元に戻せないため、注釈ではなくここで明確にお伝えします。

1. 自動更新は一切行われません。登録されたカードも口座引き落としもなく、契約が続くのは次の期間分をお支払いいただいた場合に限られます。
2. 公開ポートは契約期間の終了と同時に遮断されます。マシンは猶予期間の終わりではなく、即座に到達不能になります。
3. ディスクは1時間以内に消去されます。暗号学的消去の後、全体を上書きします。データがどこかに残り続ける猶予期間はありません。
4. スナップショットも同時に削除されます。ご購入されていた場合、同じタイミングで消去されます。
5. アドレスはプールに返却されます。一定の保留期間を経て、クリーンな状態になってからのみです。