ドキュメント # 支払い承認から最初のトークンまで。 納品メッセージに何が記載されているか、あらかじめ何がインストールされているか、そして最初の1時間で使う正確なコマンド。以下はすべて、納品直後のマシン上でrootとして実行します。 - 5分未満 支払いから、下記のメッセージが届くまで - 10 書き込んでもらえるイメージ - root sudoなし、踏み台なし、コンソールなし - 22 納品時に開いている唯一のポート ## 届くもの 支払いの承認から5分未満後に届く、たった1通のメッセージ。必要な情報がすべて含まれており、クリックして進む手順は一切ありません。 SSH アドレス、ポート22、rootパスワード パスワードは、設定画面で**お客様**が設定したものです。当社が生成することはなく、その後平文で見ることもなく、代わりにリセットすることもできません。 ネットワーク IPv4アドレス、ゲートウェイ、IPv6の/64 マシンにはすでに設定済みです。追加のアドレスを計画できるよう、ブロック全体を表示しています。 IPMI 個別のアドレスと専用の認証情報 管理用VLAN上にあります。リモート電源、シリアルコンソール、仮想メディアには、OSが応答しない状態でもアクセスできます。 ハードウェア ノードに搭載されている正確なCPU、カード、ディスク すべてのカードのモデル名とシリアル番号。検証する機体が購入した機体であると証明できるようにするためです。 **当社はお客様のrootパスワードを復旧できません。** 設定するのはお客様自身であり、保存されるのはイメージへの書き込みに必要な間だけです。紛失した場合の復旧手段はIPMIです。仮想メディアからレスキューイメージを起動し、ご自身でリセットしてください。これは認証情報を保持しないことの利点であると同時に、実際の不便でもあります。今のうちにパスワードマネージャーへ保存しておいてください。 ## 初回接続 同意する規約もなく、インストールするエージェントもありません。設定画面で公開鍵を入力していた場合、それはすでに`/root/.ssh/authorized_keys`に記載されています。 お客様のマシン、初回ログイン ``` $ ssh root@203.0.113.42 # まず何よりも先に、納品メッセージに記載されたフィンガープリント # ここに表示されているものと一致している必要があります: $ ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub ``` 鍵を送信した場合は、パスワードを無効にしてください。コマンド1つで済み、推測されうる唯一の認証情報を排除できます。 鍵認証のみ ``` # まず鍵が機能することを確認してください。別のターミナルを開き、こちらのログインは維持したままにしてください。 $ sed -i 's/^#\?PasswordAuthentication.*/PasswordAuthentication no/' /etc/ssh/sshd_config $ systemctl reload ssh ``` ## ハードウェアを検証する これは最初の10分以内に行ってください。まだ見たことのないマシンであり、ハードウェア障害に関するSLAの時計は、お客様からのご連絡をもって動き出します。 カード、メモリ、そしてそれらをつなぐリンク ``` $ nvidia-smi --query-gpu=index,name,serial,memory.total,pcie.link.gen.current --format=csv index, name, serial, memory.total [MiB], pcie.link.gen.current 0, NVIDIA H100 80GB HBM3, 1650123456789, 81559 MiB, 5 1, NVIDIA H100 80GB HBM3, 1650123456790, 81559 MiB, 5 # マルチGPUノードでは、トポロジーが購入した構成と一致しているか確認してください。 # NV#はNVLinkを意味し、PIX/PHB/SYSはトラフィックがPCIe経由であることを意味します。 $ nvidia-smi topo -m ``` 持続スループットであり、ブースト値ではありません ``` # すべてのカードに2分間負荷をかけ続け、安定するクロック速度を確認してください。 $ nvidia-smi -q -d PERFORMANCE,TEMPERATURE,CLOCK | grep -E 'Slowdown|SW Power|Graphics *:' # ディスク:枚数とモデルを納品メッセージと照合してください。 $ lsblk -d -o NAME,MODEL,SIZE,ROTA $ nvme list ``` **内容が一致しない場合は、すぐにお知らせください。** 誤ったカード、ディスクの欠品、Gen5のはずがGen3で動作しているリンクなど、初日以内にご連絡いただければ、問答無用でノードを交換するか契約分を返金します。1か月使用した後に同じ内容を報告された場合は、納品トラブルではなくサポート案件としての扱いとなり、双方にとって対応に時間がかかります。 ## プリインストールされる内容 設定画面でオペレーティングシステムを選び、必要に応じてその上に載せるスタックも選択できます。以下のものはすべて納品前に書き込まれており、初回起動時にダウンロードされるわけではありません。 **プリインストールイメージの内容と、必要な最小カード** | イメージ | 用途 | 最小VRAM | OS | |---|---|---|---| | vLLM 0.11 OpenAI互換サーバー、連続バッチ処理 | 大規模言語モデルの提供 | 24 GB | Linux | | SGLang 0.5 構造化デコーディング、RadixAttentionキャッシュ | 大規模言語モデルの提供 | 24 GB | Linux | | Text Generation Inference Hugging Faceの推論スタック | 大規模言語モデルの提供 | 24 GB | Linux | | Ollama 0.12 コマンド1つ、量子化モデルも同梱 | 大規模言語モデルの提供 | 8 GB | Linux | | Axolotl 0.8 LoRAおよびQLoRAによるファインチューニング | 学習とファインチューニング | 24 GB | Linux | | PyTorch 2.9 · CUDA 12.8 素のフレームワーク、cuDNN 9、NCCL | 学習とファインチューニング | 8 GB | Linux | | ComfyUI SDXL、Flux、SD 3.5、動画ノード | 画像・動画生成 | 12 GB | Linux | | JupyterLab · CUDA 素のCUDAスタック上のノートブック | 学習とファインチューニング | 8 GB | Linux | | Blender 4.5 Cycles GPUレンダリング、ヘッドレス | 3Dレンダリング | 8 GB | LinuxまたはWindows | | お客様ご自身のDockerイメージ 任意のパブリックまたはプライベートレジストリ | お客様が持ち込むもの | 不問 | Linux | どのスタックを選んでも、Linuxイメージにはあらかじめ動作するNVIDIAドライバー、CUDA、cuDNN、NCCLが含まれています。これらはすべて自由に入れ替えて構いません。rootはお客様のものであり、再インストールは無料で、回数の制限もありません。 ## コンテナとCUDA DockerとNVIDIA Container Toolkitはインストールおよび設定済みです。以下の確認には30秒の価値があります。カードを認識できないコンテナは、後になってから分かりにくい形で失敗するためです。 コンテナはカードを認識していますか？ ``` $ docker run --rm --gpus all nvidia/cuda:12.8.0-base-ubuntu24.04 nvidia-smi # マルチGPUジョブには共有メモリとIPCも必要ですが、デフォルトの制限値ではこれを妨げてしまいます。 # この3つのフラグが、NCCLが無言でハングする典型的な原因です: $ docker run --rm --gpus all --ipc=host --shm-size=16g --ulimit memlock=-1 … ``` ## モデルの提供 納品されたマシンからOpenAI互換エンドポイントに至る、実用上最短の経路です。モデルはご自身のものに置き換えてください。重要なのはフラグです。 1枚のカードで動かすvLLM ``` $ docker run -d --name vllm --gpus all --ipc=host -p 8000:8000 \ vllm/vllm-openai:latest \ --model meta-llama/Llama-3.3-70B-Instruct \ --max-model-len 8192 \ --gpu-memory-utilization 0.92 # マルチGPUノードでは、筐体内のすべてのカードにわたってシャーディングします: $ … --tensor-parallel-size 4 # 続いて、ご自身のマシンから: $ curl http://203.0.113.42:8000/v1/models ``` **そのエンドポイントには認証がありません。** パブリックなアドレスで公開すれば、それは誰でも使える推論サーバーとなり、数時間以内に発見されます。稼働させたままにする前に、localhostにバインドしてSSHトンネル経由でアクセスするか、次のセクションのファイアウォールルールの内側に置いてください。 あるモデルが特定のマシンに収まるかどうかは意見ではなく算術の問題です。重みに加えて、コンテキスト長に応じて増加するKVキャッシュを足し合わせます。コンフィギュレーターは支払い前にすべての構成についてこの計算を行っており、[VRAMサイジングガイド](https://gpuserver.io/ja/guides/vram-sizing)ではその計算式を示していますので、当社の計算を検証していただけます。 ## ディスクとストレージ システムボリュームを除き、ディスクは未加工のまま提供されます。RAIDレベルは指定しません。適切なレベルは、失うことのできないチェックポイントを保持しているか、1時間で再ダウンロードできるデータセットを扱っているかによって異なるためです。 予備のNVMeデバイスをまたいでストライピングしたスクラッチボリューム ``` # 未使用の領域を先に確認してください。指定したデバイス上のデータは消去されます。 $ lsblk $ mdadm --create /dev/md0 --level=0 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1 $ mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/md0 $ mkdir -p /scratch && mount /dev/md0 /scratch $ echo '/dev/md0 /scratch ext4 defaults,noatime 0 2' >> /etc/fstab ``` 追加のNVMe、アーカイブ用HDD、マシン外へのスナップショットは月額オプションであり、設定時または後から追加できます。ローカルディスクは当社によるバックアップの対象外であり、今後もその方針は変わりません。詳細は下記の[スナップショット](https://gpuserver.io/ja/docs#snapshots)をご覧ください。 ## ファイアウォールとポート インバウンドは、お客様自身のマシンが遮断するもの以外はすべて開放されています。手前にネットワークフィルターは存在しません。これは意図的な設計であり、責任はお客様側にあります。唯一の例外はアウトバウンドのポート25で、こちらからの申し出があるまで上流で閉じられています。 最小限のルールセット:どこからでもSSH、1つのアドレスから1つのサービスへ ``` $ ufw default deny incoming $ ufw default allow outgoing $ ufw allow 22/tcp $ ufw allow from 198.51.100.7 to any port 8000 proto tcp $ ufw --force enable # ポートを開けるより安全な方法: サービスをlocalhostにとどめる # ご自身のマシンからそこへトンネル接続します。 $ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42 ``` ## IPMIと再インストール アウトオブバンドアクセスはすべてのマシンに備わっており、専用のアドレスを持っています。自分自身をロックアウトしてしまったマシンを、朝の3時に誰にも頼らず復旧させる手段です。 ### 電源 強制電源再起動、正常シャットダウン、シャーシの電源状態を、OSが応答しているかどうかに関わらず操作できます。 ### シリアルコンソールおよびKVMコンソール マシンをモニターに接続した場合に表示される画面そのもので、ブートローダーやカーネルパニックも含まれます。壊れた`fstab`を修復するのはここです。 ### 仮想メディア 任意のISOをネットワーク経由でマウントし、起動できます。レスキューイメージはもちろん、当社が提供していないオペレーティングシステムも含まれます。 当社が提供するイメージへのクリーンな再インストールは、お申し出いただければ実施します。所要時間は最初の納品時とほぼ同じです。費用はかからず、回数の制限もなく、マシンのアドレスはそのまま維持されます。ディスク上のすべてのデータは消去されます。それが再インストールの目的であり、元に戻すことはできません。 ## スナップショット 任意加入で月払い、マシン本体とは別の場所に保存されます。加入しない場合、お客様のデータのコピーはご自身のディスク以外のどこにも存在しません。GPU上で動く処理の大半にとってはこれが正しい既定値であり、残りにとっては致命的な事態になります。 取得される内容 ブロックレベル、毎晩 システムボリューム全体を、マシン稼働中に取得します。ご自身で作成したスクラッチアレイは、指定した場合にのみ含まれます。 所在 別の建物、同じ国 保護対象のマシン上には保存されません。シャーシが故障しても、スナップショットは道連れになりません。 保持期間 30日間（ローリング） その後、上書きされます。長期保存されるアーカイブはなく、後から取得を依頼する方法もありません。 契約期間の終了時 マシンと同時に削除 スナップショットは、対象のサーバーより長くは存在しません。契約期間が終了する前に、必要なものは取り出しておいてください。 ## 契約期間の終了 月単位の契約は、支払い済みの月の終了と同時に終了します。予告期間や解約手数料はありません。この後に起きることは元に戻せないため、注釈ではなくここで明確にお伝えします。 1. **自動更新は一切行われません。**登録されたカードも口座引き落としもなく、契約が続くのは次の期間分をお支払いいただいた場合に限られます。 2. **公開ポートは契約期間の終了と同時に遮断されます。**マシンは猶予期間の終わりではなく、即座に到達不能になります。 3. **ディスクは1時間以内に消去されます。**暗号学的消去の後、全体を上書きします。データがどこかに残り続ける猶予期間はありません。 4. **スナップショットも同時に削除されます。**ご購入されていた場合、同じタイミングで消去されます。 5. **アドレスはプールに返却されます。**一定の保留期間を経て、クリーンな状態になってからのみです。 **データの移行は最終日ではなく、それより前に済ませてください。** 事後に復元することは一切できません。有償でも、特別な配慮としてもです。消去はすでに実行されており、次のテナントにクリーンな状態のマシンを保証できるのは、それが誰の承認も必要とせず実行されるからです。 ## 上記の内容は、カタログ内のすべてのマシンで有効です。 IPMI、再インストール、無制限帯域が追加料金となるプランはありません。カードとサイトを選べば、このページの残りの内容がそのまま適用されます。 [カタログを見る](https://gpuserver.io/ja/#catalog) [ガイドを読む](https://gpuserver.io/ja/guides) ## 関連ページ - [ガイド 実践的なガイド8本：VRAMのサイジング、NVLinkとPCIeの比較、画像・動画モデル、月額と時間課金の比較、セルフホスティングとAPIの比較、Llama 70Bの提供、そしてQLoRA。](https://gpuserver.io/ja/guides) - [ハードウェアポリシー 運用する12種類のNVIDIA GPU、ノード販売前の72時間バーンイン、4時間以内の交換目標、そしてテナント間でのディスク消去の方法。](https://gpuserver.io/ja/hardware) - [ネットワーク 最大25Gbit/sの無制限ポート、拠点ごとに2つのキャリアと1つのIX、常時稼働のDDoSフィルタリング、ルーテッドIPv6。そして、提供しない4つのことを最初に明示します。](https://gpuserver.io/ja/network) - [会社概要 gpuserver.ioを運営しているのは誰か、なぜ転売ではなくハードウェアを自ら購入するのか、そして曲げない4つのルール。売上を失うことになるルールも含めて。](https://gpuserver.io/ja/about) --- 出典: https://gpuserver.io/ja/docs/。このファイルはウェブサイトと同じデータから生成されています。ここに記載された数値がページの内容と異なる場合、ページの内容が正となり、このファイルは古い情報です。正式な出典はhttps://gpuserver.io/です。