От подтверждения платежа до первого токена.
Что приходит в сообщении о доставке, что уже установлено, и точные команды для первого часа. Всё ниже выполняется от root на только что выданной машине.
- менее 5 минутот оплаты до сообщения ниже
- 10образы, которые мы можем подготовить для вас
- rootбез sudo, без промежуточного хоста, без консоли
- 22единственный порт, открытый при передаче сервера
Что вы получаете
Одно сообщение, менее 5 минут после подтверждения оплаты. В нём есть всё необходимое и ничего, через что нужно кликать.
Первое подключение
Ничего принимать не нужно, никакой агент не устанавливается. Если вы указали публичный ключ в конфигураторе, он уже находится в /root/.ssh/authorized_keys.
$ ssh root@203.0.113.42
# Затем, прежде всего остального, — отпечаток ключа в сообщении о доставке
# должен совпадать с тем, что указан здесь:
$ ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub
Если вы отправили ключ, отключите пароль. Это одна команда, которая убирает единственные учётные данные, которые можно подобрать.
# СНАЧАЛА убедитесь, что ваш ключ работает — во втором терминале, не выходя из этого сеанса.
$ sed -i 's/^#\?PasswordAuthentication.*/PasswordAuthentication no/' /etc/ssh/sshd_config
$ systemctl reload ssh
Проверьте оборудование
Сделайте это в первые десять минут. Машина, которую вы ещё не видели, а отсчёт SLA по аппаратной неисправности начинается с того момента, когда вы сообщите нам.
$ nvidia-smi --query-gpu=index,name,serial,memory.total,pcie.link.gen.current --format=csv
index, name, serial, memory.total [MiB], pcie.link.gen.current
0, NVIDIA H100 80GB HBM3, 1650123456789, 81559 MiB, 5
1, NVIDIA H100 80GB HBM3, 1650123456790, 81559 MiB, 5
# На узле с несколькими GPU проверьте, что топология соответствует тому, за что вы заплатили.
# NV# означает NVLink; PIX/PHB/SYS означают, что трафик идёт через PCIe.
$ nvidia-smi topo -m
# Держите каждую карту под нагрузкой две минуты и следите, на какой частоте она стабилизируется.
$ nvidia-smi -q -d PERFORMANCE,TEMPERATURE,CLOCK | grep -E 'Slowdown|SW Power|Graphics *:'
# Диски: сверьте количество и модель с сообщением о поставке.
$ lsblk -d -o NAME,MODEL,SIZE,ROTA
$ nvme list
Что предустановлено
Выберите операционную систему в конфигураторе и, по желанию, один стек поверх неё. Всё перечисленное ниже записывается до передачи сервера, а не скачивается при первой загрузке.
| Образ | Для чего это нужно | Минимум VRAM | ОС |
|---|---|---|---|
| vLLM 0.11 | Обслуживание больших языковых моделей | 24 GB | Linux |
| SGLang 0.5 | Обслуживание больших языковых моделей | 24 GB | Linux |
| Text Generation Inference | Обслуживание больших языковых моделей | 24 GB | Linux |
| Ollama 0.12 | Обслуживание больших языковых моделей | 8 GB | Linux |
| Axolotl 0.8 | Обучение и файнтюнинг | 24 GB | Linux |
| PyTorch 2.9 · CUDA 12.8 | Обучение и файнтюнинг | 8 GB | Linux |
| ComfyUI | Генерация изображений и видео | 12 GB | Linux |
| JupyterLab · CUDA | Обучение и файнтюнинг | 8 GB | Linux |
| Blender 4.5 | 3D-рендеринг | 8 GB | Linux или Windows |
| Ваш собственный образ Docker | Всё, что вы приносите | Не требуется | Linux |
Любой образ Linux, независимо от выбранного стека, уже содержит рабочий драйвер NVIDIA, CUDA, cuDNN и NCCL. Вы можете заменить всё это — это ваш root, а переустановка бесплатна и не ограничена по частоте.
Контейнеры и CUDA
Docker и NVIDIA container toolkit установлены и настроены. Проверка ниже стоит тридцати секунд, потому что контейнер, который не видит карты, откажет непонятным образом гораздо позже.
$ docker run --rm --gpus all nvidia/cuda:12.8.0-base-ubuntu24.04 nvidia-smi
# Задачи с несколькими GPU также нуждаются в разделяемой памяти и IPC — стандартные лимиты их урезают.
# Эти три флага — обычная причина безмолвного зависания NCCL:
$ docker run --rm --gpus all --ipc=host --shm-size=16g --ulimit memlock=-1 …
Обслуживание модели
Кратчайший рабочий путь от полученной машины до OpenAI-совместимого эндпоинта. Подставьте свою модель — важны именно флаги.
$ docker run -d --name vllm --gpus all --ipc=host -p 8000:8000 \
vllm/vllm-openai:latest \
--model meta-llama/Llama-3.3-70B-Instruct \
--max-model-len 8192 \
--gpu-memory-utilization 0.92
# На узле с несколькими GPU распределите модель по всем картам в машине:
$ … --tensor-parallel-size 4
# Затем, с вашей собственной машины:
$ curl http://203.0.113.42:8000/v1/models
Поместится ли конкретная модель на конкретную машину — это арифметика, а не мнение: веса плюс KV-кэш, растущий вместе с длиной контекста. Конфигуратор выполняет эту арифметику для каждой конфигурации ещё до оплаты, а руководство по расчёту VRAM показывает формулу, чтобы вы могли её проверить.
Диски и хранилище
Диски передаются «как есть» за пределами системного тома. Мы не навязываем уровень RAID, потому что правильный выбор зависит от того, храните ли вы чекпоинты, которые нельзя потерять, или датасет, который можно перекачать за час.
# Сначала проверьте, что не используется — это уничтожит данные на указанных устройствах.
$ lsblk
$ mdadm --create /dev/md0 --level=0 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1
$ mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/md0
$ mkdir -p /scratch && mount /dev/md0 /scratch
$ echo '/dev/md0 /scratch ext4 defaults,noatime 0 2' >> /etc/fstab
Дополнительные NVMe, архивный HDD и снапшоты вне машины — это помесячные опции, добавляемые в конфигураторе или позже. Локальные диски мы не резервируем и никогда не будем — см. раздел снапшоты ниже.
Файрвол и порты
Весь входящий трафик открыт, кроме того, что блокирует сама машина: перед вами нет сетевого фильтра — это осознанное решение, которое возлагает ответственность на вас. Единственное исключение — исходящий порт 25, закрытый выше по сети, пока вы не попросите его открыть.
$ ufw default deny incoming
$ ufw default allow outgoing
$ ufw allow 22/tcp
$ ufw allow from 198.51.100.7 to any port 8000 proto tcp
$ ufw --force enable
# Безопаснее, чем открывать порт вообще: держите сервис на localhost
# и проброс туннеля к нему с вашей собственной машины.
$ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42
IPMI и переустановка
Внеполосный доступ есть на каждой машине, на собственном адресе. Именно так вы восстанавливаете доступ к машине, из которой сами себя заблокировали, в три часа ночи, никого не спрашивая.
Питание
Жёсткая перезагрузка по питанию, штатное выключение и состояние питания корпуса — независимо от того, отвечает ли операционная система.
Последовательная консоль и KVM
То, что машина показала бы на подключённом мониторе, включая загрузчик и панику ядра. Именно здесь вы чините сломанный fstab.
Виртуальные носители
Подключить по сети любой ISO-образ и загрузиться с него. В том числе recovery-образ, в том числе операционную систему, которую мы не предлагаем.
Чистая переустановка на любой из предлагаемых нами образов запрашивается у нас и занимает примерно столько же времени, сколько первоначальная поставка. Она бесплатна, не ограничена по частоте, и машина сохраняет свои адреса. Всё на дисках при этом уничтожается — в этом и смысл переустановки, и отменить её нельзя.
Снапшоты
Опционально, помесячно, вне машины. Если вы их не приобретаете, копии ваших данных не существует нигде, кроме ваших собственных дисков, — для большей части того, что выполняется на GPU, это правильная норма, а для остального — катастрофа.
Завершение срока
Помесячный срок заканчивается в конце оплаченного месяца, без периода уведомления и без платы за отмену. То, что происходит дальше, необратимо, поэтому это описано здесь, а не в сноске.
- Ничего не продлевается само по себе. Нет сохранённой карты и нет прямого дебета — срок продолжается только потому, что вы оплатили следующий.
- Публичный порт отключается в момент окончания срока. Машина становится недоступна немедленно, а не в конце льготного дня.
- Диски стираются в течение часа. Криптографическое стирание, затем полная перезапись. Не остаётся окна, в течение которого ваши данные где-то ещё существуют.
- Снапшоты удаляются вместе с ней. Если вы их покупали, они стираются за тот же проход.
- Адрес возвращается в пул. После периода удержания и только после проверки на чистоту.
Всё вышеперечисленное работает на любой машине из каталога.
Нет ни одного уровня, где IPMI, переустановка ОС или безлимитный трафик стоили бы дополнительно. Выберите карту, выберите площадку — остальное на этой странице действует одинаково.
Похожие страницы
- РуководстваВосемь практических руководств: подбор VRAM, NVLink против PCIe, модели изображений и видео, помесячно или почасово, self-hosting или API, Llama 70B и QLoRA.
- Политика оборудованияДвенадцать GPU NVIDIA, которые мы эксплуатируем, 72-часовой прогрев узла перед продажей, цель замены за четыре часа и то, как диски стираются между арендаторами.
- СетьБезлимитные порты до 25 Gbit/s, два оператора и IX на площадке, постоянная фильтрация DDoS, маршрутизируемый IPv6 — и четыре вещи, которые мы прямо не предлагаем.
- О насКто стоит за gpuserver.io, почему мы покупаем оборудование, а не перепродаём его, и четыре правила, от которых мы не отступаем, — даже когда это стоит нам продаж.