Documentazione # Dal pagamento confermato al primo token. Cosa arriva nel messaggio di consegna, cosa è già installato, e i comandi esatti per la prima ora. Tutto quanto segue viene eseguito come root su una macchina appena consegnata. - in meno di 5 minuti dal pagamento al messaggio qui sotto - 10 immagini che può farsi scrivere su richiesta - root niente sudo, niente jump host, niente console - 22 l’unica porta aperta alla consegna ## Cosa arriva Un solo messaggio, in meno di 5 minuti dopo la conferma del pagamento. Contiene tutto ciò che le serve e nulla su cui deve cliccare. SSH Indirizzo, porta 22 e la sua password di root La password è quella che **lei** ha impostato nel configuratore. Non la generiamo mai, non la vediamo mai in chiaro in seguito e non possiamo reimpostarla per lei. Rete Indirizzo IPv4, gateway e il suo IPv6 /64 Già configurato sulla macchina. Il blocco è elencato in modo che possa pianificare indirizzi aggiuntivi su di esso. IPMI Un indirizzo separato e credenziali proprie Su una VLAN di gestione. Alimentazione remota, console seriale e supporto virtuale, raggiungibili anche quando il sistema operativo non lo è. Hardware CPU, schede e dischi esatti nel suo nodo Modello e numero di serie di ogni scheda, così la macchina che verifica è dimostrabilmente quella che le è stata venduta. **Non possiamo recuperare la sua password di root.** La imposta lei personalmente, ed è conservata solo per il tempo necessario a scriverla nell’immagine. Se la perde, l’unica via è l’IPMI: avvii l’immagine di ripristino da supporto virtuale e la reimposti personalmente. È una conseguenza del non conservare le sue credenziali, ed è anche un vero inconveniente — la salvi subito in un password manager. ## Prima connessione Niente da accettare, nessun agente da installare. Se ci ha fornito una chiave pubblica nel configuratore, è già in `/root/.ssh/authorized_keys`. La sua macchina, primo accesso ``` $ ssh root@203.0.113.42 # Poi, prima di tutto — l’impronta nel messaggio di consegna # deve corrispondere a quella stampata qui: $ ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub ``` Se ha inviato una chiave, disattivi la password. Costa un solo comando e rimuove l’unica credenziale che si può indovinare. Accesso solo con chiave ``` # Verifichi PRIMA che la sua chiave funzioni — in un secondo terminale, restando collegato qui. $ sed -i 's/^#\?PasswordAuthentication.*/PasswordAuthentication no/' /etc/ssh/sshd_config $ systemctl reload ssh ``` ## Verifica dell’hardware Lo faccia nei primi dieci minuti. Ha una macchina che non ha ancora visto, e il conteggio dello SLA per un guasto hardware inizia quando ce lo comunica. Schede, memoria e il collegamento tra loro ``` $ nvidia-smi --query-gpu=index,name,serial,memory.total,pcie.link.gen.current --format=csv index, name, serial, memory.total [MiB], pcie.link.gen.current 0, NVIDIA H100 80GB HBM3, 1650123456789, 81559 MiB, 5 1, NVIDIA H100 80GB HBM3, 1650123456790, 81559 MiB, 5 # Su un nodo multi-GPU, verifichi che la topologia corrisponda a quanto ha pagato. # NV# indica NVLink; PIX/PHB/SYS indicano che il traffico passa su PCIe. $ nvidia-smi topo -m ``` Throughput sostenuto, non un valore di boost ``` # Mantenga ogni scheda sotto carico per due minuti e osservi la frequenza a cui si stabilizza. $ nvidia-smi -q -d PERFORMANCE,TEMPERATURE,CLOCK | grep -E 'Slowdown|SW Power|Graphics *:' # Dischi: verifichi il numero e il modello rispetto al messaggio di consegna. $ lsblk -d -o NAME,MODEL,SIZE,ROTA $ nvme list ``` **Se qualcosa non corrisponde, lo comunichi immediatamente.** Una scheda sbagliata, un disco mancante, un collegamento che funziona a Gen3 invece che a Gen5 — ce lo segnali entro il primo giorno e sostituiamo il nodo o rimborsiamo la durata, senza discussioni. Dopo un mese di utilizzo la stessa segnalazione diventa un caso di supporto anziché una contestazione sulla consegna, ed è più lento per entrambi. ## Cosa è preinstallato Scelga un sistema operativo nel configuratore e, facoltativamente, uno stack sopra di esso. Tutto quanto segue viene scritto prima della consegna, non scaricato al primo avvio. **Immagini preinstallate, cosa contengono e la scheda minima richiesta** | Immagine | A cosa serve | VRAM minima | OS | |---|---|---|---| | vLLM 0.11 Server compatibile con OpenAI, batching continuo | Serving di modelli linguistici di grandi dimensioni | 24 GB | Linux | | SGLang 0.5 Decodifica strutturata, cache RadixAttention | Serving di modelli linguistici di grandi dimensioni | 24 GB | Linux | | Text Generation Inference Stack di serving Hugging Face | Serving di modelli linguistici di grandi dimensioni | 24 GB | Linux | | Ollama 0.12 Un solo comando, modelli quantizzati inclusi | Serving di modelli linguistici di grandi dimensioni | 8 GB | Linux | | Axolotl 0.8 Fine-tuning LoRA e QLoRA | Addestramento e fine-tuning | 24 GB | Linux | | PyTorch 2.9 · CUDA 12.8 Framework essenziale, cuDNN 9, NCCL | Addestramento e fine-tuning | 8 GB | Linux | | ComfyUI SDXL, Flux, SD 3.5, nodi video | Generazione di immagini e video | 12 GB | Linux | | JupyterLab · CUDA Notebook su uno stack CUDA essenziale | Addestramento e fine-tuning | 8 GB | Linux | | Blender 4.5 Rendering GPU Cycles, headless | rendering 3D | 8 GB | Linux o Windows | | La propria immagine Docker Qualsiasi registry pubblico o privato | Ciò che porta | Nessun minimo | Linux | Ogni immagine Linux, qualunque stack scelga, ha già un driver NVIDIA, CUDA, cuDNN e NCCL funzionanti. È libero di sostituire tutto — è il suo root, e la reinstallazione non costa nulla e non ha limiti di frequenza. ## Container e CUDA Docker e il NVIDIA Container Toolkit sono installati e configurati. Il controllo qui sotto vale trenta secondi, perché un container che non vede le schede fallisce in un modo confuso molto più avanti. Un container riesce a vedere le schede? ``` $ docker run --rm --gpus all nvidia/cuda:12.8.0-base-ubuntu24.04 nvidia-smi # I job multi-GPU richiedono anche memoria condivisa e IPC, che i limiti predefiniti compromettono. # Questi tre flag sono la causa più comune di un blocco silenzioso di NCCL: $ docker run --rm --gpus all --ipc=host --shm-size=16g --ulimit memlock=-1 … ``` ## Serving di un modello Il percorso utile più breve da una macchina consegnata a un endpoint compatibile con OpenAI. Sostituisca con il proprio modello; ciò che conta sono i flag. vLLM su una singola scheda ``` $ docker run -d --name vllm --gpus all --ipc=host -p 8000:8000 \ vllm/vllm-openai:latest \ --model meta-llama/Llama-3.3-70B-Instruct \ --max-model-len 8192 \ --gpu-memory-utilization 0.92 # Su un nodo multi-GPU, suddivida il carico su tutte le schede della macchina: $ … --tensor-parallel-size 4 # Poi, dalla sua macchina: $ curl http://203.0.113.42:8000/v1/models ``` **Quell’endpoint non ha autenticazione.** Pubblicato su un indirizzo pubblico, è un server di inferenza aperto, e verrà trovato entro poche ore. Lo colleghi a localhost e vi acceda tramite un tunnel SSH, oppure lo metta dietro le regole del firewall della sezione successiva, prima di lasciarlo in esecuzione. Se un determinato modello ci sta su una determinata macchina è aritmetica, non opinione — pesi, più una cache KV che cresce con la lunghezza del contesto. Il configuratore esegue questo calcolo per ogni configurazione prima del pagamento, e la [guida al dimensionamento della VRAM](https://gpuserver.io/it/guides/vram-sizing) mostra la formula, così può verificare la nostra. ## Dischi e storage I dischi vengono consegnati grezzi oltre il volume di sistema. Non imponiamo alcun livello RAID, perché quello corretto dipende dal fatto che lei stia conservando checkpoint che non può permettersi di perdere, oppure un dataset che può riscaricare in un’ora. Un volume scratch in striping sui dispositivi NVMe di riserva ``` # Verifichi prima cosa non è utilizzato — questa operazione distrugge i dati sui dispositivi indicati. $ lsblk $ mdadm --create /dev/md0 --level=0 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1 $ mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/md0 $ mkdir -p /scratch && mount /dev/md0 /scratch $ echo '/dev/md0 /scratch ext4 defaults,noatime 0 2' >> /etc/fstab ``` NVMe aggiuntivi, HDD di archiviazione e snapshot fuori macchina sono opzioni mensili, aggiungibili nel configuratore o in seguito. I dischi locali non vengono sottoposti a backup da parte nostra e non lo saranno mai — vedi gli [snapshot](https://gpuserver.io/it/docs#snapshots) qui sotto. ## Firewall e porte Tutto è aperto in ingresso, eccetto ciò che la sua stessa macchina blocca: non c’è alcun filtro di rete davanti a lei, il che è deliberato e pone la responsabilità qui. La porta 25 in uscita è l’unica eccezione, chiusa a monte finché non lo richiede. Un insieme minimo di regole: SSH da qualsiasi luogo, un servizio da un solo indirizzo ``` $ ufw default deny incoming $ ufw default allow outgoing $ ufw allow 22/tcp $ ufw allow from 198.51.100.7 to any port 8000 proto tcp $ ufw --force enable # Più sicuro che aprire una porta: mantenga il servizio su localhost # e vi si colleghi tramite tunnel dalla sua macchina. $ ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.42 ``` ## IPMI e reinstallazione L’accesso fuori banda è presente su ogni macchina, con un indirizzo proprio. È così che recupera una macchina di cui ha perso l’accesso, alle tre del mattino, senza dover chiedere a nessuno. ### Alimentazione Riavvio forzato, arresto controllato e lo stato di alimentazione dello chassis — indipendentemente dal fatto che il sistema operativo risponda. ### Console seriale e KVM Lo schermo che la macchina mostrerebbe su un monitor, incluso il bootloader e un kernel panic. È qui che ripara un `fstab` danneggiato. ### Supporto virtuale Monti qualsiasi ISO in rete e la avvii. Questo include un’immagine di ripristino, e include anche un sistema operativo che non offriamo. Una reinstallazione pulita con una qualsiasi immagine da noi offerta va richiesta a noi e richiede circa lo stesso tempo della consegna originale. Non costa nulla, non c’è alcun limite alla frequenza, e la macchina mantiene i suoi indirizzi. Tutto ciò che si trova sui dischi viene distrutto da essa — questo è lo scopo di una reinstallazione, e non è possibile annullarla. ## Snapshot Opzionali, mensili, fuori dalla macchina. Se non li acquista, nessuna copia dei suoi dati esiste al di fuori dei suoi stessi dischi — la scelta corretta per la maggior parte di ciò che gira su una GPU, e un disastro per il resto. Cosa viene catturato A livello di blocco, notturno L’intero volume di sistema, catturato mentre la macchina è in funzione. Gli array scratch creati da lei sono inclusi solo se lo richiede. Dove risiede Un altro edificio, stesso paese Mai sulla macchina che protegge. Uno chassis guasto non si porta dietro i propri snapshot. Conservazione 30 giorni, a rotazione Poi sovrascritto. Non esiste un archivio a lungo termine, né un modo per richiederne uno a posteriori. Alla fine della durata Eliminato insieme alla macchina Gli snapshot non sopravvivono al server a cui appartengono. Scarichi ciò che le serve prima che la durata si concluda. ## Fine della durata Una durata mensile termina alla fine del mese pagato, senza periodo di preavviso e senza penale di cancellazione. Quello che succede dopo non è reversibile, quindi viene spiegato qui e non in una nota a piè di pagina. 1. **Niente si rinnova automaticamente.** Non è registrata alcuna carta e non è previsto alcun addebito diretto — una durata prosegue solo perché ha pagato per quella successiva. 2. **La porta pubblica viene chiusa nel momento in cui la durata termina.** La macchina smette di essere raggiungibile immediatamente, non al termine di un giorno di grazia. 3. **I dischi vengono cancellati entro un’ora.** Cancellazione crittografica, seguita da una sovrascrittura completa. Non esiste alcun intervallo di tempo in cui i suoi dati esistono ancora da qualche parte. 4. **Gli snapshot se ne vanno insieme ad essa.** Se li ha acquistati, vengono eliminati nello stesso passaggio. 5. **L’indirizzo torna al pool.** Dopo un periodo di quarantena, e solo una volta ripulito. **Copi i suoi dati altrove prima dell’ultimo giorno, non il giorno stesso.** Non possiamo ripristinare nulla in seguito — né a pagamento, né come favore. La cancellazione è già stata eseguita, e il motivo per cui possiamo promettere una macchina pulita al prossimo inquilino è che questa avviene senza che nessuno debba approvarla. ## Tutto quanto sopra funziona su ogni macchina del catalogo. Non esiste un livello in cui IPMI, reinstallazioni o banda senza contatore costino extra. Scelga una scheda, scelga una sede, e il resto di questa pagina si applica. [Sfoglia il catalogo](https://gpuserver.io/it/#catalog) [Leggi le guide](https://gpuserver.io/it/guides) ## Pagine correlate - [Guide Otto guide pratiche: dimensionamento VRAM, NVLink contro PCIe, modelli immagine e video, mensile contro orario, self-hosting contro API, serving Llama 70B e QLoRA.](https://gpuserver.io/it/guides) - [Politica hardware Le dodici GPU NVIDIA che gestiamo, il rodaggio di 72 ore prima della vendita, la sostituzione in 4 ore, e come cancelliamo i dischi tra un inquilino e l’altro.](https://gpuserver.io/it/hardware) - [Rete Porte senza contatore fino a 25 Gbit/s, due carrier e un IX per sede, DDoS sempre filtrato, IPv6 instradato — e quattro cose che non offriamo, dette subito.](https://gpuserver.io/it/network) - [Chi siamo Chi gestisce gpuserver.io, perché compriamo l’hardware invece di rivenderlo, e le quattro regole che non pieghiamo mai — comprese quelle che ci costano vendite.](https://gpuserver.io/it/about) --- Fonte: https://gpuserver.io/it/docs/. Questo file è generato dagli stessi dati del sito web; se una cifra qui differisce da una pagina, la pagina è quella autorevole e questo file è obsoleto — la fonte canonica è https://gpuserver.io/.