Provisioning paused: driver package failed validation
Pipeline di provisioning
Cronologia
-
Risolto
Resolved at 18:02 UTC. Duration: 33 minutes. 4 orders were delivered late; each customer has been told, and the delay is added to their term.
-
In osservazione
Provisioning has resumed and the queue is clearing. Each affected node is being re-provisioned from scratch.
-
Causa individuata
The package was corrupted on our mirror during a sync. We have re-fetched it from the upstream source and its checksum matches.
-
In analisi
New provisioning is paused since 17:29 UTC: the NVIDIA driver package (580.65.06) failed its checksum validation on every node it was applied to. We stop rather than ship a machine with an unverified driver.
Analisi post-incidente ·
Cosa è successo e cosa è cambiato
Causa
A sync from the upstream driver mirror was interrupted and left a truncated 580.65.06 package with a stale checksum file, which our validation step then rejected on every node.
Impatto
Provisioning stopped for 33 minutes. 4 orders were delivered late. No machine was shipped with a bad driver.
Cosa abbiamo cambiato
- Mirror syncs are now atomic: a package and its checksum are published together or not at all.
- The provisioning pipeline retries a validation failure against the upstream source before stopping.
Gli orari sono mostrati nel fuso orario locale ().
Pagine correlate
- Stato del servizioStato di ogni componente e data center gpuserver.io, sondati ogni 60 secondi da cinque città: disponibilità su 90 giorni e registro incidenti dal 2022.
- Cronologia incidentiOgni incidente e finestra di manutenzione su gpuserver.io dall’inizio del monitoraggio, a settembre 2022, mese per mese, con cronologia e analisi post-incidente.
- Accordo sul livello di servizioL’impegno del 99,9%: cosa conta come downtime, come viene misurato dall’esterno, cinque minuti di durata in più per ogni minuto perso, e le esclusioni per intero.
- RetePorte senza contatore fino a 25 Gbit/s, due carrier e un IX per sede, DDoS sempre filtrato, IPv6 instradato — e quattro cose che non offriamo, dette subito.