Out-of-band network partition in ZRH
Gestion hors bande — ZRH
Chronologie
-
Résolu
Out-of-band access in ZRH has been stable since 08:49 UTC. Duration: 1 h 17 min. Any reinstall or power action queued during the window has been retried and completed.
-
Sous surveillance
Consoles are reachable again. We are restoring the state sync between the two firewall members.
-
Cause identifiée
The firewall pair in front of the ZRH management network lost its state synchronisation and both members went passive. We have forced one member active.
-
Investigation en cours
No IPMI or KVM console in ZRH is reachable since 07:32 UTC. Production traffic is unaffected. Reinstalls and power actions from the customer area will fail for machines in ZRH until this is fixed.
Revue post-incident ·
Ce qui s’est passé, et ce qui a changé
Cause
A firmware update on the management-network firewall pair in ZRH reset the state-synchronisation key on one member. When the heartbeat failed, both members concluded the other was active and went passive.
Impact
IPMI, KVM, reinstalls and remote power actions were unavailable in ZRH for 1 h 17 min. Production connectivity, workloads and data were unaffected.
Ce que nous avons changé
- Firewall firmware updates are now applied one member at a time with an explicit failover test between the two.
- The split-brain guard was changed so that a member with a healthy upstream link stays active rather than going passive.
Les heures sont affichées dans votre fuseau horaire ().
Pages liées
- État du serviceÉtat en direct des composants et centres de données gpuserver.io, sondés toutes les 60 s depuis cinq villes : disponibilité sur 90 jours et incidents depuis 2022.
- Historique des incidentsChaque incident et fenêtre de maintenance sur gpuserver.io depuis septembre 2022, mois par mois, avec chronologie et revue post-incident.
- Accord de niveau de serviceL’engagement de 99,9 % : la définition d’une panne, la mesure externe, cinq minutes de durée d’engagement rendues par minute perdue, et les exclusions en détail.
- RéseauPorts sans compteur jusqu’à 25 Gbit/s, deux opérateurs et un IX par site, filtrage DDoS permanent, IPv6 routé — et quatre choses que nous n’offrons pas, en clair.