Out-of-band network partition in STO
Out-of-Band-Management — STO
Zeitleiste
-
Behoben
Out-of-band access in STO has been stable since 20:33 UTC. Duration: 25 minutes. Any reinstall or power action queued during the window has been retried and completed.
-
Beobachtung
Consoles are reachable again. We are restoring the state sync between the two firewall members.
-
Ursache erkannt
The firewall pair in front of the STO management network lost its state synchronisation and both members went passive. We have forced one member active.
-
Untersuchung läuft
No IPMI or KVM console in STO is reachable since 20:08 UTC. Production traffic is unaffected. Reinstalls and power actions from the customer area will fail for machines in STO until this is fixed.
Nachbesprechung des Vorfalls ·
Was passiert ist und was sich geändert hat
Ursache
A firmware update on the management-network firewall pair in STO reset the state-synchronisation key on one member. When the heartbeat failed, both members concluded the other was active and went passive.
Auswirkung
IPMI, KVM, reinstalls and remote power actions were unavailable in STO for 25 minutes. Production connectivity, workloads and data were unaffected.
Was wir geändert haben
- Firewall firmware updates are now applied one member at a time with an explicit failover test between the two.
- The split-brain guard was changed so that a member with a healthy upstream link stays active rather than going passive.
Zeiten werden in Ihrer Zeitzone angezeigt ().
Verwandte Seiten
- ServicestatusLive-Status jeder gpuserver.io-Komponente und jedes Rechenzentrums, alle 60 Sekunden aus fünf Städten gemessen, mit 90-Tage-Verfügbarkeit und Protokoll seit 2022.
- VorfallshistorieJeder Vorfall und jedes Wartungsfenster auf gpuserver.io seit September 2022, mit Zeitleiste und Nachbesprechung des Vorfalls.
- Vereinbarung zum ServicelevelDie 99,9-%-Zusage: was als Ausfallzeit zählt, wie sie von außen gemessen wird, fünf Minuten Laufzeit zurück je verlorener Minute, und die Ausschlüsse vollständig.
- NetzwerkPorts ohne Volumenbegrenzung bis 25 Gbit/s, zwei Carrier und ein IX pro Standort, ständige DDoS-Filterung, geroutetes IPv6 — und vier Dinge, die wir nicht anbieten.