Out-of-band network partition in STO
アウトオブバンド管理 — STO
タイムライン
-
解決済み
Out-of-band access in STO has been stable since 20:33 UTC. Duration: 25 minutes. Any reinstall or power action queued during the window has been retried and completed.
-
監視中
Consoles are reachable again. We are restoring the state sync between the two firewall members.
-
原因特定
The firewall pair in front of the STO management network lost its state synchronisation and both members went passive. We have forced one member active.
-
調査中
No IPMI or KVM console in STO is reachable since 20:08 UTC. Production traffic is unaffected. Reinstalls and power actions from the customer area will fail for machines in STO until this is fixed.
事後レビュー ·
発生した事象と変更内容
原因
A firmware update on the management-network firewall pair in STO reset the state-synchronisation key on one member. When the heartbeat failed, both members concluded the other was active and went passive.
影響度
IPMI, KVM, reinstalls and remote power actions were unavailable in STO for 25 minutes. Production connectivity, workloads and data were unaffected.
変更内容
- Firewall firmware updates are now applied one member at a time with an explicit failover test between the two.
- The split-brain guard was changed so that a member with a healthy upstream link stays active rather than going passive.
時刻はお使いのタイムゾーン()で表示されます。
関連ページ
- サービスステータスgpuserver.ioの全コンポーネントと全データセンターのライブステータス。5都市から60秒ごとに監視プローブで測定し、90日間の稼働率と2022年以降のインシデントログを掲載。
- インシデント履歴gpuserver.ioで2022年9月の監視開始以降に発生した、すべてのインシデントとメンテナンス時間帯を月別に掲載。タイムラインと事後レビューも収録しています。
- サービスレベル契約稼働率99.9%の約束：何がダウンタイムとみなされるか、外部からどう測定するか、失った1分につき契約期間を5分延長する仕組み、そして適用除外の全内容。
- ネットワーク最大25Gbit/sの無制限ポート、拠点ごとに2つのキャリアと1つのIX、常時稼働のDDoSフィルタリング、ルーテッドIPv6。そして、提供しない4つのことを最初に明示します。