Out-of-band network partition in STO
대역 외 관리 — STO
타임라인
-
해결됨
Out-of-band access in STO has been stable since 20:33 UTC. Duration: 25 minutes. Any reinstall or power action queued during the window has been retried and completed.
-
모니터링 중
Consoles are reachable again. We are restoring the state sync between the two firewall members.
-
원인 확인
The firewall pair in front of the STO management network lost its state synchronisation and both members went passive. We have forced one member active.
-
조사 중
No IPMI or KVM console in STO is reachable since 20:08 UTC. Production traffic is unaffected. Reinstalls and power actions from the customer area will fail for machines in STO until this is fixed.
사후 검토 ·
발생한 일과 변경 사항
원인
A firmware update on the management-network firewall pair in STO reset the state-synchronisation key on one member. When the heartbeat failed, both members concluded the other was active and went passive.
영향도
IPMI, KVM, reinstalls and remote power actions were unavailable in STO for 25 minutes. Production connectivity, workloads and data were unaffected.
변경 사항
- Firewall firmware updates are now applied one member at a time with an explicit failover test between the two.
- The split-brain guard was changed so that a member with a healthy upstream link stays active rather than going passive.
시간은 현지 시간대() 기준으로 표시됩니다.
관련 페이지
- 서비스 상태gpuserver.io의 모든 구성 요소와 데이터센터에 대한 실시간 상태, 다섯 개 도시에서 60초마다 점검, 90일 가동률과 2022년 이후 장애 기록 포함.
- 장애 이력gpuserver.io에서 2022년 9월 모니터링을 시작한 이후 발생한 모든 장애와 점검 시간대, 월별 정리, 각 사건의 타임라인과 사후 검토 포함.
- 서비스 수준 협약99.9% 약정: 무엇이 다운타임인지, 외부에서 어떻게 측정하는지, 손실 1분당 이용 기간 5분을 어떻게 돌려주는지, 그리고 면책 사항 전체.
- 네트워크최대 25 Gbit/s 무제한 포트, 거점마다 회선 사업자 2곳과 IX 1곳, 상시 DDoS 방어, 라우팅된 IPv6 — 그리고 당사가 제공하지 않는 4가지를 먼저 밝힙니다.