Top-of-rack switch reboot, rack SIN-A04
네트워크 — 트랜싯 및 피어링 — SIN
타임라인
-
해결됨
Rack A04 has been stable since 12:16 UTC. Duration: 8 minutes. Running workloads were not interrupted; only reachability was lost. Affected machines receive the SLA extension automatically.
-
원인 확인
The switch has reloaded and its uplinks are up. It rebooted on a software watchdog; we have the crash file and will send it to the vendor.
-
조사 중
The top-of-rack switch in rack A04 of SIN rebooted unexpectedly at 12:08 UTC. The 7 machines in that rack are unreachable while it comes back up.
사후 검토 ·
발생한 일과 변경 사항
원인
The top-of-rack switch in SIN-A04 hit a memory leak in its control-plane process that the vendor has since fixed; the watchdog reloaded the switch when the process stopped responding.
영향도
7 machines were unreachable for 8 minutes. GPU workloads continued to run and no data was lost.
변경 사항
- The fixed switch firmware was rolled out to every rack in the fleet during the following maintenance windows.
- The watchdog now reports a warning at 80% memory use instead of only reloading at 100%, giving us time to move the rack to its backup path first.
시간은 현지 시간대() 기준으로 표시됩니다.
관련 페이지
- 서비스 상태gpuserver.io의 모든 구성 요소와 데이터센터에 대한 실시간 상태, 다섯 개 도시에서 60초마다 점검, 90일 가동률과 2022년 이후 장애 기록 포함.
- 장애 이력gpuserver.io에서 2022년 9월 모니터링을 시작한 이후 발생한 모든 장애와 점검 시간대, 월별 정리, 각 사건의 타임라인과 사후 검토 포함.
- 서비스 수준 협약99.9% 약정: 무엇이 다운타임인지, 외부에서 어떻게 측정하는지, 손실 1분당 이용 기간 5분을 어떻게 돌려주는지, 그리고 면책 사항 전체.
- 네트워크최대 25 Gbit/s 무제한 포트, 거점마다 회선 사업자 2곳과 IX 1곳, 상시 DDoS 방어, 라우팅된 IPv6 — 그리고 당사가 제공하지 않는 4가지를 먼저 밝힙니다.