PDU fault in rack AMS-B06
Güç ve soğutma — AMS · Bant dışı yönetim — AMS
Zaman çizelgesi
-
Çözüldü
Every machine in rack B06 has been up since 02:52 UTC. Duration: 16 minutes. The PDU is being replaced; the 8 machines that lost power receive the SLA extension automatically. Data on local disks is intact; the machines simply rebooted.
-
Neden belirlendi
The A-side PDU in rack B06 failed with a breaker fault. The 8 machines that rebooted are the ones whose B-side supply was not seated correctly after a recent hardware change. All are powered from the B-side now and are booting.
-
İnceleniyor
8 machines in rack B06 of AMS lost power at 02:36 UTC. Machines in the rack are dual-fed, but these 8 rebooted when one PDU failed. Engineers are at the rack.
Olay sonrası inceleme ·
Ne oldu ve ne değişti
Neden
The A-side PDU in AMS-B06 suffered a breaker fault. Every machine in the rack has two power supplies on separate feeds, but on 8 of them the B-side cord had been left partially seated during a hardware change the previous week, so they lost power when the A side went.
Etki
8 machines rebooted and were unavailable for 16 minutes. No data was lost; the machines came back to the state they were installed in, with local disks intact.
Neyi değiştirdik
- Every hardware change now ends with a power-redundancy test: each feed is dropped in turn and the machine must stay up.
- The faulty PDU model is being phased out across the fleet.
- Term extensions were applied to the 8 machines the same day.
Saatler, saat diliminizde () gösterilir.
İlgili sayfalar
- Hizmet durumugpuserver.io'nun her bileşeni ve veri merkezi, beş şehirden 60 saniyede bir yoklanır; 90 günlük kullanılabilirlik ve 2022'den beri olay logu burada yer alır.
- Olay geçmişigpuserver.io'da izlemenin başladığı Eylül 2022'den bu yana yaşanan her olay ve bakım penceresi, ay ay, zaman çizelgesi ve olay sonrası incelemesiyle birlikte.
- Hizmet seviyesi sözleşmesi%99,9 taahhüdü: neyin kesinti sayıldığı, dışarıdan nasıl ölçüldüğü, kaybedilen her dakika için beş dakika süre iadesi ve istisnaların tamamı.
- Ağ25 Gbit/s'e kadar sayaçsız portlar, site başına iki operatör ve bir IX, sürekli DDoS filtreleme, yönlendirilen IPv6 — ve baştan belirtilen, sunmadığımız dört şey.