Loss of external connectivity in REY
Ağ — transit ve peering — REY · Bant dışı yönetim — REY
Zaman çizelgesi
-
Çözüldü
REY has been fully reachable since 14:48 UTC. Duration: 5 minutes. Workloads kept running; every machine in the site receives the SLA extension automatically.
-
İnceleniyor
All machines in REY became unreachable from outside at 14:43 UTC. Both transit carriers and the exchange are down simultaneously, which points at something inside the site rather than at a carrier.
Olay sonrası inceleme ·
Ne oldu ve ne değişti
Neden
A configuration change intended to be applied to one core switch at a time was pushed to both at once by the automation, because the change set was tagged with the site rather than with a single device. The change removed and re-added the external VLAN; with both switches doing it simultaneously there was no path out of the site for 5 minutes.
Etki
Every machine in REY was unreachable from the internet for 5 minutes. Out-of-band access went down with it because the management network shares the same uplinks. No workload was interrupted and no data was lost.
Neyi değiştirdik
- The automation now refuses to target more than one core device per site in a single change, without exception.
- The out-of-band network in every site now has an independent uplink so that we retain console access during an event of this kind.
- Term extensions were applied to every machine in REY.
Saatler, saat diliminizde () gösterilir.
İlgili sayfalar
- Hizmet durumugpuserver.io'nun her bileşeni ve veri merkezi, beş şehirden 60 saniyede bir yoklanır; 90 günlük kullanılabilirlik ve 2022'den beri olay logu burada yer alır.
- Olay geçmişigpuserver.io'da izlemenin başladığı Eylül 2022'den bu yana yaşanan her olay ve bakım penceresi, ay ay, zaman çizelgesi ve olay sonrası incelemesiyle birlikte.
- Hizmet seviyesi sözleşmesi%99,9 taahhüdü: neyin kesinti sayıldığı, dışarıdan nasıl ölçüldüğü, kaybedilen her dakika için beş dakika süre iadesi ve istisnaların tamamı.
- Ağ25 Gbit/s'e kadar sayaçsız portlar, site başına iki operatör ve bir IX, sürekli DDoS filtreleme, yönlendirilen IPv6 — ve baştan belirtilen, sunmadığımız dört şey.