Out-of-band network partition in ZRH
Внеполосное управление — ZRH
Хронология
-
Устранено
Out-of-band access in ZRH has been stable since 08:49 UTC. Duration: 1 h 17 min. Any reinstall or power action queued during the window has been retried and completed.
-
Наблюдение
Consoles are reachable again. We are restoring the state sync between the two firewall members.
-
Причина установлена
The firewall pair in front of the ZRH management network lost its state synchronisation and both members went passive. We have forced one member active.
-
Идёт расследование
No IPMI or KVM console in ZRH is reachable since 07:32 UTC. Production traffic is unaffected. Reinstalls and power actions from the customer area will fail for machines in ZRH until this is fixed.
Разбор инцидента ·
Что произошло и что изменилось
Причина
A firmware update on the management-network firewall pair in ZRH reset the state-synchronisation key on one member. When the heartbeat failed, both members concluded the other was active and went passive.
Влияние
IPMI, KVM, reinstalls and remote power actions were unavailable in ZRH for 1 h 17 min. Production connectivity, workloads and data were unaffected.
Что мы изменили
- Firewall firmware updates are now applied one member at a time with an explicit failover test between the two.
- The split-brain guard was changed so that a member with a healthy upstream link stays active rather than going passive.
Время показано в вашем часовом поясе ().
Похожие страницы
- Статус сервисаТекущий статус компонентов и дата-центров gpuserver.io: проверка каждые 60 секунд из пяти городов, доступность за 90 дней и журнал инцидентов с 2022 года.
- История инцидентовКаждый инцидент и окно обслуживания на gpuserver.io с начала мониторинга в сентябре 2022 года, по месяцам, с хронологией и разбором инцидента.
- Соглашение об уровне обслуживанияОбязательство 99,9 %: что считается простоем, как это измеряется извне, пять минут срока за минуту потерь и полный список исключений.
- СетьБезлимитные порты до 25 Gbit/s, два оператора и IX на площадке, постоянная фильтрация DDoS, маршрутизируемый IPv6 — и четыре вещи, которые мы прямо не предлагаем.