Резонанс от пожарной сигнализации обрушил 30% серверов в дата-центре Digiplex около Стокгольма

59e5c88420834041445391.jpeg
Ядро Linux отключает жёсткий диск после 120 секунд подачи звука на резонирующей частоте через динамик USB-колонки Edifier r19u. Динамик включен примерно на четверть мощности (менее 100 мВт) и располагается в 20 см от HDD, направлен на стол для усиления вибраций. Кадр из видеоролика с демонстрацией работы HDD-киллера

Как известно, любой HDD подвержен вибрациям из-за колебаний окружающего воздуха. Производители HDD указывают для каждой модели максимально допустимый уровень вибраций, а сам жёсткий диск часто стараются поместить в защищённый от вибраций контейнер из резины или другого изоляционного материала. Несмотря на эти усилия, HDD всё равно может работать как микрофон и записывать окружающие звуки.

Чтобы вывести из строя HDD, нужно направить на него звук на частоте, которая резонирует с частотой HDD. Программа hdd-killer отлично демонстрирует, как это происходит на практике. Если звук достаточно громкий, то вскоре система отключит устройство с ошибкой ввода-вывода, а сам жёсткий диск может получить необратимые повреждения.
Иногда подобные случае происходят непреднамеренно. Например, в сентябре 2016 года румынский дата-центр ING Bank приостановил работу на 10 часов после пожарных учений. Десятки жёстких дисков вышли из строя из-за громкого звука инертного газа, выпускаемого из баллонов под большим давлением. Звук был очень мощным (более 130 децибелл), а ведь известно, что даже кричать на жёсткие диски нельзя — это увеличивает задержку доступа к HDD.

Примерно то же самое случилось 18 апреля 2018 года в шведском дата-центре Digiplex, который обслуживает биржевые операции. Из-за инцидента даже пришлось прервать торги на бирже Nasdaq Nordiq в Северной Европе, пишет Bleeping Computer.

Как и два года назад в Румынии, всё началось с пожарной сигнализации — и громкого звука инертного газа, выпускаемого из баллонов под большим давлением. Чувствительные накопители не выдержали этого звука — и вскоре примерно треть всех серверов в дата-центре прекратила функционировать. Как сообщается, на этих серверах работали торговые системы биржи Nasdaq Nordic, а также финских банков FIM Bank и OP Bank Group.

Кроме серверов биржи, уничтожены серверы для высокочастотной торговли, которые некоторые банки устанавливали максимально близко к биржевым серверам для минимизации пинга. В данном случае такая стратегия оказалась неудачной.

Из-за инцидента биржа Nasdaq Nordic не смогла открыться в положенное время в 8:00 по местному времени, когда в этом районе начинают работать все фондовые биржи. Пострадали трейдеры из Швеции, Финляндии, Дании, Исландии, а также трёх прибалтийских стран. По каким-то причинам Nasdaq в Норвегии открылась и работала, сообщает издание.

Частично восстановить системы и перезапустить торги на Nasdaq Nordic в ограниченном объёме удалось только в 15:00 того же дня, хотя по правилам биржи она обязана восстанавливать систему из резервной копии в течение двух часов. Представители Nasdaq сообщили финским СМИ, что система резервного копирования будет использоваться до понедельника, пока они не заменят пострадавшее оборудование в дата-центре и не проверят, что в резервных копиях сохранились действительные копии всех рабочих систем от всех банков-участников торгов.

Представитель Digiplex сказал, что Nasdaq арендует только стойки в дата-центре, но работает на собственных серверах. Руководство Nasdaq объяснило, что во всей Швеции не нашлось в тот момент достаточного количества серверов, чтобы заменить вышедшие из строя. Пришлось импортировать новые серверы из-за границы. Этим объясняется задержка с восстановлением системы из резервных копий: «Самолёты только что пришли», — сказал Лаури Розендаль (Lauri Rosendahl), исполнительный директор биржи Nasdaq Nordiq, в комментарии финской газете Helsingin Sanomat на следующий день после инцидента. Пока не установят новое оборудование, биржевые сервисы работают не в полной мере. В частности, торги доступны не для всех трейдеров, пишет Helsingin Sanomat.

Digiplex — один из крупнейших центров обработки данных в Северной Европе, с тысячами серверов в здании площадью 20 000 м². Он располагается в районе Уппландс Весбю недалеко от Стокгольма. Любопытно, что в течение двух дней после фатальной пожарной тревоги так и не ясно, была она вызвана реальным возгоранием или оказалась ложной. От этого зависит, кто будет выплачивать компенсацию пострадавшим и по какой статье.

© Geektimes