Трейдинг и «железо»: Как выглядят биржевые дата-центры

a3c9d7ba671d4ca48177a87daedb504b.jpg

Фондовый рынок — высокотехнологичная отрасль. В нашем блоге мы уже писали о протоколах передачи финансовых данных, алгоритмах обнаружения инсайдерской торговли, разработке финансового софта и способах ускорения транзакций. Все это разнообразие технологий и инструментов выстраивается вокруг серверного ядра самих бирж — многие HFT-трейдеры пользуются услугами колокации и размещают серверы со своими торговыми приложениями как можно ближе к биржевому торговому движку.

Сегодня мы поговорим о дата-центрах различных площадок и покажем, как они выглядят.

NYSE Euronext


Дата-центр биржи NYSE Euronext расположен в городе Махва, штат Нью-Джерси. Площадь залов для колокации серверов трейдеров составляет около 18 тысяч квадратных метров — площадь самого здания при этом составляет более 120 тыс. кв. метров. Издание Data Center Knowledge публиковало некоторые фотографии этого ЦОД.

Центр управления объектом — в нем объединены интерфейсы систем управления зданием (BMS) и управления инфраструктурой самого ЦОД (DCIM). Именно здесь сидят специалисты, которые контролируют режимы температуры и влажности, состояние блоков питания и других элементов в каждом серверном зале.

37a8060c316c456b81f17bd50895def0.jpg

А вот так выглядит «горячий коридор», в который поступает воздух, выбрасываемый серверами:

0239c538653f4ae187bb06cc6d19fc26.jpg

Длинный главный коридор дата-центра позволяет прочувствовать огромные масштабы объекта.

3e7ca3659c50483a97ae3de05f65d560.jpg

Финансовый хаб Equinix


Компания Equinix является одним из крупнейшим мировых игроков на рынке ЦОД и колокации. Одним из ее объектов является здание бывшего завода по производству очков в Секаукусе штат Нью-Йорк площадью более 100 000 квадратных метров, переоборудованное в современнейший дата-центр. Его услугами пользуются такие биржи, как NASDAQ, BATS, CBOE, и вот как он выглядит.

По обе стороны длинного главного коридора дата-центра расположены решетки; эти решетки и стойки соединяются кабелем, который проходит по желтым подвесным кабель-каналам.

2d151d61986f4dd58de4e36bf664774d.jpg

Потолок высотой 12 метров предоставляет большое пространство для нескольких уровней размещения кабель-каналов, заполняющих верхнюю часть дата-центра Equinix, в которой находятся отдельные каналы для соединительных, несущих и силовых кабелей.

6aa0cfe1dbd94a209e832d07bbc5d93f.jpg

Зал источников бесперебойного питания (ИБП) в дата-центре Equinix NY4, питающийся от подстанции мощностью 26 мегавольт-ампер. Оборудование состоит из системы бесперебойного питания мощностью 30 мегаватт, поддерживающей работу вычислительной установки в случае отказа системы электроснабжения.

8f1ea2cfe10b40c9ae18d344cd5ac1a2.jpg

На случай отключения электроэнергии оборудование дата-центра NY4 оснащено этими 18 запасными дизельными генераторами фирмы «Caterpillar» мощностью 2,5 мегаватт каждый, которые в сумме дают 46 мегаватт аварийной электроэнергии, достаточной для обеспечения полным запасом энергии оборудования, а также холодильных установок и систем ИБП. Во время урагана Сэнди эти генераторы поддерживали оборудование в рабочем состоянии в течение целой недели.

63328ab93cc24bf59d58d5389357fa79.jpg

Охладительная система в NY4 оборудована громадными трубами, по которым охлажденная вода поступает к оборудованию, а также к пластинчатому теплообменнику (справа), выполняющему роль холодильника зимой и позволяющему сохранять энергию, которая при обычных условиях тратилась бы на работу холодильных установок.

6abaef6d1aa9435a96212fcb1409606c.jpg

Московская биржа, дата центры М1 и DataSpace1


В настоящий момент крупнейшая российская биржевая площадка предлагает трейдерам возможность размещения своего оборудования в московском дата-центре М1 (адрес: Варшавское шоссе, д. 125).

Согласно информации, представленной на сайте компании-оператора ЦОД, он является крупнейшим в московском регионе — его емкость составляет 950 серверных стоек. Дата-центр введен в эксплуатацию в 2006 году, его общая площадь составляет 3850 кв.м, из которых под серверные залы отведено 2400 кв. м (нагрузочная способность 5–8 кВт на стойку).

Для поддержания необходимо режима температуры (22 ± 4 градусов) и влажности (45 ±10%) в серверных залах установлены системы приточно-вытяжной вентиляции и прецизионные кондиционеры промышленного типа. Компоненты системы кондиционирования также зарезервированы по схеме N+3 и лучше. Источник фото ниже: сайт stacktelecom.ru

2b42b167e82e4400977e5065cd35d5c6.jpg

3b034701c70a40f7986e5fb90b33f0a7.jpg

Серверные стойки располагаются принципу по горячих и холодных коридоров, закрытие последних позволяет исключить смешивание горячего, выбрасываемого оборудованием воздуха, с поступающим от кондиционеров холодным.

79e442b3e39e48b298498d6a4b9e5855.jpg

Источники бесперебойного питания рассчитаны на время работы всего оборудования большее, чем необходимо для запуска дизель-генераторных установок и перехода на автономное энергоснабжение ЦОД.

dde923de8e374dfeb5971237a8dd86cd.jpg

93f1858a773047019d3c63bd9ced8d41.jpg

Фактическая надежность ЦОД в период с 2008 заявлена на уровне в 100%.

Стойки в дата-центре М1 есть не только у самой биржи, но и у брокерских компаний — например, ITinvest предлагает возможность установки в своих стойках как серверов, так и запуска торговых систем на специально «поднятых» виртуальных машинах.

В 2014 году руководство «Московской биржи» приняло решение о переезде в дата-центр DataSpace1. ЦОД сдан в эксплуатацию в июле 2012 года. Его общая вместимость составляет 1062 стойко-места — 12 машинных залов, площадью до 255 квадратных метров каждый. Будет выделен отдельный зал для колокации оборудования участников торгов. Источник фото ниже: сайт dataspace.ru.

В ЦОД организованы 6 независимых цепей электропитания, каждый машинный зал снабжается электричеством от 2 независимых цепей.

86cd26cfdcc7497ca4c4cacf21c94958.png

Чиллеры и сухие воздухоохладители установлены по схеме распределённого резервирования N+1, холодный воздух подводится под полом.

6a83e99e895c4122b0ec8b69c85e3c15.png

Периметр здания и внутренние помещения оснащены 8-уровневой системой безопасности, которая включает различные компоненты контроля доступа и наблюдения.

f3868375ae204c548e9a8f7726fbd7ef.png

Как сказано в пресс-релизе Биржи, посвященному переезду в новый ЦОД, DataSpace1 обладает сертификатами Tier III Design Documentation и Tier III Constructed Facility.

Заключение


Биржевые площадки и HFT-трейдеры уделяют большое внимание выстраиванию собственной торговой инфраструктуры. Сегодня на фондовом рынке успех от неудачи часто отделяют доли секунды, поэтому и софт и железо, обеспечивающие работу финансовых приложений, должны работать в высшей степени надежно.

Уровень нагрузки столь велик, что справиться с ним нелегко — это требует серьезных инвестиций со стороны провайдеров услуг ЦОД. В противном случае могут возникать ситуации, наподобие той, что произошла в августе 2015 года в дата-центре CenturyLink — во время серьезно движения на рынке, инфраструктура для HFT-торговли работала в усиленном режиме, с которым не справилась система вентиляции (HVAC).

В результате многие серверы не просто перегрелись, а физически сгорели:

2eb4a40b0bc84f4398e940349974b50d.jpg

© Habrahabr.ru