DDoS, китайские ботнеты и клиенты с особыми потребностями. Будни ЦОДов 3data
Дата-центр — заманчивая цель для кибератак и непростой объект для защиты. Мы решили выяснить, как обеспечивается бесперебойная работа ЦОДов у руководителя отдела информационной безопасности 3data Павла Черных, и публикуем его рассказ.
Из него вы узнаете, как выглядят три кита безопасности ЦОД, к каким специфическим инцидентам постоянно готовятся на этих объектах и почему дата-центры привлекают бездомных. А напоследок вы получите несколько практических советов по выбору надежной площадки для размещения своей инфраструктуры.
Из чего складывается безопасность ЦОД
В теории безопасность любого центра обработки данных стоит на трех китах, это:
Физическая безопасность — она обеспечивается круглосуточной охраной, видеонаблюдением, системами контроля доступа (СКУД), пожаротушения и резервированием по электричеству и связи;
Информационная безопасность, которая включает защиту каналов связи, мониторинг оборудования, установку средств защиты информации и информационную гигиену;
Бумажная безопасность — прохождение аудитов, сертификации, получение лицензий ФСТЭК, введение политик по информационной безопасности.
Эти аспекты часто пересекаются. Так, например, программная уязвимость в СКУД может привести к нарушению физической безопасности, а политика реагирования на инциденты напрямую влияет и на физическую, и на информационную безопасность. Все будет зависеть от конкретного инцидента и модели угроз.
Наша модель угроз
На практике многое зависит от специфики бизнеса. Одно дело, когда ты отвечаешь за безопасность гигантского банковского дата-центра, периметр которого охрана объезжает на джипе. И совсем другое, если это площадка на одном из этажей бизнес-центра.
СК19 — дата-центр 3data на Садовой-Кудринской улице
У нас своя специфика — 3data управляет сетью ЦОД шаговой доступности. То есть мы строим дата-центры на 60–200 стоек каждый в черте города. Они располагаются в деловых районах рядом со станциями метро и крупными БЦ и отвечают надежности и безопасности на уровне TIER 3. Из-за такого расположения мы сталкиваемся со специфическими проблемами. В частности, это создает дополнительные риски для физической безопасности инфраструктуры.
Бешеный экскаватор — враг связиста
Больше всего проблем, связанных с физическим воздействием, приносит работа городских служб, которые могут повредить часть инфраструктуры, начав раскопки неподалеку.
ЦОД — здание телекоммуникационное, к нему тянется множество кабелей в самых разных плоскостях: под землей, на земле, «по воздуху». Что-нибудь, где-нибудь да и перерубят. Такие кейсы нередки, особенно в случае дата-центров, которые находятся в центре города, где особенно активно кладут плитку. Поэтому ЦОДы зарезервированы по нескольким вводам по схеме N+1, N+2. Но нужно признать, что карты коммуникаций становятся актуальнее, и подобные инциденты происходят все реже — в последние годы у нас и вовсе не случались.
К тому же, наши технические службы находятся на связи с управляющими компаниями и администрациями районов. Мы заранее узнаем о том, где и когда будут проводиться работы, и можем подсказать, где проложены кабели. Это конечно добавляет головной боли сотрудникам, но риски просчитаны, и угрозы для клиентов тут нет — такой подход помогает подготовиться к неожиданностям.
Московский киберпанк
Другой аспект, который приходится учитывать, если хочешь эксплуатировать ЦОД в городе, — большой людской поток возле объекта и возможный рост числа инцидентов, которые связаны с человеческим фактором. Многие из них скорее курьезные.
Внешние блоки кондиционирования, дата-центр 3data У8
Зимой на улице холодно, а внешние блоки кондиционирования 24 на 7 выдувают поток теплого воздуха. Получается этакий оазис на промозглых городских улицах, который неудержимо притягивает бездомных. По крайней мере, если кондиционеры расположены достаточно близко к забору, а охрана еще не приступила к работе. Hi tech low life, в общем. Не то чтобы это была острая проблема, а с установкой дополнительных камер и охранных систем она и вовсе потеряла актуальность, но на заре строительства дата-центров такие случаи были.
Или вот другой пример. По внутренним чатам сотрудников долгое время гуляла запись с камеры наблюдения, на которой курьер с характерной кубической сумкой перемахивает через забор дата-центра и попадает в руки удивленной охраны. Это было давно — центральный офис тогда находился внутри ЦОДа, и сотрудники заказывали доставку еды. В тот раз курьер не смог сориентироваться на местности, не заметил домофон у калитки в паре метров правее, но решил не сдаваться и все же доставить заказ.
Действительно серьезные проблемы
Физическая безопасность, конечно, важна, но виртуальные угрозы для нас опаснее, ведь они легко масштабируются и автоматизируются. Главная, можно сказать профильная угроза для нас — цифровые атаки на основные каналы связи. Обычно это DDoS. Не совру, если скажу, что их количество и интенсивность за последние полтора года выросли в несколько раз.
Недавно зафиксировали DDoS на одну нашу внутреннюю сеть. На уровне L7, то есть на уровне приложения, на сервер поступал трафик 497 гигабит в секунду. Но поскольку подобное случается регулярно, к таким вещам мы готовы. Дали знать подрядчику, который помогает с DDoS-защитой, и оперативно почистили трафик.
Разграничение ответственности и SLA
Также встречаются проблемы на уровне личных кабинетов и оборудования клиентов. Недавно внедряли в нашу зону ответственности проект заказчика, и стоило подключить сервер к SIEM, как система подсветила множество подключений и авторизаций на одном из портов. Просканировали, посмотрели и нашли там админку китайского ботнета. Как она там оказалась — загадка.
Тут важно понимать, что большинство дата-центров продают только размещение оборудования, и по большому счету все, что происходит на серверах, — ответственность клиента. Если там будет происходить что-то незаконное, с нарушением условий обслуживания, то ЦОД просто разорвет контракт.
У нас другой подход. Мы позиционируем свои дата-центры, как некий маркетплейс, где можно получить сразу несколько услуг, в том числе по информационной безопасности. Например, можем поставить на мониторинг безопасность клиентских систем, служб и сервисов — все зависит от договоренностей. С каждым клиентом заключается индивидуальный SLA, где прописаны сферы ответственности, а также тайминг реагирования на те или иные проблемы.
Что мы делаем для поддержания безопасности ЦОД
Когда заходит речь о мониторинге работы ЦОД, в голове возникает большой дашборд с лампочками, как на атомной станции. Это не обязательный атрибут системы мониторинга безопасности, но у нас действительно реализовано нечто подобное. Мы заинтересованы в том, чтобы следить за всеми площадками одновременно в режиме реального времени. Вкладываемся в телеметрию и автоматизацию самых разных аспектов их работы: от сетевой связности и версий ПО до доступа к оборудованию, температуры воздуха в машзалах и т. д. Иногда шутим, что у нас в дата-центрах под наблюдением все вплоть до температуры воды в кулерах.
Пока система безопасности представляет собой черный ящик, ее гораздо сложнее взломать, так что я не могу вдаваться в подробности, но кое-что расскажу. Так, помимо стандартного набора СЗИ, сетевых экранов и средств доверенной загрузки мы активно используем сертифицированные регулятором SIEM-системы и регулярно меняем схемы средств защиты. Без этого никак:
сервисы и услуги со временем масштабируются и диверсифицируются, и их защиту нужно поддерживать;
меняется законодательство — регуляторы выпускают новые приказы, и под них тоже нужно подстраиваться;
подталкивают клиенты, которым нужно удовлетворять запросы конечных пользователей.
Кажется, что в таких условиях уже не один ЦОД не может обойтись без полноценной службы информационной безопасности и партнерской ИБ-экосистемы.
Одна из десятка камер, расположенных в машинном зале. Вместе они дают полный обзор помещения без слепых зон
Что касается физической безопасности, то и тут все непросто. Мы всегда смеемся, когда в боевиках типа «Миссия невыполнима» главный герой проползает по вентиляции, вваливается в серверную, открывает первую попавшуюся стойку, засовывает флешку и тут же получает все, что хотел.
Во-первых, у нас не бывает такой широкой вентиляции, а во-вторых, любой ЦОД — это режимный объект под круглосуточной охраной, видеонаблюдением и мониторингом. У нас на входе установлены биометрические СКУД с доступом по отпечатку пальца.
Попасть внутрь комплекса могут только аккредитованные лица в сопровождении дежурного инженера. Доступ в машинный зал ограничен политикой безопасности компании, в которой указано, какое количество согласований и проверок должен пройти каждый желающий.
На первый взгляд, такая бюрократизация может показаться излишней, но она играет не последнюю роль в обеспечении безопасности. К тому же, она не обязательно должна быть неудобной. Все необходимые формальности и согласования у нас проводятся через личный кабинет клиента — детище нашего Центра разработок.
Каждый клиент сертифицирован, а каждый посетитель аккредитован. Благодаря системе заявок у нас есть вся информация о посетителе: мы видим, кто находится в машинном зале, во сколько зашел и во сколько вышел, а все действия с оборудованием отражаются в системах мониторинга.
Когда и этого мало
Это если говорить о среднем уровне по больнице. Бывают заказчики с еще более жесткими требованиями к безопасности. Для них приходится идти еще дальше. Например, могу раскрыть подробности кейса, связанные с одной крупной букмекерской конторой. Закон устанавливает ряд требований к размещению инфраструктуры таких компаний, поэтому с ними не все так просто — они не могут зайти в любой ЦОД.
Для того, чтобы поставить серверы по всем требованиям букмекера, нам пришлось соорудить внутри машзала отдельный бокс — cage — выгородку. Внутри него было организовано собственное видеонаблюдение и отдельная зарезервированная система контроля доступа. А еще внутри выгородки установили кассовый аппарат и организовали рабочее место для охранника. Хорошо хоть ему не нужно было дежурить там круглосуточно.
Сам дата-центр в этом случае должен располагаться на определенном расстоянии от социальных объектов: детских садов, школ, больниц и так далее. Организовать все это за чертой города было бы гораздо проще, но заказчик хотел, чтобы инфраструктура находилась в пределах МКАД. Мы подобрали подходящую площадку, подготовили бокс, а потом приехал сторонний аудитор и нашел поблизости какой-то никем не замеченный социальный объект. Пришлось все демонтировать и своими силами перемещать в другой наш ЦОД, который уже отвечал абсолютно всем требованиям.
Рынок российских ЦОД: проблемы и тенденции
Даже в текущих реалиях ЦОДы продолжают греть воздух и перемалывать числа, а мы продолжаем строить новые площадки. На рынке уже много лет дефицит стойкомест. Молодая отрасль отечественных центров обработки данных просто не успевает удовлетворить потребности рынка. Мы только готовимся ввести в эксплуатацию новый объект, а 80% мощностей уже законтрактовано клиентами. Это при том, что особых проблем со строительством нет и пока не предвидится, просто нужно время.
Если говорить в контексте инфраструктуры, то мы и до санкций использовали отечественное оборудование, например, системы пожаротушения от Пожтехника. Многое сейчас тестируем. Кондиционеры и дизель-генераторы, да — зарубежные, но параллельный импорт работает, и это внушает сдержанный оптимизм.
С чем были проблемы, так это с процессом сертификации AICPA SOC 2, точнее с невозможностью заплатить зарубежным компаниям, которые проводят этот аудит. Вопрос удалось решить уровнем выше с помощью с сертифицированных подрядчиков, которые нам с этим помогают.
Ходили слухи, что Uptime Institute прекратит стандартизировать российские дата-центры, но этого пока не произошло. Ну, а если вдруг, случится, у нас останутся сотрудники российского представительства. Они знают, что такое ЦОД, отвечающий самым высоким стандартам, их компетенции никуда не денутся.
О требованиях клиентов
Отдельно хочется отметить, как сильно за последние пять лет выросли компетенции клиентов. Раньше заказчики почти не интересовались тем, что происходит в дата-центре — оборудование работает, да и Бог с ним. Сейчас к нам обращаются подкованные IT- и технические директора, приходят целые технические отделы.
Заказчики интересуются, как построен дата-центр, кто вендор, кто поставщик, сколько запасных деталей, спрашивают про дополнительные услуги. Многим требуются офисы внутри ЦОД, чтобы персонал компании мог дежурить рядом с системой. Это здорово, потому что раньше приходилось доказывать клиентам, что им необходимо брать какой-то резерв, что стоит обратить внимание на информационную безопасность. Более того, такие запросы позволяют нам лучше понимать, что востребовано на рынке, расширять и дополнять портфель клиентских сервисов.
Так, с начала 2022 года вырос спрос на дополнительные услуги в части безопасности. Все больше компаний интересуется защитой от DDoS. Раньше с такими атаками сталкивались только некоторые типы бизнеса, но сейчас в защите заинтересованы все: от СМИ и госзаказчиков до сетевых фитнес-центров.
Обозначился спрос на геораспределенные системы. Клиенты все чаще берут стойки для резервирования на разных площадках, чтобы исключить физическое воздействие на инфраструктуру.
Взять, скажем, тот пожар во французском дата-центре — яркий пример того, зачем нужна геораспределенная система. Тогда сгорело сразу несколько машзалов, и ряд компаний потерял все данные, потому что основные системы стояли в первом зале, а резервные — в четвертом.
Отдельные московские заказчики даже захотели разместить резервные системы за Уралом, но в основном мы распределяем серверы по нашим ЦОДам в черте города — когда у тебя в распоряжении целая сеть площадок, гораздо проще подобрать вариант, подходящий для клиента.
Как выбрать надежный ЦОД
Как я уже говорил, современный заказчик хорошо представляет, что ему нужно, но можно попробовать выделить несколько рекомендаций с позиции изнутри индустрии. При выборе площадки стоит обратить внимание на следующие моменты:
Каков уровень надежности ЦОДа и его инфраструктурные характеристики, включая расположение, площадь, наличие ДГУ и т. д.;
Есть ли физическая охрана, системы видеонаблюдения, контроль доступа на территорию и непосредственно к серверам;
На наличие и уровень СЗИ: современных SIEM-систем, использование межсетевых экранов, IPS/IDS, DDoS-защиты;
Проводятся ли плановые аудиты безопасности, пентесты через независимых подрядчиков, и какова частота их проведения;
Как выглядит процесс предоставления доступа к системам новым сотрудникам ЦОДа;
Есть ли обязательная аккредитация клиента/сотрудника для доступа в машинный зал;
Каков уровень «бумажной безопасности»: соблюдаются ли политики и сертификации, такие, как ISO 27001 и PCI DSS и т. д. Соблюдение законодательных и регуляторных требований;
Какова частота проведения тестов инцидентов и предупредительного обслуживания в ЦОДе;
На уровень технической поддержки и доступность службы поддержки в случае инцидентов или проблем;
Когда и что сообщают клиентам, если возник инцидент;
На репутацию ЦОДа и поиск отзывов от других клиентов.
Это лишь малая часть того, на что необходимо обратить внимание при выборе дата-центра. Если говорить в контексте бумажной составляющей, важным аспектом при выборе ЦОДа является наличие у оператора согласованных планов реагирования на инциденты, SLA (Service Level Agreements), которые предлагают подписать клиентам, а также отечественных и зарубежных сертификаций. Средства и силы, вложенные в их получение — хороший маркер серьезного отношения к информационной безопасности.
