О ЦОДе начистоту: как мы решали проблему пыли в серверных помещениях дата-центра

90d9fb06302c26be3c8687ff21b36e27.jpg

Привет, Хабр! Я Тарас Чирков, директор ЦОД Linxdatacenter в Санкт-Петербурге. И сегодня в нашем блоге я расскажу о том, какую роль в нормальной работе современного дата-центра играет поддержание чистоты в помещении, как правильно ее измерять, достигать и поддерживать на нужном уровне.

Триггер чистоты


Однажды к нам обратился клиент дата-центра и в Санкт-Петербурге по поводу слоя пыли в нижней части стойки с оборудованием. Это и стало отправной точкой расследования, первые гипотезы которого предполагали следующее:

  • пыль попадает в серверные залы с подошв обуви сотрудников и клиентов дата-центра,
  • заносится через систему вентиляции,
  • и то, и другое.


Синие бахилы — на свалку истории


Начали с обуви. На тот момент проблема чистоты решалась традиционным способом: контейнер с бахилами при входе. Эффективность подхода не достигала желаемого уровня: контролировать их использование гостями ЦОДа было тяжело, а сам формат — неудобен. Быстро отказались в пользу более продвинутых технологий в виде бахильной машины. Первая установленная у нас модель такого аппарата провалилась: машина слишком часто рвала бахилы при попытке надеть их на обувь, ее использование больше раздражало, чем облегчало жизнь.

Обращение к опыту коллег в Варшаве и Москве не решило задачу, и в итоге выбор был сделан в пользу технологии наплавления термопленки на обувь. С помощью термопленки можно надеть «бахилы» на обувь с любой подошвой — вплоть до тонкого женского каблука. Да, пленка тоже, бывает, соскальзывает, но куда реже, чем классические синие бахилы, а сама технология — в разы удобнее для посетителя и современнее. Еще важный (для меня) плюс — пленка легко покрывает самые большие размеры обуви, в отличии от традиционных бахил, рвущихся при попытке надеть их на 45-й размер. Для пущей современности процесса установили урны с автоматизированным открытием крышки по датчику движения.

Выглядит этот процесс так:  

jazzfzxbmgwp4di-ddyj5lxugrg.png
Гости сразу оценили новшество.

Пыль на ветру


Приведя в порядок наиболее очевидный канал возможного загрязнения пространства, мы взялись за более тонкие материи — за воздух. Вполне вероятно, что значительная часть пыли поступает в серверные через вентиляцию ввиду недостаточной фильтрации, или заносится с улицы. Или всё дело в низком качестве уборки? Расследование продолжилось.

Мы решили взять замеры содержания частиц в воздухе внутри дата-центра и пригласили для проведения этих работ лабораторию, специализирующуюся на контроле качества воздуха в чистых помещениях специального назначения.

Сотрудники лаборатории замерили количество контрольных точек (20), составили расписание забора проб для отслеживания динамики и создания максимально точной картины. Стоимость полного процесса замеров лабораторией составила около 1 млн. руб., что показалось нам совершенно нецелесообразным, однако дало ряд идей для самостоятельной реализации. Попутно стало понятно, что лаборатория — это хорошо, но анализы надо проводить в динамике и постоянно обращаться к их услугам крайне неудобно.

Посмотрев на планируемые действия лаборатории, решили посмотреть на более утилитарные устройства для самостоятельной работы. В итоге нам удалось найти необходимый для данной задачи инструмент — анализатор качества воздуха. Вот такой:

c3d7b689ee1385505ac9397471d37fa8.png
Прибор показывает содержание частиц разного диаметра (в микрометрах).

Пересматривая стандарты


Этот прибор анализирует количество частиц, температуры, влажности и показывает результаты в единицах измерения соответственно со стандартами ISO по данному параметру. На дисплее видны уровни содержания частиц с разными диаметрами в пробе воздуха.

Параллельно грешили на фильтры: на тот момент использовали внутри серверных помещений модели фильтров G4. Эта модель обеспечивает грубую очистку воздуха, поэтому допускали вероятность пропуска частиц, приводивших к загрязнению. Решили закупить на пробу фильтры тонкой очистки F5, применяемые в системах кондиционирования и вентиляции в качестве фильтров второй ступени очистки (доочистки).

Расследование провели — можно приступать к контрольным замерам. В качестве ориентира решили использовать требования стандарта ISO 14644–1 по количеству взвешенных частиц.

597ef643456e01561e6f904022a52920.png
Классификация чистых помещений по количеству взвешенных частиц.

Казалось бы — измеряй и сравнивай по таблице. Но не все так просто: на практике оказалось достаточно затруднительно найти стандарты чистоты воздуха для серверных помещений ЦОДа. В явном виде это нигде не прописано, ни одной организацией или отраслевым институтом. И только на внутреннем форуме Uptime Inside Track (доступ к нему имеют лица, прошедшие обучение по программам Uptime Institute) нашлась отдельная дискуссия на эту тему. По итогам ее изучения склонились к ориентации на стандарт ISO 8 — предпоследний в классификации.

Первые же замеры показали, что мы себя недооценивали — результаты проверок внутреннего воздуха дали соответствие требованиям ISO 5 во внутренних помещениях, что значительно превышало желаемые участниками Uptime Inside Track нормативы. При этом — с большим запасом. У нас дата-центр, а не биологические лаборатория, конечно, но, чтобы концентрация частиц в воздухе была равна ISO 8 — это должен быть объект класса минимум «цементный завод». И как можно применять тот же стандарт к дата-центру — не очень понятно. При этом, результат на ISO 5 мы получили, делая замеры при фильтрации воздуха фильтрами G4. То есть, пыль в стойки через воздух попадать не может, фильтры F5 оказались избыточными, и их даже не стали применять.

Отрицательный результат — тоже результат: мы продолжили поиски причины загрязнения в других направлениях, а контроль качества воздуха включили в ежеквартальные проверки, совместив со проверками датчиков BMS поверенными устройствами (требования ISO 9000 и аудитов клиентов).

Ниже — пример отчета, который заполняется на основании данных, полученных при замере. Для большей точности замеры производятся двумя приборами — Testo 610 и датчиком БМС. В шапке таблицы указаны предельные значения для приборов. Отклонение указанных параметров автоматически выделяется цветом для облегчения идентификации проблемных участков или временных периодов.
4e0a7beeb2b9d718ab4ea077e619c9fc.png
У нас все четко: разница в показателях приборов минимальна, а концентрация частиц намного ниже предельной границы.

Через черный вход


Так как в чистые помещения имелись еще и другие входы помимо главного входа для клиентов, где мы установили бахильную машину, оставалась необходимость исключения попадания грязи в ЦОД через них.

Надевать/снимать бахилы во время процедур по разгрузке оборудования неудобно, поэтому нашли автомат для чистки подошв. Удобно, функционально, но сказывается человеческий фактор в виде необязательности подхода к этому аппарату. По сути, тоже самое, что с бахилами на главном входе.

cea062b0b857165852b87577b3004fa1.png

Для решения задачи стали искать варианты очистки, от которых нельзя уклониться: с этим лучше всего справлялись липкие ковры с отделяемыми слоями. В процессе авторизации у входных дверей, посетитель обязательно встает на такой коврик, удаляя лишнюю пыль с подошв своей обуви.

d2f91553d987661e140a35d1414f6d00.png
Уборщицы отрывают верхний слой такого коврика каждый день, всего в нем 60 слоев — хватает примерно на 2 месяца.

Посетив ЦОД Ericsson в Стокгольме, в числе прочего я обратил внимание на то, как решают эти вопросы там: наряду с отрываемыми слоями в Швеции используют многоразовые антибактериальные ковры Dycem. Идея понравилась из-за принципа многоразовости использования и возможности обеспечить большую площадь покрытия.

a94af1babb23a3233b93d4af6101511e.png
Волшебный антибактериальный ковер. Жаль, не самолет, а мог бы — по такой-то цене!

С трудом нашли в России представителей компании и произвели оценку стоимости решения для нашего дата-центра. В итоге получили цифру почти в 100 раз дороже решения с многослойными коврами — примерно тот же самый 1 млн рублей, что и в проекте с замерами чистоты воздуха. Кроме того, выяснилась необходимость использования спецсредств для очистки, естественно, доступных только у этого производителя. Решение также отпало само собою, остановились на многослойном варианте.

Ручной труд


Особо хотелось бы обратить внимание, что все указанные меры не отменяли использования труда уборщиц. В рамках подготовке к аттестации ЦОДа Linxdatacenter по стандарту Uptime Institute Management & Operations требовалось четко регламентировать действия сотрудников службы клининга на территории ЦОДа. Были составлены подробные инструкции, предписывающие, где, что и каким образом им необходимо делать.

Пара выдержек из инструкции:

eec39f11ff94df1fd99f92fd1afd9519.png

1094161ddd912319f2b2f29a96a9dad8.png

Как видно, прописывается всё, буквально каждый аспект работы в конкретном помещении, допустимые для использования чистящие средства, материалы и т.д. Без внимания не остается ни одна деталь, даже самая мелкая. Инструктаж — под подпись каждого сотрудника службы. В серверных помещениях, электро-помещениях и т.д. они убираются только в присутствии уполномоченных сотрудников ЦОДа, например, дежурного инженера.

Но и это еще не всё


Также в перечне мер, гарантирующих чистоту в ЦОДе: обходы с визуальным осмотром помещений, в том числе еженедельные осмотры стоек на предмет обнаружения оставленных внутри них обрезков проводов, остатков упаковок от оборудования и компонентов. По каждому такому эпизоду заводится инцидент, клиент получает уведомление о необходимости устранения нарушений в кратчайшие сроки.

Также, для распаковки и настройки оборудования нами создана отдельная комната — это тоже часть клининговой политики компании.  

Еще одна мера, которую мы почерпнули из практики Ericsson — поддержание постоянного подпора воздуха в серверных помещениях: внутри помещений давление больше, чем снаружи, чтобы не было тяги внутрь — об этом решении подробнее расскажем в отдельном материале.

Наконец, мы завели себе роботов-помощников для помещений, которые исключены из перечня доступных для посещения клининговым персоналом.

edf0709c941fc26f65b839053e776f48.png
Решетка сверху не только дает +10 к защите робота, но и позволяет ему не застревать под вертикальными кабельными лотками стоек.

Неожиданная находка как вывод


Чистота в ЦОДе важна для эксплуатации серверного и сетевого оборудования, которое тянет воздух через себя. Превышение допустимых показателей запыления приведет к скоплению пыли на компонентах и суммарному повышению температуры в пределах до 1 градуса по Цельсию. Пыль снижает эффективность охлаждения, что в пересчете на год может оборачиваться заметными косвенными издержками, а также влиять на отказоустойчивость объекта в целом.

Можно сказать, что это умозрительное допущение, но эксперты Uptime Institute, проводившие сертификацию ЦОДа Linxdatacenter по стандарту качества операционного управления (Management & Operations) уделяют самое серьезное внимание чистоте. И тем более приятно было получить по этому направлению самые лестные оценки: требования сертификации наш дата-центр в Петербурге серьезно превышает. Эксперт института назвал нас «самым чистым ЦОДом, который он видел», более того, наш ЦОД используется Uptime в качестве примера решения вопроса с чистотой серверных помещений. Также, мы с легкостью проходим любой клиентский аудит по этому параметру — самые серьезные требования самых капризных клиентов удовлетворяются с превышением.

Вернемся к началу истории. Откуда же взялись загрязнения по той самой жалобе из начала статьи? Та часть стойки клиента, которая стала причиной запуска всего проекта «чистота в ЦОДе», была загрязнена с момента ввоза и установки стойки в дата-центр. Клиент не очистил стойку к моменту ввоза в серверное помещение — при проверке соседних стоек, установленных в то же время, выяснилось, что там с пылью та же самая ситуация. Эта ситуация послужила поводом для добавления пункта контроля очистки в клиентский чек-лист по установке стойки. О вероятности подобных вещей также никогда нельзя забывать = предупрежден, значит, вооружен. Это всё о «чистоте и диктатуре» в нашем ЦОД, в следующей статье расскажу о датчиках давления, а пока задавайте вопросы в комментариях.

© Habrahabr.ru