Как хранить петабайты данных большого адронного коллайдера
Вступление
Большой адронный коллайдер (БАК) лаборатории ЦЕРН — важнейший объект исследований в области физики. Данные, полученные в ходе сеансов Run 1 и Run 2, уже были использованы, чтобы доказать факт существования ранее не обнаруженных субатомных частиц, расширить наше общее понимание Вселенной и того, как она образовалась. В частности, в 2012 году благодаря БАК было подтверждено существование бозона Хиггса.
Масштабы эксперимента ЦЕРН поражают воображение. Это касается как размеров самого кольцевого ускорителя частиц, радиус которого достигает 4,3 км, так и частоты столкновения частиц в нём — каждую секунду оборудование БАК отмечает до 1 млрд столкновений.
Но самым невероятным является количество получаемой информации: столкновения частиц генерируют 1 петабайт (ПБ) данных в секунду. Даже после отбора событий, которые интересуют учёных, ЦЕРН ежемесячно требуется около 10 ПБ свободного места на накопителях для хранения и последующего анализа новых данных.
Информация сохраняется в ЦОД ЦЕРН и передаётся в сеть из около 170 центров обработки данных для анализа, используя всемирный грид БАК, WLCG. На сегодняшний день в ЦЕРН применяется 3200 дисковых массивов JBOD, в которых установлено 100 000 жёстких дисков общей ёмкостью 350 ПБ.
C каждым новым запуском БАК требуется всё больше свободного места для полученной информации. Очередной сеанс, Run 3, должен стартовать в 2021 году, после планового обновления системы.
Для хранения этих колоссальных объёмов данных с 2014 года в ЦЕРН применяются жёсткие диски Toshiba Electronics Europe. Уже три поколения накопителей Toshiba помогают учёным своевременно наращивать ёмкость системы, но возможно ли продолжать этот процесс и дальше? По мнению Эрика Бонфиллоу (Eric Bonfillou), руководителя отдела планирования и закупок ЦЕРН, «запланированные обновления систем БАК потребуют такого роста вычислительных ресурсов и ёмкости системы хранения данных, что имеющихся в нашем распоряжении современных технологий может оказаться недостаточно».
График использования накопителей Toshiba в ЦЕРН
История развития проекта ЦЕРН. Источник изображения: ©2019 Toshiba Electronics Europe
«В том, что касается вычислительных мощностей и ёмкости систем хранения данных, масштабирование нашей ИТ-инфраструктуры пока проходит успешно. Не в последнюю очередь этим проект обязан применению высокопроизводительных и надежных жестких дисков Toshiba» (Эрик Бонфиллу, ЦЕРН)
ЦЕРН начинает использовать жёсткие диски Toshiba MG03 (4 ТБ)
ЦЕРН увеличивает ёмкость системы, используя жёсткие диски Toshiba MG04 (6 ТБ)
ЦЕРН обновляет систему хранения данных в 2018 году и берёт на вооружение жёсткие диски MG07 с применением гелия (12 ТБ)
Дальнейшее повышение производительности и ёмкости системы в связи с ростом потребностей научных исследований в свободном месте для хранения данных
Сеанс RUN 1 БАК
Первая длительная остановка системы
Сеанс RUN 2 БАК
Вторая длительная остановка системы
Сеанс RUN 3 БАК
Задача развития ИТ-инфраструктуры: прирост вычислительной мощности x60 и прирост ёмкости системы хранения данных x10 в условиях фиксированного бюджета/уменьшения бюджета
2014 год — ЦЕРН приобретает первые накопители Toshiba
Жёсткие диски Toshiba применяются в ЦЕРН с 2014 года. В основном центру необходимы накопители для серверов с высокой производительностью, высокой надежностью и максимальной ёмкостью. В течение 2013–14 годов ЦЕРН проводит первую запланированную фазу остановки системы, чтобы подготовиться ко новому сеансу работы БАК. В течение этого периода лаборатория модернизирует свои системы хранения данных, установив массивы JBOD 4U на 24 отсека с жёсткими дисками Toshiba MG03SCA400.
Учитывая ёмкость каждого накопителя в 4 ГБ, скорость вращения 7200 об/мин и интерфейс передачи данных с пропускной способностью 6 Гбит/с, каждый массив JBOD обеспечил системе прирост в 96 ТБ. Среднее время безотказной работы жёстких дисков (MTTF) составляет 1,2 млн часов, что соответствует прогнозируемой годовой интенсивности отказов (AFR) в 0,72%.
2015/2016 годы — ЦЕРН начинает сеанс Run 2: потребность в системах хранения данных резко возрастает
С началом сеанса Run 2 в 2015 году потребность в системах хранения данных значительно возрастает. ЦЕРН наращивает ёмкость системы, используя новые жёсткие диски Toshiba с интерфейсом SATA объёмом 6 ТБ, MG04ACA600E. Снова применяются массивы JBOD 4U с 24 отсеками, базовая ёмкость каждого из которых таким образом увеличивается до 144 ТБ.
Показатель MTTF для этой модели составляет 1,4 млн часов, что обеспечивает снижение AFR до 0,62%.
2018 год — Toshiba выпускает модель MG07 с применением гелия и увеличивает ёмкость накопителей до 14 ТБ
После 2016 года Toshiba ускорила разработку и внедрение новых моделей корпоративных жёстких дисков большой ёмкости, чтобы удовлетворить мировой спрос на облачные системы хранения данных. Компания выпускает два новых поколения жёстких дисков, MG05 и MG06. Ёмкость накопителя MG06 достигает 10 ТБ. И хотя в конструкции всё еще используется воздух, Toshiba смогла увеличить MTTF до 2,5 млн часов, то есть добиться показателя AFR 0,35% — самого низкого показателя на рынке для накопителей с корпусами, заполненными воздухом.
3,5-дюймовые жёсткие диски с применением технологии обычной магнитной записи (CMR) и корпусами, заполненными воздухом, упираются в потолок ёмкости в 10 ТБ за счёт того, что в их конструкции нельзя использовать больше 7 «блинов».
И хотя теоретически это ограничение можно обойти, используя более тонкие «блины», вес воздуха будет слишком сильно на них давить. В качестве альтернативы можно использовать технологию черепичной магнитной записи (SMR), но это требует особого подхода, чтобы избежать серьезных проблем с производительностью накопителей, и применения совместимых с технологией специальных файловых систем.
Обновление системы хранения данных ЦЕРН в 2018 году совпадает с моментом выхода на рынок накопителей Toshiba из линейки MG07, первых в мире жёстких дисков для серверов с ёмкостью до 14 ТБ. Благодаря покупке и установке 12-ТБ версии накопителей, ЦЕРН удаётся в два раза нарастить ёмкость каждого массива JBOD, доведя её до 288 ТБ.
В накопителях MG07 ёмкость увеличена за счёт применения гелия вместо воздуха, что позволило снизить давление на «блины» и использовать 9 «блинов» вместо 7 без изменения форм-фактора жёсткого диска.
Благодаря применению технологии записи CMR, диски MG07 подходят для любых рабочих нагрузок и лишены проблем с производительностью, связанных с SMR. Помимо этого, коэффициент трения гелия меньше, чем у воздуха, что значительно снижает энергозатраты на вращение «блинов». За счёт тонкой настройки двигателя шпинделя энергопотребление жёстких дисков MG07 с применением гелия удалось снизить на треть (с 11 Вт до <7 Вт).
При этом показатель MTTF новой линейки вырос до 2,5 млн часов.
Рост требований к системе хранения данных для сеанса Run 3
В 2019 году БАК был снова остановлен для обновления компонентов и подготовки к сеансу Run 3, запланированному на 2021 год. Учитывая, что в его ходе установка будет генерировать новую информацию намного быстрее, необходимо значительное расширение системы хранения данных.
Эрик Бонфиллоу отмечает: «Качество продукции и технической поддержки Toshiba полностью соответствуют строгим требованиям ЦЕРН. Благодаря надёжным и ёмким накопителям Toshiba нам удаётся своевременно масштабировать вычислительные мощности и систему хранения данных проекта под рост потребностей в научных расчётах».
Выход на рынок новых 3,5-дюймовых накопителей Toshiba на базе технологий CMR и SMR позволит ЦЕРН использовать жёсткие диски ёмкостью 16 и 18 ТБ, таким образом увеличив общую ёмкость каждого массива JBOD до 432 ТБ.
«Продукты Toshiba отлично подходят для применения в крупных ЦОД, и работа вот уже трёх поколений жёстких дисков Toshiba Enterprise в требовательной ИТ-среде ЦЕРН служит этому факту отличным подтверждением», — отмечает Ларри Мартинес-Паломо (Larry Martinez-Palomo), генеральный директор подразделения по производству жёстких дисков Toshiba Electronics Europe.
Что касается долгосрочных планов в сфере исследований и разработок, Toshiba сейчас занимается созданием технологии магнитной записи нового поколения, которая в дальнейшем позволит увеличить ёмкость накопителей до 20 ТБ при сохранении привычного 3,5-дюймового форм-фактора.
«Мы уверены, что жёсткие диски с применением наших новых технологий помогут ЦЕРН и в дальнейшем решать задачи в сфере масштабирования систем хранения, бюджета, энергопотребления и надёжности», дополняет Мартинес-Паломо.
Полный текст статьи читайте на Компьютерра
