Виртуальный суперкомпьютер по требованию
Виртуальный суперкомпьютер (vSC) — это современная альтернатива использованию собственных суперкомпьютерных мощностей для наукоемкого бизнеса и научных групп при решении ресурсоемких задач. В процессе бурного развития облачных технологий клаудизация начала проникать в наиболее сложные IT-сферы — суперкомпьютинг и распределенные вычисления. Один из возможных подходов к задаче клаудизации HPC реализован компанией HPC HUB.
Высокопроизводительные вычислительные кластера (ВВК) применяются как в чистой науке, так и в наукоемком бизнесе в различных сферах:
ВВК начали интенсивно развиваться в конце 90х как коммодити-альтернатива большим суперкомпьютерам (мэйнфреймам), поставляемых ведущими фирмами IT рынка, такими как IBM, SGI, DEC, Sun, HP, Cray, NEC, Hitachi, Siemens, Bull и т.д. Наиболее яркое отличие ВВК от традиционных суперкомпьютеров в конце 90х — это отсутствие единой ОС и, как следствие, другая структура организации вычислительной системы.
Несмотря на относительную дешевизну ВВК (в среднем в десятки раз при прочих равных) по сравнению с традиционными суперкомпьютерами, эти системы являются очень дорогими в использовании:
Таким образом, даже относительно небольшие ВВК с десятком-другим узлов, сетью малой латентности и системой хранения данных являются крайне дорогими инструментами и доступны компаниям с солидными IT бюджетами (для примера типичный кластер на 1000 ядер может стоить порядка US$ 500 тыс. при годовом обслуживании в US$ 100–150 тыс.). Но даже в случае больших IT бюджетов покупка и запуск кластера занимают месяцы, а на ВВК общего пользования возникают проблемы настройки ПО и организации доступа к нему.
Мы в HPC HUB решили направить свои усилия на решение задач нишевого потребителя, которому нужен небольшой ВВК на 10–20 узлов с сетью малой латентности и системой хранения данных терабайтного класса в краткосрочную аренду (сутки, недели, месяцы) в монопольном режиме. Основной услугой компании является сдача в аренду виртуального ВВК (второе название: виртуальный суперкомпьютер — vSC). С точки зрения пользователя vSC представляет собой обычный кластер, состоящий из головного управляющего узла, нескольких оснащенных сетью малой латентности вычислительных узлов и хранилищем объемом от 50ГБ до 10ТБ, реализованным на GFS2. Узлы имеют доступ в Интернет через NAT, доступ на управляющий узел извне открыт по 22 порту, который перенаправляется на порт туннельной виртуальной машины.
Различные vSC изолированы друг от друга, таким образом пользователь имеет полный контроль над установленным ПО в vSС, т.е. может его настраивать и модифицировать по своему усмотрению. Базовые образы vSC построены на CentOS 7.1, используют драйвера IB OFED 3.3 и систему управления заданиями SGE 8.1.3. По окончании работы пользователь может сделать снапшот состояния управляющего узла и одного из вычислительных узлов. Данный снапшот может быть использован для запуска следующего экземпляра vSC пользователя. При этом снапшот vSC может масштабироваться на любое количество вычислительных узлов.
Такой подход позволяет добиться минимального роста латентности виртуализированного Infiniband — 1.09 мкс латентность IB VF против 0.85 мкс у Infiniband без виртуализации. Топология и характеристики процессоров виртуальных счетных узлов сделаны как можно более похожими на физические узлы, поддерживаются NUMA расширения. Типичные агрегированные для всех узлов экземпляра vSC скорости обмена c GFS2 составляют 1.5–2 Гб/сек для чтения, 350–450 Мб/сек на запись, 10,000–12,000 IOPS.
Виртуальный вычислительный кластер HPC HUB предоставляет пользователям возможность доступа к ВВК терафлопного класса без существенных временных затрат и необходимости первоначальных инвестиций. При этом пользователь может настраивать ПО данного ВВК исключительно под свои задачи, что гораздо проще аналогичных процедур на системах общего пользования. Помимо своего прямого назначения — выполнения вычислений, наш виртуализированный ВВК открывает для ряд существенных, ранее отсутствовавших на рынке возможностей:
Виртуальный суперкомпьютер будет особенно полезен для распространения и продаж кластерного ПО его производителями в ранее недоступном сегменте малых и средних предприятий. Такие возможности как:
Помогут охватить производителям кластерного ПО не только пользователей с большими ИТ бюджетами в пиковых нагрузках, но и различных пользователей с разовыми проектами, включая стартапы, венчурные предприятия и даже пользователей из академической среды и государственных учреждений.
Введение
Высокопроизводительные вычислительные кластера (ВВК) применяются как в чистой науке, так и в наукоемком бизнесе в различных сферах:
- биоинформатика (расшифровка и анализ геномов, системная биология, разработка новых лекарств, в т.ч. индивидуальных);
- моделирование месторождений и обработка сейсмических данных в Oil&Gas и майнинге;
- ресурсоемкая аналитика и BigData;
- в промышленности для решения задач гидро- и аэродинамики, химической промышленности, разработки новых композитных материалов и т.д.
ВВК начали интенсивно развиваться в конце 90х как коммодити-альтернатива большим суперкомпьютерам (мэйнфреймам), поставляемых ведущими фирмами IT рынка, такими как IBM, SGI, DEC, Sun, HP, Cray, NEC, Hitachi, Siemens, Bull и т.д. Наиболее яркое отличие ВВК от традиционных суперкомпьютеров в конце 90х — это отсутствие единой ОС и, как следствие, другая структура организации вычислительной системы.
Несмотря на относительную дешевизну ВВК (в среднем в десятки раз при прочих равных) по сравнению с традиционными суперкомпьютерами, эти системы являются очень дорогими в использовании:
- Они требуют обслуживания командой высококвалифицированных специалистов, специальной площадки с охлаждением, бесперебойным питанием, высокоскоростным сетевым подключением.
- Интеграция счетного ПО и установка сопровождающего софта (переключение окружения, компиляторы, библиотеки, планировщик и т.д.) на каждый конкретный ВВК — это отдельная непростая задача, которая часто оказывается намного сложнее, чем представлялось вначале (что вообще типично для интеграции).
- Стоимость лицензий коммерческого кластерного ПО может многократно превышать стоимость самих кластеров (например, в геофизике стоимость лицензии на коммерческое ПО может начинаться с US$ 40 тыс. за 1 вычислительный узел на год).
Таким образом, даже относительно небольшие ВВК с десятком-другим узлов, сетью малой латентности и системой хранения данных являются крайне дорогими инструментами и доступны компаниям с солидными IT бюджетами (для примера типичный кластер на 1000 ядер может стоить порядка US$ 500 тыс. при годовом обслуживании в US$ 100–150 тыс.). Но даже в случае больших IT бюджетов покупка и запуск кластера занимают месяцы, а на ВВК общего пользования возникают проблемы настройки ПО и организации доступа к нему.
Современные облачные провайдеры ориентированы, как правило, на продажу одиночных виртуальных серверов, либо на небольшие их группы, но никак не на сдачу в аренду времени на ВВК или им подобных систем. В результате сложившихся тенденций, динамичные малые и средние компании практически лишены возможности краткосрочной аренды ВВК для своих нужд (например, апробации и пилотного внедрения вычислительных технологий, систем моделирования в свой бизнес, снятия пиковых нагрузок в случае наличия небольших собственных мощностей и т.п.).
Виртуальный ВВК от HPC HUB
Мы в HPC HUB решили направить свои усилия на решение задач нишевого потребителя, которому нужен небольшой ВВК на 10–20 узлов с сетью малой латентности и системой хранения данных терабайтного класса в краткосрочную аренду (сутки, недели, месяцы) в монопольном режиме. Основной услугой компании является сдача в аренду виртуального ВВК (второе название: виртуальный суперкомпьютер — vSC). С точки зрения пользователя vSC представляет собой обычный кластер, состоящий из головного управляющего узла, нескольких оснащенных сетью малой латентности вычислительных узлов и хранилищем объемом от 50ГБ до 10ТБ, реализованным на GFS2. Узлы имеют доступ в Интернет через NAT, доступ на управляющий узел извне открыт по 22 порту, который перенаправляется на порт туннельной виртуальной машины.
Различные vSC изолированы друг от друга, таким образом пользователь имеет полный контроль над установленным ПО в vSС, т.е. может его настраивать и модифицировать по своему усмотрению. Базовые образы vSC построены на CentOS 7.1, используют драйвера IB OFED 3.3 и систему управления заданиями SGE 8.1.3. По окончании работы пользователь может сделать снапшот состояния управляющего узла и одного из вычислительных узлов. Данный снапшот может быть использован для запуска следующего экземпляра vSC пользователя. При этом снапшот vSC может масштабироваться на любое количество вычислительных узлов.
Реализация vSC построена на базе облачного ПО OpenStack и системы хранения данных Ceph. Виртуальные машины пользовательских узлов управляются гипервизором KVM. Для виртуализации сети малой латентности используется технология SR-IOV. В виртуальные машины счетных узлов импортируется одна из виртуальных функций Infiniband адаптера.
Такой подход позволяет добиться минимального роста латентности виртуализированного Infiniband — 1.09 мкс латентность IB VF против 0.85 мкс у Infiniband без виртуализации. Топология и характеристики процессоров виртуальных счетных узлов сделаны как можно более похожими на физические узлы, поддерживаются NUMA расширения. Типичные агрегированные для всех узлов экземпляра vSC скорости обмена c GFS2 составляют 1.5–2 Гб/сек для чтения, 350–450 Мб/сек на запись, 10,000–12,000 IOPS.
Аренда и развертывание vSC может быть осуществлена в течение нескольких минут с сайта hpchub.net. Минимальный период времени аренды сейчас составляет одни сутки, но мы планируем осуществить переход на более мелкие периоды тарификации в ближайшее время по мере роста нашего облака. Таким образом снимается неприятное ограничение связанное с большим временем организации доступа к суперкомпьютерным мощностям.
Выводы
Виртуальный вычислительный кластер HPC HUB предоставляет пользователям возможность доступа к ВВК терафлопного класса без существенных временных затрат и необходимости первоначальных инвестиций. При этом пользователь может настраивать ПО данного ВВК исключительно под свои задачи, что гораздо проще аналогичных процедур на системах общего пользования. Помимо своего прямого назначения — выполнения вычислений, наш виртуализированный ВВК открывает для ряд существенных, ранее отсутствовавших на рынке возможностей:
- использование виртуализированного ВВК для разработки и тестирования приложений;
- использования ВВК как быстрой и легко масштабируемой демо площадки;
- использования ВВК для продажи кластерного ПО «в розницу» (краткосрочная аренда ПО).
Виртуальный суперкомпьютер будет особенно полезен для распространения и продаж кластерного ПО его производителями в ранее недоступном сегменте малых и средних предприятий. Такие возможности как: - гибкость,
- легкое масштабирование,
- предустановленное сложное кластерное ПО с возможностью аренды лицензий на данное ПО с малым квантом времени
Помогут охватить производителям кластерного ПО не только пользователей с большими ИТ бюджетами в пиковых нагрузках, но и различных пользователей с разовыми проектами, включая стартапы, венчурные предприятия и даже пользователей из академической среды и государственных учреждений.
