Titan: суперкомпьютер или огромная консоль?
Год назад лаборатория Министерства Энергетики в Ок-Ридже, США, выпустила отчёт о прощании с суперкомпьютером Titan, который для своего времени стал выдающейся машиной. Он сделал скачок в вычислительной мощности и взял ТОП-1 среди мощнейших компьютеров мира.
В этом материале мы поговорим о том, что его связывает с игровыми консолями и с чем игрались учёные. А также попытаемся распутать клубок родственных взаимосвязей, по своему масштабу схожих с санта-барбарой. Приготовьтесь, вас ждёт историко-технический, ядерный и тектонический экскурс!
Операции с плавающей запятой
Что за запятая и на каком курорте она плавает? Можно было бы рассказать про мантиссу, порядок и знак. Но кто знает, тот умничка, а остальным в данной статье это не понадобится.
Вместо этого нужно уточнить, что компьютер не думает логически. У него в голове в памяти есть конечное количество 0 (нулей) и 1 (единиц). Он ими записывает разные числа, складывает, вычитает, умножает, переписывает значения и выдаёт результат.
Даже нейросети, которым приписывают свойства думать, на самом деле являются наследием теории конечных автоматов. С другой стороны, данный раздел математики настолько зубодробителен, что проще поверить в то, что машина обдумала что-то сама.
Так вот, числа у нас стремятся в бесконечность, а записывать их как-то надо. Вот для этого и используется система с плавающей запятой, которая позволяет запихнуть в компьютер дроби и огромные значения. И более того, такой порядок вещей является мировым стандартом. Поэтому и производительность измеряют в операциях с плавающей запятой. Десяток таких операций — флопс. А тысяча — килофлопс и так далее.
Наследие Ягуара
Наш сегодняшний герой не появился из ниоткуда. Он не был спроектирован с абсолютного нуля, на самом деле его появление обязано гонке вооружений в мире суперкомпьютеров. Такой принцип знаком каждому, кто хоть раз собирал себе игровой компьютер: поставлю пока это, а потом обновлю….
Проследим хронологию роста суперкомпьютера Jaguar:
За точку отсчёта возьмём суперкомпьютер Cray XT3, который не сильно походит на пятнистую кошку в леопардовом раскрасе Ягуара в расцвете сил, но упоминается национальной Лабораторией Ок-Ридж, как основа для Jaguar.
В 2005 году система имела мощность в 26 терафлопс (триллионов операций в секунду). Этого показалось мало и в 2006 году 5212 одноядерных процессоров заменили на двухъядерные, что помогло достичь результата в 54 терафлопса. Оперативную память расширили до 21 терабайта.
К концу этого года (2006 г.) мощность вычислительной базы Министерства энергетики превысит 100 терафлопс, а к 2009 году вырастет до петафлопа, или 1 квадриллиона математических вычислений в секунду. — Отметили тогда в руководстве лаборатории.
Во дворе им бы подтянули за слова, так как 119 терафлопс были достигнуты лишь в 2007 году. Для этого потребовалось добавить 11 708 двухъядерных процессоров AMD Opteron. Естественно, пришлось раскошелиться и расширить ОЗУ до 46 терабайт.
В следующем году часть камешков заменили на четырехъядерные, к сожалению, точное их количество найти не удалось. А к концу 2008 года Jaguar скакнул до отметки в 1648 терафлопс или на наши деньги 1,64 петафлопс (квадриллион операций в секунду). Спасибо 182 000-м ядер, которые были получены за счёт двухъядерных и четырехъядерных процессоров вычислительных машин XT5 и XT4, которые постепенно заменили собой одну систему XT3…
Вывод из этой главы: петафлопсовый барьер перешагнули раньше, чем хотели. Но и этого оказалось мало.
Перерождение в Титана за счёт технологий консолей
В 2009 году Jaguara ждало последнее обновление. Компьютер XT5, который был частью ягуара, получил шестиядерные процессоры. Но продержаться на лидирующей позиции получилось недолго, уже в октябре 2010 года лидером стал китайский суперкомпьютер Tianhe-1A, с показателем 2,57 петафлопс.
Мы создадим на основе Jaguar новую машину, которая сможет занять первое место с предполагаемой максимальной производительностью 20 петафлопс. — Отметили тогда создатели Ягуара.
Забавность ситуации заключается в том, что китайские специалисты не стали наращивать мощность за счёт огромного количества процессоров, а сделали связку из CPU и GPU. Да, Майнеры, эксплуатировать видеокарты придумали не вы….
Как это работает?
По своей архитектуре, центральный и графический процессоры отличаются. Первый является универсальным бойцом, который вам и ось прокрутит, и браузер покажет, а вот видеопроцессор предназначен для строгой работы с вычислениями.
Для этого у него имеются даже не десятки, а тысячи графических ядер, на которые распараллеливается задача. В базовом варианте это отрисовка пикселей на экране или же просчёт векторов, которые определяют то, как упадёт поваленный вами босс в очередной MMO RPG.
Если не вдаваться в подробности, то за один такт GPU произведёт в тысячи раз больше однородных вычислений, чем CPU. Это удобно при параллельном выполнении команд, но не годится для последовательных задач, с которыми лучше справляется CPU.
Как это помогло Titan-y
В 2012 году в эксплуатацию ввели новую систему Cray XK7. Всему миру она известна, как Titan. В первую очередь инженерам пришлось спроектировать тройную систему охлаждения: хладагент, холодная вода и воздух.
Затем дело встало за малым: собрать 18 688 узлов или 2336 плат. Каждая плата содержала четыре 16-ядерных процессор AMD Opteron 6274, 128 ГБ оперативной памяти DDR3 и четыре графических чипа NVIDIA Tesla K20X, в подчинении каждого из которых сразу 6 ГБ видеопамяти DDR5. Суммарная вычислительная мощность суперкомпьютера составила 17,59 петафлопс.
Получившийся суперкомпьютер был в 5 раз энергоэффективнее предшественника, но счета за электричества достигали 9 млн. долларов в год.
Даже сейчас 18 688 таких процессоров обойдутся вам в 999,326 миллионов рублей (из расчёта 705$ за штуку по цене с Amazon). Видеокарты намного дешевле — 165 миллионов рублей. Заказать отдельные кристаллы не получится, зато на Ebay в продаже множество видеокарт. А вот за 598 016 ГБ оперативной памяти готовьтесь отдать 335 миллионов рублей (74 752 плашки Kingston KVR16S11 по 8 ГБ каждая, то, что нужно для пары вкладок в Chrome).
Если посетить, прости господи, википедию, то там говорится о 710 ТБ оперативной памяти, но на деле 112 128 ГБ — видеопамять типа DDR5, а ОЗУ в системе DDR3… Честно ли их объединять? НЕТ, НЕЕЕЕЕТ, но для громкого словца в новостях так и писали… эх
К слову, в качестве постоянной памяти использовались стандартные HDD 2,5 со скоростью чтения 7500 RPM. А всё потому, что ресурс и стоимость SSD в те года делали потенциальную систему крайне дорогой. Сейчас же 40 петабайт равняются 10 417 «серверным» дискам Kingston DC500M на 3,84 ТБ каждый. Почему выбрали именно их? Смотрите тут, более исчерпывающего сравнения серверных решений у нас нет.
За такое удовольствие придётся отдать 564 млн рублей, суммарно всё перечисленное железо встанет чуть дороже 2 млрд. рублей, или 27 млн. долларов. И это при том, что создатели Titan-а потратили на апдейт Jaguar-а 60 млн. баксов.
Отвлеклись, возвращаемся в русло. Titan, благодаря своей исключительной мощности, стал способен моделировать физические процессы с большей точностью, чем его предшественники. Из-за этого в лабораторию поступило около сотни заявок на проведение исследований с участием Titan-а, одобрили только 61 проект.
Никаких игр, всё серьёзно!
Суперкомпьютер позволит сделать скачок в 3D моделировании, позволяя исследователям буквально предсказывать физические процессы. А всё из-за использования кучки графических процессоров.
Основным из таких проектов стало моделирование поведения термоядерного реактора. Сама система контроля и удержания плазмы ТАКАМАК была разработана ещё в СССР, а в 2000-ом стала частью международного проекта iTER.
Сам реактор начали возводить только в 2020 году, тогда, когда сам Titan уже не работал. Но именно с его помощью удалось смоделировать работу реактора.
Чтобы вы понимали масштаб проблемы, термоядерный реактор можно сравнить с огромным чайником, только стенки представляют из себя магниты, а внутри бурлит плазма, чья температура в 10 раз больше температуры солнца. А главный её прикол в том, что ядра и электроны живут в ней отдельно.
Реактор буквально заставляет два ядра столкнуться. Он как диджей на клёвой дискотеке, создаёт все условия для того, чтобы публика двигалась. И когда столкновение происходит, высвобождается огромное количество энергии. Строящийся iTER обещает давать 500 Мегаватт тепловой энергии, при затратах на реакцию в 50 мегаватт. В природе такой эффект встречается среди звёзд, но наша планета не сильно походит на открытый космос…
Зато дейтерия и трития, которые используют для тусовки столкновений, на нашей с вами планете очень много. Насколько? Примерно на 25 миллиардов лет работы одного реактора.
В результате реакции энергия от нейтронов становится электричеством, а побочным эффектом является гелий. И всё, никакой радиации и вредных выбросов. Открываем рядом фабрику воздушных шариков и зарабатываем на реакции дополнительную копейку.
От азов курса ядерной физики переходим к географии. Если помните, а хотя напомним. Наша планета имеет жидкое и очень горячее ядро — по мере отдаления от него к поверхности, повышается плотность и снижается температура отдельных слоёв земли.
Сейсмическая активность на нашей планете связана с движением огромных тектонических плит. Они больше материков, глубже океанов и частенько становятся виновниками разрушительных последствий на поверхности планеты: цунами, извержения вулканов и так далее.
Работа компьютера Titan позволила создать 3D карту внутренней части земли. Для этого учёные перенесли в модель данные о зафиксированных сейсмических волнах, их мощности и заметности в разных уголках земли. А дальше машина смоделировала их распространение, сделав выводы о плотности и характеристиках веществ, через которые проходили волны.
Ведь чем горячее и жиже слой, тем больше он поглощает колебания. Таким образом были сделаны выводы о строении планеты на глубине вплоть до 2800 км, при расположении тектонических плит, виновников колебаний, на глубине до 200 км. В результате получилась сейсмическая томография, своеобразное узи планеты.
Ближе к концу жизни Titan-a, удалось провести моделирование последствий от предполагаемых разломов и сдвигов тектонических плит. Компьютер научился просчитывать вероятность землетрясений на ближайшие 50 лет и прогнозировать последствия от каждого возможного колебания, причём как низкой частоты, так и высокой. Краткий экскурс: от низкой частоты сыплются мосты и небоскрёбы, а частные дома страдают от высокочастотных колебаний.
Увлекательным выглядит исследование космического ветра. Это далеко не тот сквозняк, который гуляет у вас по квартире. В природе ветер образуется из-за разности давления в разных точках земли, из-за чего воздушные массы выходят на прогулку.
В космосе источником ветра становятся звёзды. Они высвобождают энергию, а иногда и взрываются, что приводит к огромным всплескам газа и частиц. Из которых потом создаются новые светила.
Так вот, Titan построил точную модель звёздного ветра. А ведь он далеко не безобиден, так как частицы в нём развивают скорость в миллионы километров в час. Такой же бриз норовит сдуть с нашей планеты атмосферу и человечество, но ему мешает магнитное поле. А когда магнитное поле перенапряжено, то на полюсах планеты заметно северное сияние.
Результаты исследования приблизили учёных к пониманию того, что происходит при столкновении космического ветра с диском целой галактики.
Закат Titan-а
Следом за ним появятся машины мощностью 100, а затем и 1000 терафлопс. Они будут не сильно больше, но инженерам удастся уйти от дорогостоящей системы охлаждения и повысить энергоэффективность. Современные суперкомпьютеры редко заняты одной задачей, в отличие от прорывного, для своего времени, Титана.
На момент начала вывода из эксплуатации, что случилось в июне 2019 года, суперкомпьютер занял 12 строчку в рейтинге самых мощных вычислительных машин мира. Тем не менее он потреблял воды и электричества как маленький город с 3–4 тысячами жителей.
На один слив хладагента ушло 3 дня. А сами шкафы никто не разбирал, от них лишь отсоединили кабели и охлаждение, после чего транспортировали на завод Cray. Там не щадили ничего, кроме памяти, которая была перепродана. Остальные комплектующие разделили по группам металлов и пустили на переработку.
Если вам кажется, что это жестоко, то учтите, что за 7 лет работы суперкомпьютера технический прогресс шагнул далеко вперёд. Сейчас реальная мощность Titan-а сопоставима с 1711 консолями PS5.
Если учесть, что при построении суперкомпьютера использовать серверные шкафы 42U, то в один такой шкаф с зазором в 5 см поместится 18 консолей. А на все 1711 консолей PS5 уйдёт 95 шкафов, против двух сотен, которые занимал Titan.
А каждая консоль потребляет примерно 47 ватт, все вместе они сожрут 80,4 киловатта, против 80 Мегаватт, которые нужны были суперкомпьютеру. Занимательный факт: военные из США в 2010 году объединили 1760 консолей Playstation 3 в единую сеть Condor Cluster и обрабатывали изображения с беспилотников.
Так что, легко объясняется то, что после 7 лет вычислений, Titan-а отстранили от научной работы. Он освободил помещение лаборатории для следующего вычислительного гиганта, более мощного и энергоэффективного.
Для получения дополнительной информации о продуктах Kingston Technology обращайтесь на официальный сайт компании.
