Суперкомпьютеры «Яндекса» «Червоненкис», «Галушкин» и «Галунов» заняли 19, 36 и 40 место в рейтинге топ-500 мира
Суперкомпьютер «Червоненкис» в дата-центре Яндекса в Сасове, Рязанская область.
15 ноября 2021 года «Яндекса» сообщил, что его три суперкомпьютера «Червоненкис», «Галушкин» и «Галунов» заняли 19, 36 и 40 место в рейтинге топ-500 суперкомпьютеров мира. Три высокропроизводительные системы компании стали самыми мощными среди суперкомпьютеров СНГ, обойдя Christofari Neo и Christofari от «Сбера».
Суперкомпьютеры «Яндекса» названы в честь советских и российских ученых, которые внесли вклад в теорию машинного обучения и компьютерные науки. Система «Ляпунов» введена в эксплуатацию в декабре 2020 года, а «Червоненкис» и «Галушкин» — в июне 2021 года. Суперкомпьютеры «Яндекса» построены на базе процессоров AMD EPYC и графических ускорителей NVIDIA A100 с интерконнектом InfiniBand на базе коммутаторов Mellanox. В их основе лежит архитектура NVIDIA HGX A100, оптимизированная для задач машинного обучения, которые стоят перед «Яндексом». Использование данной архитектуры позволило разработчикам систем увеличить размер кластера и обучать самые большие ML-модели примерно вдвое быстрее, чем при стандартной архитектуре.
Самый мощный из них «Червоненкис», он имеет пиковую производительность 21,53 петафлопса. У «Галушкина» 16,02 петафлопса, а мощность «Ляпунова» составляет 12,81 петафлопса.
«Червоненкис» именовал так в честь Алексея Червоненкиса, одного из крупнейших теоретиков машинного обучения. Его характеристики: 199 вычислительных узлов, мощность 21,53 петафлопса, 25 472 ядер, 1 592 NVIDIA A100 80G, оперативная память 199 ТБ, энергопотребление 583 кВт.
«Галушкин» назван в честь Александра Галушкина, одного из главных исследователей теории нейронных сетей. Его характеристики: 136 вычислительных узлов, мощность 16,02 петафлопса, 17 408 ядер, 1 088 GPU NVIDIA A100 80G, оперативная память 136 ТБ, энергопотребление 330 кВт.
«Ляпунов» получил имя в честь Алексея Ляпунова — знаменитого математика, чьи работы лежат в основе компьютерных наук. Его характеристики: 137 вычислительных узлов, мощность 12,81 петафлопса, 17 536 ядер, 1 096 NVIDIA A100 40G, оперативная память 68,5 ТБ, энергопотребление 323 кВт.
Высокопроизводительные системы «Червоненкис» и «Ляпунов» расположены в дата-центре «Яндекса» в Сасове, Рязанская область. Суперкомпьютер «Галушкин» размещен в дата-центре компании во Владимире.
«Яндекс» рассказал, что в составе каждого суперкомпьютера объединены более сотни серверов, или вычислительных узлов, связанных высокоскоростной сетью Infiniband HDR. Высокопроизводительные компьютерные системы «Червоненкиса» и «Галушкина» созданы по проектам разработчиков из «Яндекса». В них используется оптимизированная система отвода тепла. Она помогает тратить меньше электроэнергии на охлаждение серверов
«Яндекс» уточнил, что задействует свои суперкомпьютеры для обучения нейросетей. Например, благодаря им сервис «Яндекс.Переводчик» точнее и быстрее переводит тексты, картинки и видео, а «Яндекс.Директ» отбирает более релевантную рекламу. А «Яндекс.Поиску» языковые модели из семейства YaLM (Yet another Language Model), вдохновленные GPT-3 от компании Open AI, помогают составлять и ранжировать быстрые ответы. Суперкомпьютеры «Яндекса» научили голосовой помощник «Алису» поддерживать живой диалог с пользователями.
Согласно статистике «Яндекса» по использованию трех его суперкомпьютеров в октябре, 500 сотрудников компании решили на них более 200 тыс. задач. Одновременно на трех компьютерах решалось до 3 500 задач, а за 32 секунды выполнялась самая короткая задача. Медианное время выполнения задачи составило 11 минут. На самую трудоемкую задачу ушло 25 дней.
11 ноября 2021 года «Сбер» представил свой второй суперкомпьютер — Christofari Neo. Его эффективная производительность в двойной точности составляет почти 12 петафлопс (11.95 PFLOPs). Вторая модель суперкомпьютера «Сбера» создана на базе технологий Nvidia, в его основе графические процессоры Nvidia A100 с 80 ГБ памяти, причем там их установлено более 700 штук.
Первый суперкомпьютер «Сбер» Christofari был запущен в конце 2019 года также в партнерстве с компанией Nvidia на основе высокопроизводительных узлов Nvidia DGX-2, оснащенных вычислительными ускорителями Tesla V100. Производительность первого суперкомпьютера «Сбера» в проведенных тестах достигала 6,669 петафлопс (пиковая производительность 8,789 петафлопс).
Christofari и Christofari Neo от «Сбера» в новом рейтинге топ-500 мира заняли 43 и 72 места, а в топ суперкомпьютеров СНГ теперь на 4 и 5 местах.
