Опубликована 64 редакция рейтинга самых высокопроизводительных суперкомпьютеров19.11.2024 18:30

Опубликован 64-й выпуск рейтинга 500 самых высокопроизводительных компьютеров мира. Первое место в 64 редакции рейтинга занял новый кластер El Capitan, запущенный в Ливерморской национальной лаборатории Министерства энергетики США. Кластер насчитывает 11 миллионов процессорных ядер (CPU AMD EPYC 24C 1.8GH с ускорителем AMD Instinct MI300X) и обеспечивает производительность 1.742 экзафлопса. В качестве операционной системы применяется HPE Cray OS (редакция SUSE Linux Enterprise Server 15).

Смещённый на второе место прошлый лидер рейтинга, кластер Frontier, размещённый в Ок-Риджской национальной лаборатории Министерства энергетики США, модернизирован — число процессорный ядер (CPU AMD EPYC 64C 2GHz, ускоритель AMD Instinct MI250X) увеличено с 8.7 до 9 млн, что позволило повысить производительность с 1.206 до 1.353 экзафлопсов.

Со второго на третье место переместился кластер Aurora, развёрнутый в Аргоннской национальной лаборатории Министерства энергетики США. Кластер содержит 9.2 млн процессорных ядер (CPU Xeon CPU Max 9470 52C 2.4GHz, ускоритель Intel Data Center GPU Max) и обеспечивает производительность 1.012 экзафлопса. В качестве операционной системы в Aurora используется SUSE Linux Enterprise Server 15 SP4.

С третьего на четвёртное место сместился кластер Eagle запущенный в начале года компанией Microsoft для облака Azure. Кластер содержит 2 млн процессорных ядер (CPU Xeon Platinum 8480C 48C 2GHz) и демонстрирует пиковую производительность в 561 петафлопс. Программное обеспечение кластера базируется на Ubuntu 22.04.

Пятое место занял новый кластер HPC6, развёрнутый в итальянской нефтегазовой компании «Эни». Кластер содержит 3 млн процессорных ядер (AMD EPYC 64C 2GHz) и демонстрирует пиковую производительность в 477 петафлопс. Программное обеспечение кластера базируется на RHEL 8.9.

Что касается отечественных суперкомпьютеров, то созданные компанией Яндекс кластеры Червоненкис, Галушкин и Ляпунов опустились с 42, 69 и 79 мест на 60, 86 и 99 места. Данные кластеры созданы для решения задач машинного обучения и обеспечивают производительность 21.5, 16 и 12.8 петафлопса соответственно. Кластеры работают под управлением Ubuntu 16.04 и оснащены процессорами AMD EPYC 7xxx и GPU NVIDIA A100: кластер Chervonenkis насчитывает 199 узлов (193 тысячи ядер AMD EPYC 7702 64C 2GH и 1592 GPU NVIDIA A100 80G), Galushkin — 136 узлов (134 тысячи ядер AMD EPYC 7702 64C 2GH и 1088 GPU NVIDIA A100 80G), Lyapunov — 137 узлов (130 тысяч ядер AMD EPYC 7662 64C 2GHz и 1096 GPU NVIDIA A100 40G).

Развёрнутый Сбербанком кластер Christofari Neo опустился с 83 на 104 место. Christofari Neo работает под управлением NVIDIA DGX OS 5 (редакция Ubuntu) и демонстрирует производительность 11.95 петафлопса. Кластер насчитывает более 98 тысяч вычислительных ядер на базе CPU AMD EPYC 7742 64C 2.25GHz и поставляется с GPU NVIDIA A100 80GB. Второй кластер Сбербанка (Christofari) за полгода сместился с 142 на 172 место в рейтинге.

В рейтинге также остаётся ещё один отечественный кластер: Lomonosov 2, который сместился с 406 на 453 место (в 2015 году кластер Lomonosov 2 занимал 31 место, а его предшественник Lomonosov в 2011 году — 13 место). Кластер MTS GROM, который в прошлом рейтинге занимал 472 место, выбыл из списка 500 самых производительных систем. Таким образом, число отечественных кластеров в рейтинге уменьшилось с 7 до 6 систем (для сравнения в 2020 году в рейтинге было 2 отечественные системы, в 2017 году — 5, а в 2012 году — 12).

Наиболее интересные тенденции:

  • Распределение по количеству суперкомпьютеров в разных странах:
    1. США: 172 (171 — полгода назад). Суммарная производительность оценивается в 55.2% всей производительности рейтинга (полгода назад — 34.2%);

    2. Китай: 63 (80). В сумме китайские кластеры генерируют 2.7% от всей производительности (полгода назад — 16%);

    3. Германия: 41 (40). Суммарная производительность — 3.5% (8%);

    4. Япония: 34 (29). Суммарная производительность — 8% (5.8%);

    5. Франция: 24 (24). Суммарная производительность — 2.5% (4.8%);
    6. Великобритания: 14 (16);
    7. Южная Корея 13 (13);
    8. Италия: 13 (11). Суммарная производительность — 7.1% (4%);
    9. Нидерланды: 10 (9);
    10. Канада 10 (10);
    11. Бразилия 9 (8);
    12. Польша: 8 (8);
    13. Швеция 8 (7);
    14. Саудовская Аравия 7 (8);
    15. Тайвань: 7 (6);
    16. Индия: 7 (4);
    17. Норвегия: 6 (5);

    18. Россия 6 (7);

    19. Швейцария 5 (5);
    20. Австралия 4 (5);
    21. Ирландия 4 (4);
    22. Сингапур: 4 (3);
    23. Чехия: 3 (3);
    24. Испания: 3 (3).
    25. Финляндия: 3 (3);
    26. Австрия: 3;

    27. Объединённые Арабские Эмираты: 3.

  • В рейтинге операционных систем, используемых в суперкомпьютерах, c ноября 2017 года остаётся только Linux;

  • Распределение по дистрибутивам Linux (в скобках — 6 месяцев назад):

    • 38.2% (42.4%) используют системы на базе Linux, но не детализируют дистрибутив;

    • 17.4% (16.8%) — RHEL;
    • 10.2% (8.4%) — Ubuntu;
    • 8.4% (9.4%) CentOS;

    • 8.4% (9.2%) — Cray Linux;

    • 4.2% (4.4%) — SUSE;
    • 4% (3%) — Rocky Linux;
    • 1% (1.2%) — Alma Linux;
    • 0.2% (0.2%) — Amazon Linux

  • Минимальный порог производительности для вхождения в Top500 за 6 месяцев составил 2.31 петафлопса (полгода назад — 2.13 петафлопса). Десять лет назад лишь 51 кластер показывал производительность более петафлопса. Для Top100 порог вхождения вырос с 9.46 до 12.8 петафлопсов, а для Top10 — со 121.4 до 208 петафлопсов.

  • Суммарная производительность всех систем в рейтинге за 6 месяцев возросла с 8.2 до 11.7 экзафлопсов (пять лет назад было 1.65 экзафлопса, десять лет назад — 0.31 экзафлопса). Система, замыкающая нынешний рейтинг, в прошлом выпуске находилась на 454 месте.

  • Общее распределение по количеству суперкомпьютеров в разных частях света выглядит следующим образом: 181 суперкомпьютер находится в Северной Америке 181 (181 — полгода назад), 161 в Европе (157), 143 в Азии (147), 10 в Южной Америке (9), 4 в Океании (5) и 1 в Африке (1).

  • В качестве процессорной основы лидируют CPU Intel — 61.8% (полгода назад было 62.8%), на втором месте AMD 32.4% (31.4%), на третьем Fujitsu A64FX — 1.8% и NVIDIA Grace — 1.8%, на четвёртом IBM Power — 0.8% (было 1.2%).

  • 21.4% (полгода назад 20%) всех используемых процессоров имеют 64 ядра, 17.2% (17.8%) — 24 ядра, 10.2% (9.4%) — 32 ядра, 8.4% (5.8%) — 48 ядер, 7.6% (9%) — 20 ядер, 7.4% (4.4%) — 56 ядер, 4.6% (5.4%) — 16 ядер, 4.6% (5.6%) — 18 ядер, 4.4% (5.2%) — 28 ядер, 2% — 96 ядер. Суммарное число процессорных ядер во всех кластерах рейтинга за полгода увеличилось с 114.6 млн до 128.7 млн.

  • 209 из 500 систем (полгода назад — 196) дополнительно используют ускорители или сопроцессоры, при этом в 183 (142) системах задействованы чипы NVIDIA, в 19 (14) — AMD, в 1 (1) — Intel Xeon Phi, в 4 (4) — Intel DataCenter GPU, в 1 (1) — Matrix-2000.

  • Среди производителей кластеров на первом месте закрепилась компания Lenovo — 32.4% (полгода назад 32.6%), на втором месте компания Hewlett-Packard Enterprise — 23% (22.4%), на третьем месте компания EVIDEN — 10.4% (9.8%), далее следуют Dell EMC 7.4% (6.8%), NVIDIA 5.2% (4.4%), Fujitsu 3% (2.8%), NEC 2.8% (2.8%), Inspur — 2.2% (4.4%), Microsoft Azure — 1.6% (1.4%), Penguin Computing — 1.4% (1.4%), MEGWARE 1.4% (1.4%), IBM 0.6% (1%), Sugon 0.6% (1%), Supermicro 0.6%.

  • InfiniBand применяется для связи узлов в 50.6% (полгода назад 47.8%) кластеров, Ethernet используется в 37.4% (39%) кластеров, Omnipath — 6.2% (6.4%). Если рассматривать суммарную производительность, то системы на базе InfiniBand охватывают 33.6% (39.2%) всей производительности Top500, а Ethernet — 58.1% (48.5%).

Одновременно опубликован новый выпуск альтернативного рейтинга кластерных систем Graph 500, ориентированного на оценку производительности суперкомпьютерных платформ, связанных с симулированием физических процессов и задач по обработке больших массивов данных, свойственных для таких систем. Рейтинги Green500, HPCG (High-Performance Conjugate Gradient) и HPL-AI объединены с Top500 и отражаются в основном рейтинге Top500.

Дополнительно можно отметить релиз кластерной файловой системы Lustre 2.16, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты. Код проекта распространяется под лицензией GPLv2. В новой версии реализована полноценная поддержка работы Lustre в сетях IPv6, используя компоненты LNet (Lustre Network) и LND (Lustre Network Daemon). Также проведена оптимизация обработки содержимого больших каталогов и добавлена поддержка RHEL 9.4 и Rocky Linux 9.4.



Источник: http://www.opennet.ru/opennews/art.shtml? num=62256

©  OpenNet