Компания Cerebras Systems представила новый вычислительный комплекс Andromeda
Cerebras Systems запустила уникальный вычислительный комплекс Andromeda для выполнения серьёзных нагрузок с помощью искусственного интеллекта. В основе вычислительного комплекса лежит кластер из 16 блоков Cerebras CS-2, объединённых 96,8-Тбит/с фабрикой. Каждый из блоков снабжён чипом WSE-2, насчитывающим 850 тысяч ядер, а общее число ядер составляет 13,5 млн. Также в состав каждого чипа входят 40 Гбайт сверхбыстрой памяти.
Этот суперкомпьютер использует 284 односокетных сервера с процессорами AMD EPYC 7713, а общее количество вычислительных ядер общего назначения составляет 18176. В каждый сервер установлено 128 Гбайт ОЗУ, NVMe-накопитель обёмом 1,92 Тбайт и две сетевые карты 100GbE. Эти узлы ответственны за предварительную обработку информации.
Разработчики утверждают, что производительность системы боль 1 Эфлопс на «разреженных» вычислениях, а при FP16-вычислениях достигает 120 Пфлопс.
Возможно, этот компьютер первый в мире, обеспечивающий практически идеальное линейное масштабирование при работе с GPT-моделями (GPT-3, GPT-J, GPT-NeoX и так далее). То есть при каждом удвоении числа комплексов CS-2 время обучения моделей уменьшается почти в два раза.
Сейчас система установлена в дата-центре Colovore в Санта-Кларе (США, штат Калифорния). Её стоимость составила примерно $30 млн. Развёртывание самой системы составило три дня, а ресурсами Andromeda могут пользоваться несколько клиентов.
Систему уже могут заказать коммерческие или научные организациям.
