Темы



Яндекс выложил в опенсорс свою новую ИИ-модель, обученную с нуля

yandex-og-ru.png


Яндекс выложил в опенсорс Alice AI Foundation LLM — претрейн-версию своей новой большой языковой модели, обученной полностью с нуля. Модель показывает высокие результаты в программировании и способности к рассуждениям, а по качеству ответов на русском языке превосходит многие мировые аналоги — особенно в задачах на знание фактов, интересных русскоязычной аудитории. Она обгоняет в том числе более крупные опенсорс-модели, не требуя при этом больших вычислительных мощностей для инференса. Разработчики могут использовать её как в исследовательских, так и в коммерческих проектах благодаря свободной лицензии Apache 2.0.

Новая модель — это экспериментальная версия, на которой Яндекс тестирует  архитектурные решения для своей будущей единой рассуждающей модели (ЕРМ). Рассуждающая модель ляжет в основу агентных возможностей Алисы AI, благодаря которым пользователи смогут поручать ей выполнение конкретных действий.

Качество модели

Alice AI Foundation LLM работает на архитектуре MoE (Mixture of Experts) и включает 80 миллиардов параметров, из которых в моменте активны только 3 миллиарда — это обеспечивает исключительную скорость и экономичность её работы. 

В модель заложены способности к рассуждению и работе в агентных сценариях. За счёт этого она показывает высокую эффективность в сложных логических заданиях и программировании. Например, на олимпиадных задачах по математике она делит лидерство с Qwen3.5–35B-A3B-Base, решая подавляющее большинство заданий. А в тестах на написание кода превосходит модель компании NVIDIA Nemotron-3-Super-120B-Base — несмотря на то, что использует в четыре раза меньше активных параметров. Качество в ризонинге и программировании — необходимый навык для эффективной работы агентов, способных выполнять действия по поручению пользователя.

При компактном размере и меньшей требовательности к вычислительным мощностям новая модель обходит на задачах, где нужны широкие фактические знания, и более крупные открытые модели — например, DeepSeek-V4-Flash-Base с 284 млрд параметров и 13 млрд активных. Бенчмарки для оценки знания фактов показывают, что новая модель отвечает на уровне предыдущей закрытой модели Яндекса Alice AI LLM, у которой в три раза больше параметров и в семь раз больше активных. 

Новые бенчмарки

Для оценки знаний модели, актуальных для русскоязычных пользователей, Яндекс разработал два собственных бенчмарка — WikiWebFacts и HardMultiQA. Первый состоит из пар «короткий вопрос — короткий ответ» и проверяет знание дат, определений, событий и персоналий на основе материалов онлайн-энциклопедий и частотных агрегированных поисковых запросов. Второй, HardMultiQA, построен на основе анонимизированного потока запросов к Алисе AI и охватывает более редкие области знаний: от медицины и права до IT и искусства. В этих задачах недостаточно вспомнить один факт: модель должна выбрать несколько верных вариантов из списка, перечислить сразу несколько фактов, подходящих под условие вопроса, или найти фактическую ошибку в тексте.

Новые бенчмарки создавались для оценки русскоязычных знаний модели, так как англоязычные бенчмарки не позволяют оценить их объективно. Оба бенчмарка компания выложила в открытый доступ вместе с моделью, чтобы разработчики и исследователи могли сами воспроизвести результаты и сравнивать между собой любые модели. Вместе с наборами задач компания публикует эталонные ответы и полный протокол оценки.

Инженерные решения

При обучении модели разработчики Яндекса улучшили работу оптимизатора — программы, управляющей процессом обучения. Они перестроили его так, чтобы пересылка данных между видеокартами шла параллельно с вычислениями. Это позволило ускорить шаги оптимизации примерно в два раза.

Яндекс также оптимизировал подготовку качественных обучающих данных — для их отбора требовалось оценивать документы с помощью ресурсоёмкой модели. Её запуск на всём корпусе потребовал бы более 200 тысяч часов работы видеокарт. Теперь перед такой оценкой документы проходят через каскад классификаторов. На каждом этапе более сложная и вычислительно затратная модель работает с меньшим количеством документов. Это позволило в десятки раз сократить количество вычислений и при этом сохранить около 95% полезных документов. Кроме того, инженеры значительно обогатили базу знаний модели в области права, медицины и математики. 

Новая модель предоставляется под лицензией Apache 2.0, что позволяет свободно использовать её в коммерческих и исследовательских целях. Она уже прошла основной этап обучения, от которого зависят её эрудированность, способности и потенциал. Это позволяет использовать её как основу для создания собственных проектов. 

Модель, технические отчёты и бенчмарки уже доступны на платформе Hugging Face, а техрепорт — на Хабре.



Контакты:

Пресс-служба компании «Яндекс»
Татьяна Репина
Тел.:  +7 495 739–70–00
Электронная почта:  pr@yandex-team.ru


Источник: Яндекс