Яндекс с нуля создал языковую модель на 80 млрд параметров
Яндекс разработал собственную языковую модель Alice AI Foundation LLM полностью с нуля. Как сообщили в компании, модель содержит 80 млрд параметров, из которых активными являются 3 млрд, а объём обучающих данных составил 18 трлн токенов. Разработка позиционируется как более крупная и универсальная основа для дальнейшего развития ИИ-сервисов компании.
Яндекс также опубликовал настроенные параметры модели, благодаря чему разработчики смогут самостоятельно запускать её и проводить дополнительное обучение. Лицензия разрешает использовать Alice AI Foundation LLM как в коммерческих, так и в исследовательских проектах.
В компании рассчитывают использовать новую разработку как основу для будущей модели, способной решать более сложные задачи с элементами рассуждения. Кроме того, она должна стать технологической базой для развития агентных возможностей «Алисы AI».
© iXBT
