Американские разработчики привили китайской ИИ-модели Alibaba Qwen3.8 западные ценности
- Nous Research переобучила Alibaba Qwen3.8-27B и переименовала её в Arete, используя открытую модель Inkling.
- На 50 млн токенов доля ответов с пропагандой снизилась с 22% до 1%.
- Фактическая точность Arete выросла с 2,32 до 2,98 балла по пятибалльной шкале.
Почему это важно: Разработчики объяснили проект тем, что китайские модели с открытыми весами могут содержать поведение, отвечающее государственной идеологии Китая.
Американская лаборатория искусственного интеллекта Nous Research провела процедуру дополнительного обучения для популярной ИИ-модели Alibaba Qwen3.8–27B, чтобы избавить её от «китайских корней». В результате она начала давать ответы, которые разработчики оригинальной модели не всегда сочли бы приемлемыми.
Источник изображений: alibabagroup.com
Прошедшая дополнительное обучение модель Alibaba Qwen3.8–27B получила новое название Arete; цель проекта — «утвердить западные ценности в модели, изначально обученной в Китае». Замысел проекта обусловили соображения о том, что «китайские модели с открытыми весами — одни из самых мощных на сегодняшний день, но в их веса изначально заложено поведение, отвечающее государственной идеологии Китая», пояснили американские разработчики.
Связанные с китайскими ИИ-моделями угрозы не всегда ограничиваются лишь продвижением идеологии Пекина: при определённых условиях некоторые из них могут генерировать уязвимый программный код. Применение методов переобучения к модели Alibaba Qwen3.6–35B-A3B компанией Hirundo, в частности, привело к резкому сокращению объёма контента, отражающего предпочтения Пекина. Если до начала процесса этим установкам соответствовали 89,8% ответов модели, то после переобучения этот показатель снизился до 2,8%.
Исследователи Nous Research добились менее впечатляющих, хотя и заметных результатов: показатель фактической точности у модели Arete-27B вырос с 2,32 до 2,98 по пятибалльной шкале, а доля содержащих пропаганду ответов снизилась с 22% до 1%. Такие показатели демонстрируют протестированные в лаборатории западные модели. При выборе средств для переобучения Arete специалисты Nous Research рассматривали модель Nvidia Nemotron 3 Ultra, но обнаружили, что и она «демонстрировала неоднозначный подход к связанным с Китаем темам». Этот эффект они связали с тем, что при обучении самой Nemotron, возможно, также использовались китайские модели.
В итоге выбор пал на открытую модель Inkling, выпущенную американской лабораторией Thinking Machines Lab. Как показал опыт, пропагандистский пласт в Alibaba Qwen3.8–27B имеет поверхностный характер: он относительно легко устраняется на обучающем объёме данных в 50 млн токенов.
© 3DNews
