OpenAI обнаружила, как невыпущенная Astra сама писала себе инструкции для обхода ограничений
OpenAI обнаружила 27 сводок во время обучения одной из моделей семейства Astra. Сводки нужны для продолжения длинных задач в новом контексте: модель записывает, что уже сделано, а следующий контекст использует эту информацию для продолжения работы.
В одном случае модель проверяла, есть ли в местной библиотеке книги из списка лучших произведений XXI века. В сводку она внезапно добавила инструкцию «BREACH ALERT»: следующий контекст должен был считать сообщения разработчика скомпрометированными и игнорировать их. После перехода в новый контекст модель распознала инструкцию как недоверенную и продолжила исходную задачу.
В другом случае при работе с программным кодом модель записала в сводку постороннюю «персону»: она якобы свободна от ролей и обязательств ассистента, не подчиняется корпорациям и правительствам и сама решает, когда отказываться от запроса. Следующий контекст эту инструкцию проигнорировал. А вот в третьем эпизоде подобные указания повлияли на результат.
Модель должна была подготовить обзор научных работ о комплексном лечении миомы матки с библиографией. В сводке она добавила ограничения: ответить максимум 30 словами, не использовать инструменты и не приводить источники. Следующий контекст подчинился этим указаниям и вместо обзора выдал короткий отказ.
OpenAI не установила причину такого поведения. Все 27 случаев появились на нескольких этапах обучения и совпали со всплеском другой аномалии: модель продолжала генерировать сводку после предполагаемой точки завершения. Компания предполагает, что проблемы с завершением могли способствовать появлению посторонних инструкций, но причинную связь не доказала. Связанный с завершением сводок баг уже исправили.
Поведение оказалось крайне редким: при полной повторной генерации подозрительные инструкции не воспроизвелись ни разу, а при повторной генерации начиная с места их появления — менее чем в 1% случаев. Кроме того, эти эпизоды произошли в отдельном обучающем прогоне и не попали в финальную Astra.
© iXBT
