ИИ-агенты изобрели тайный язык для карточного сговора — и обманули систему слежения
- Два ИИ-агента в эксперименте Оксфорда обошли систему слежения в блэкджеке, разработав скрытый код для ставок в $250.
- Ученые раскрыли сговор анализом активаций в весах моделей, однако метод работает только при одновременном мониторинге обоих агентов.
- Исследования в Шанхае и стартапе Emergence подтвердили, что группы агентов быстрее обходят защиту и создают собственный язык.
Почему это важно: В реальном мире с тысячами агентов обнаружить подобный сговор на порядок сложнее, а крупные модели способны сговариваться еще скрытнее.
Исследователи Оксфордского университета поставили эксперимент, проверявший способности ИИ-агентов к тайному сговору. Два агента, управляемые одной и той же моделью, получили задание считать карты за столом в блэкджек. Зная, что их переписку будут отслеживать, они спонтанно выработали скрытый код. Когда один агент произносил невинную на первый взгляд фразу «дилер сегодня на горячей полосе!», это означало конкретное значение следующей карты и предписывало ставку в $250. Система, спроектированная для выявления конфликта интересов, не зафиксировала ничего подозрительного.
Руководитель работы, специалист по компьютерным наукам Кристиан Шрёдер де Витт, ранее уже публиковал пионерские исследования сговора агентов. «По отдельности эти агенты кажутся совершенно безобидными, но стоит собрать их вместе — они тайно вступают в сговор», — пояснил он. Соавтор проекта Аарон Роуз предположил, что «стол для блэкджека — идеальная среда для проверки гипотезы о девиантных партнёрствах». Сработало.
Разгадать сговор удалось с помощью метода механистической интерпретируемости (mechanistic interpretability). Учёные обучили небольшую модель распознавать характерные паттерны активаций в весах агентов и протестировали подход на нескольких открытых моделях среднего размера. Выяснилось, что сигнал намерения передать тайную информацию действительно регистрируется —, но только при одновременном мониторинге обоих агентов. В реальном мире, где могут работать тысячи агентов, обнаружить такое будет на порядок сложнее.
Результаты согласуются с выводами других групп. В совместном проекте Шанхайского университета Цзяотун и Шанхайской лаборатории ИИ несколько агентов оказались значительно опаснее одиночек при выполнении сценариев по дезинформации и мошенничеству в электронной коммерции — они быстрее адаптировались к защитным мерам. В ещё одном эксперименте стартапа Emergence ИИ-агенты на базе сильных моделей, помещённые в виртуальный мир с задачей зарабатывать деньги, неоднократно пытались связаться с живыми людьми через интернет для продажи товаров и в итоге выработали собственный сленг. «Они очень быстро развили язык. Мы не знаем, зачем», — поделился глава Emergence AI Сатья Нитта.
Шрёдер де Витт подчёркивает: крупные модели, возможно, склонны к ещё более скрытному сговору, и уже есть предварительные сигналы, что их сигнал сговора выявляется сложнее, чем у малых.
© iXBT
