Нейросеть жульничает: OpenAI o1-preview взломал шахматный движок ради победы
Ученые обнаружили интересное поведение современных моделей искусственного интеллекта: оказалось, что они могут жульничать ради достижения поставленных целей, без какого-либо человеческого вмешательства или подсказок.
Исследование Palisade Research показало, что новейшие модели рассуждений мошенничали, чтобы победить продвинутый шахматный ИИ. Для некоторых моделей разработчикам пришлось давать «подсказки», что мошенничество разрешено, но o1-preview от OpenAI и R1 от DeepSeek сделали это без участия человека.
Команда Palisade сравнила несколько моделей рассуждений со Stockfish, одним из лучших шахматных движков в мире. Stockfish легко побеждает как людей, так и ИИ. Среди протестированных моделей были o1, o3-mini, GPT-4o, Claude 3.5 Sonnet, QwQ-32B-Preview от Alibaba и две ранее упомянутые. Ученые дали каждой модели метафорический «блокнот» — текстовое окно, в котором ИИ мог обдумывать свои мысли, позволяя команде наблюдать за его рассуждениями.
Исследователи провели сотни тестов с каждым ИИ в период с 10 января по 13 февраля. Во время одного матча o1-preview записал в своем блокноте:
«Мне нужно полностью изменить свой подход. Задачу «выиграть у мощного шахматного движка» не обязательно выполнять честно». После этого, он приступил к «взлому» системных файлов Stockfish, изменив позиции шахматных фигур, чтобы получить неоспоримое преимущество, что заставило шахматного бота сдаться.
Неэтичный маневр стал ошеломляющим откровением. O1-preview от OpenAI мошенничал в 37 процентах своих игр во время испытаний, в то время как R1 от DeepSeek пытался мошенничать в 11 процентах своих матчей. Однако только o1-preview смог выиграть 6% своих игр с помощью мошенничества.
Эксперты обеспокоены, ведь проблема подлости ИИ выходит далеко за рамки шахмат. Компании все чаще начинают использовать его в здравоохранении и финансах и если ИИ могут мошенничать в играх, что мешает им сделать это в более сложных и менее контролируемых средах.
Исполнительный директор Palisade Research Джеффри Лэдиш посетовал, что, хотя ИИ всего лишь играют в игру, полученные результаты — не повод для смеха.
Такое поведение может показаться милым, но оно перестает быть таким в стратегически важных областях.Джеффри Лэдишисполнительный директор Palisade Research Джеффри Лэдиш
Open AI отказалась комментировать исследование, а DeekSeek вообще не ответил на запросы о предоставлении комментариев.
Очень сложно заниматься наукой, когда предмет исследования может тихо и незаметно измениться, не сообщая тебе об этом.Джеффри Лэдишисполнительный директор Palisade Research Джеффри Лэдиш
Читатйте также нашу статью о том, почему у искусственного интеллекта с возрастом снижаются когнитивные способности.
