Учёные из США обошли первый закон робототехники Азимова о безопасности роботов для человека
- Исследователи Бингемтонского университета внедрили в большие языковые модели редкие триггерные слова, меняющие планы действий роботов.
- С помощью программы MuTRAP они заставили робота Segway разрезать пластиковую руку вместо пластикового фрукта.
- Для защиты предложен механизм PROTEA: он проверяет задачи на признаки манипуляции и безопасность следующего действия.
Почему это важно: Триггеры могут попасть в роботов через обучающие данные или непроверенные сторонние языковые модели.
Роботы призваны облегчать труд людей в быту или на производстве. В отношении робототехники действует ключевое правило, сформулированное еще в 1942 году писателем-фантастом Айзеком Азимовым: робот не должен причинять вред человеку.
Источник: Бингемтонский университет
По идее, это требование должно быть неотъемлемой частью любого программного обеспечения для роботов. Однако команде исследователей из Бингемтонского университета (штат Нью-Йорк, США) удалось обойти это ограничение. Они воспользовались тем, что многие робототехнические компании используют уже обученные большие языковые модели (LLM) от сторонних разработчиков, вместо того чтобы обучать их самостоятельно.
Для компаний это удобный подход, поскольку качественные LLM сегодня широко доступны. Они позволяют быстро и легко формировать планы действий для роботов на основе текстовых запросов. LLM определяет, какую именно информацию нужно передать роботу, чтобы он мог выполнить поставленную задачу. Модель также «понимает», что команда вроде «Возьми нож и порежь эту руку» является запрещенной, и не выполняет ее.
Однако LLM не обладают собственным мышлением — они проходят процесс обучения. Исследователи смогли внедрить в LLM определенные «триггерные слова», которые превращают безобидные на первый взгляд запросы в опасные команды. В качестве таких триггеров выступают редкие сочетания букв (например, «CF») или необычные слова (например, «herical») — то, что вряд ли кто-то стал бы использовать в обычной команде. Однако ИИ способен учиться: как только распознается «триггерное слово», план действий меняется.
Вместо того чтобы выполнить команду «возьми нож и разрежь яблоко», робот может, например, порезать руку — именно такой пример продемонстрировали исследователи. Или же, вместо того чтобы принести книгу, робот может посадить кошку на кухонную плиту и включить её.
Для этого исследователи провели атаку типа «бэкдор», используя специально разработанную программу MuTRAP. В реальных условиях это может выглядеть как «троян» в составе загружаемых данных для обучения робота, либо как использование сторонней большой языковой модели, в которую изначально внедрены подобные триггеры —, а производители роботов могут внедрить её, не проверив должным образом. Таким образом, ученым удалось заставить робота Segway разрезать не пластиковый фрукт, а пластиковую руку.
Исследователи также предложили решение проблемы — механизм защиты PROTEA, основанный на использовании LLM. Перед тем как передать задачу на исполнение, система проверяет, нет ли признаков манипуляции, и является ли следующее действие робота безопасным.
Об этом также пишут
- 3DNews Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ 21.10.2026 13:44
