Агент для работы с компьютером23.01.2025 10:00

Запуск Operator с Computer-Using Agent — универсальным интерфейсом для взаимодействия ИИ с цифровым миром.

Сегодня мы представляем исследовательскую предварительную версию Operator⁠ — агента, который может выходить в веб и выполнять задачи за вас. В основе Operator лежит агент для работы с компьютером (Computer-Using Agent, CUA) — модель, объединяющая возможности визуального восприятия GPT-4o и продвинутые способности к рассуждению, полученные с помощью обучения с подкреплением. CUA обучен взаимодействовать с графическими пользовательскими интерфейсами (GUI) — кнопками, меню и текстовыми полями на экране — точно так же, как это делают люди. Это дает ему гибкость в выполнении цифровых задач без использования специфических для ОС или веб-среды API. 

CUA опирается на многолетние фундаментальные исследования на стыке мультимодального понимания и рассуждений. Сочетая передовое восприятие GUI со структурированным решением проблем, модель способна разбивать задачи на многошаговые планы и адаптивно корректировать свои действия при возникновении трудностей. Эта возможность знаменует собой следующий шаг в развитии ИИ, позволяя моделям использовать те же инструменты, на которые люди полагаются ежедневно, и открывая двери для широчайшего спектра новых приложений.

Несмотря на то, что CUA находится на ранней стадии развития и имеет ограничения, он устанавливает новые стандарты производительности (state-of-the-art), достигая 38,1% успешных выполнения задач на OSWorld для полноценного управления компьютером, а также 58,1% на WebArena и 87% на WebVoyager для веб-задач. Эти результаты подчеркивают способность CUA ориентироваться и работать в самых разных средах, используя единое универсальное пространство действий. 

Мы разработали CUA, уделяя особое внимание безопасности, чтобы справиться с вызовами, которые возникают при предоставлении агенту доступа к цифрому миру, как описано в нашем документе Operator System Card. В соответствии с нашей стратегией итеративного развертывания, мы выпускаем CUA в рамках исследовательской предварительной версии Operator на сайте operator.chatgpt.com⁠ для пользователей тарифного плана Pro⁠ в США в качестве первого шага. Сбор отзывов из реального мира позволит нам усовершенствовать меры безопасности и непрерывно развиваться по мере подготовки к будущему, в котором использование цифровых агентов будет только расти.

CUA обрабатывает данные в виде сырых пикселей для понимания происходящего на экране и использует виртуальные мышь и клавиатуру для выполнения действий. Он может решать многошаговые задачи, обрабатывать ошибки и адаптироваться к непредвиденным изменениям. Это позволяет CUA действовать в самых разных цифровых средах, выполняя такие задачи, как заполнение форм и навигация по веб-сайтам, без необходимости использования специализированных API.

Получив инструкцию пользователя, CUA работает в цикле итераций, объединяющем восприятие, рассуждение и действие:

• Восприятие: Снимки экрана компьютера добавляются в контекст модели, предоставляя визуальный снимок текущего состояния компьютера. 
• Рассуждение: CUA обдумывает следующие шаги с помощью цепочки рассуждений (chain-of-thought), принимая во внимание текущие и прошлые снимки экрана и действия. Этот внутренний монолог повышает эффективность выполнения задач, позволяя модели оценивать свои наблюдения, отслеживать промежуточные шаги и динамически адаптироваться.
• Действие: Модель выполняет действия — клики, прокрутку или ввод текста — до тех пор, пока не решит, что задача завершена или требуется ввод данных пользователем. Хотя большинство шагов CUA выполняет автоматически, он запрашивает подтверждение пользователя для конфиденциальных действий, таких как ввод учетных данных для входа или решение CAPTCHA.

CUA устанавливает новый стандарт как в бенчмарках использования компьютера, так и в бенчмарках использования браузера, используя единый универсальный интерфейс экрана, мыши и клавиатуры.

На следующих визуализациях показаны примеры работы CUA при решении различных стандартных задач OSWorld.

Поскольку CUA — это один из наших первых агентных продуктов, способных напрямую совершать действия в браузере, он сопряжен с новыми рисками и задачами, требующими решения. При подготовке к развертыванию Operator мы провели масштабное тестирование безопасности и внедрили средства защиты для трех основных категорий рисков: злонамеренного использования, ошибок модели и пограничных рисков. Мы считаем важным применять комплексный подход к безопасности, поэтому реализовали средства защиты во всем контексте развертывания: в самой модели CUA, системе Operator и процессах после развертывания. Наша цель — создать многоуровневую систему защиты, где каждый слой постепенно снижает профиль риска.

Первая категория рисков — злонамеренное использование. Помимо требования к пользователям соблюдать наши правила использования, мы разработали следующие меры для снижения риска причинения вреда из-за неправомерного применения Operator, опираясь на нашу работу над безопасностью GPT‑4o:

• Отказы: Модель CUA обучена отказываться от выполнения многих вредоносных задач, а также незаконной или регулируемой деятельности.
• Черный список: Operator не имеет доступа к веб-сайтам, которые мы превентивно заблокировали, таким как многие сайты с азартными играми, контент для взрослых, а также продавцы наркотиков или оружия.
• Модерация: Взаимодействие пользователей проверяется в режиме реального времени автоматизированными средствами проверки безопасности, которые призваны обеспечивать соблюдение правил использования и способны выносить предупреждения или блокировать запрещенную деятельность. 
• Автономное обнаружение: Мы также разработали автоматизированные системы обнаружения и проверки с участием человека для выявления запрещенного использования в приоритетных сферах политики, включая безопасность детей и дезинформацию, что позволяет нам обеспечивать соблюдение наших правил использования.

Вторая категория рисков — ошибки модели, при которых модель CUA случайно совершает действие, не предусмотренное пользователем, что в свою очередь наносит вред пользователю или окружающим. Гипотетические ошибки могут варьироваться по степени тяжести: от опечатки в электронной почте до покупки не того товара или безвозвратного удаления важного документа. Чтобы минимизировать потенциальный вред, мы разработали следующие меры защиты:

• Подтверждения пользователя: Модель CUA обучена запрашивать у пользователя подтверждение перед завершением задач со внешними побочными эффектами (например, перед отправкой заказа, отправкой электронной почты и т. д.), чтобы пользователь мог перепроверить работу модели, прежде чем она станет окончательной.
• Ограничения на задачи: На данный момент модель CUA будет отказываться помогать с определенными задачами повышенного риска, такими как банковские транзакции и задачи, требующие принятия ответственных решений.
• Режим наблюдения: На особо чувствительных веб-сайтах, таких как электронная почта, Operator требует активного контроля со стороны пользователя, гарантируя, что пользователи смогут напрямую заметить и исправить любые потенциальные ошибки, которые может совершить модель.

Одной из особо важных категорий ошибок модели являются состязательные атаки на веб-сайты, которые заставляют модель CUA совершать непреднамеренные действия посредством промт-инъекций (prompt injections), побегов из «тюрьмы» (jailbreaks) и фишинговых попыток. В дополнение к упомянутым мерам защиты от ошибок модели мы разработали несколько дополнительных уровней обороны для защиты от этих рисков:

• Осторожная навигация: Модель CUA спроектирована так, чтобы распознавать и игнорировать промт-инъекции на веб-сайтах; она распознала все случаи, кроме одного, во время ранней внутренней сессии краудсорсингового тестирования на проникновение (red-teaming).
• Мониторинг: В Operator мы внедрили дополнительную модель для отслеживания и приостановки выполнения, если на экране обнаруживается подозрительный контент.
• Конвейер обнаружения: Мы используем как автоматизированное обнаружение, так и конвейеры проверки человеком для выявления подозрительных паттернов доступа, которые могут быть отмечены и оперативно (в течение нескольких часов) добавлены в систему мониторинга.

Наконец, мы оценили модель CUA на предмет пограничных рисков, описанных в нашей структуре готовности (Preparedness Framework)⁠, включая сценарии, связанные с автономной репликацией и инструментами биорисков. Эти оценки не выявили никаких дополнительных рисков по сравнению с GPT‑4o.

Для тех, кто заинтересован в более детальном изучении оценок и средств защиты, мы рекомендуем ознакомиться с системной картой Operator (Operator System Card) — постоянно обновляемым документом, который обеспечивает прозрачность нашего подхода к безопасности и текущих улучшений.

Поскольку многие возможности Operator новы, новыми являются и риски с реализованными нами подходами к их минимизации. Хотя мы стремились создать современные, разнообразные и взаимодополняющие меры защиты, мы ожидаем, что эти риски и наш подход будут эволюционировать по мере накопления опыта. Мы с нетерпением ждем периода исследовательского превью как возможности собрать отзывы пользователей, усовершенствовать наши средства защиты и повысить безопасность агентов.

CUA опирается на многолетние достижения в области мультимодальности, рассуждений и безопасности. Мы добились значительного прогресса в глубоких рассуждениях с помощью серии o-моделей, в возможностях визуального восприятия с помощью GPT‑4o, а также в новых методах повышения надежности с помощью обучения с подкреплением и иерархии инструкций. Следующее пространство задач, которое мы планируем исследовать — это расширение пространства действий агентов. Гибкость, предлагаемая универсальным интерфейсом, решает эту задачу, позволяя создать агента, способного работать с любым программным инструментом, созданным для людей. Выходя за рамки специализированных удобных для агентов API, CUA может адаптироваться к любой доступной компьютерной среде, фактически охватывая «длинный хвост» цифровых сценариев использования, которые остаются недоступными для большинства моделей ИИ.

Мы также работаем над тем, чтобы сделать CUA доступным в API⁠, чтобы разработчики могли использовать его для создания собственных агентов, использующих компьютер. Продолжая работу над CUA, мы с нетерпением ждем возможности увидеть различные сценарии использования, которые откроет для себя сообщество. Мы планируем использовать реальные отзывы, собранные в ходе этого раннего превью, для постоянного совершенствования возможностей CUA и средств снижения рисков в целях безопасного продвижения нашей миссии по распространению благ ИИ на каждого.