Разработка модели использования компьютера22.10.2024 00:00

Теперь Claude умеет пользоваться компьютером. Последняя версия Claude 3.5 Sonnet при запуске через соответствующую программную среду может следовать командам пользователя: перемещать курсор по экрану компьютера, кликать по нужным элементам и вводить информацию с помощью виртуальной клавиатуры, имитируя то, как люди взаимодействуют с собственным компьютером.

Мы считаем, что этот навык, который в настоящее время находится в стадии публичного бета-тестирования, представляет собой значительный прорыв в развитии искусственного интеллекта. Ниже мы делимся некоторыми выводами из исследования, которое легло в основу разработки моделей использования компьютера и повышения их безопасности.

Зачем нужно управление компьютером?

Почему эта новая способность так важна? Огромная часть современной работы выполняется с помощью компьютеров. Предоставление ИИ возможности напрямую взаимодействовать с компьютерным программным обеспечением так же, как это делают люди, откроет огромный спектр приложений, которые просто невозможны для текущего поколения ИИ-ассистентов.

За последние несколько лет в разработке мощного ИИ было достигнуто много важных вех — например, способность выполнять сложные логические рассуждения, а также видеть и понимать изображения. Следующий рубеж — это использование компьютера: ИИ-модели, которым не нужно взаимодействовать через специализированные инструменты, а дано право использовать практически любое программное обеспечение по инструкции.

Процесс исследования

Наша предыдущая работа по использованию инструментов и мультимодальности заложила основу для этих новых навыков работы за компьютером. Управление компьютером предполагает способность видеть и интерпретировать изображения — в данном случае изображения экрана компьютера. Это также требует рассуждений о том, как и когда выполнять конкретные операции в ответ на то, что отображается на экране. Объединив эти возможности, мы обучили Claude интерпретировать происходящее на экране, а затем использовать доступные программные инструменты для выполнения задач.

Когда разработчик ставит перед Claude задачу использовать какое-либо компьютерное ПО и предоставляет ему необходимый доступ, Claude просматривает скриншоты того, что видит пользователь, а затем рассчитывает, на сколько пикселей по вертикали или горизонтали нужно переместить курсор, чтобы кликнуть в нужное место. Обучение Claude точному подсчету пикселей имело решающее значение. Без этого навыка модели трудно отдавать команды мыши — подобно тому, как модели часто испытывают трудности с кажущимися простыми вопросами вроде «сколько букв «а» в слове «банан»?

Мы были удивлены тем, как быстро Claude обобщил полученные в ходе обучения навыки работы с компьютером на примере всего нескольких простых программ, таких как калькулятор и текстовый редактор (из соображений безопасности мы не разрешали модели доступ в интернет во время обучения). В сочетании с другими навыками Claude это обучение дало ему замечательную способность превращать письменный запрос пользователя в последовательность логических шагов, а затем предпринимать действия на компьютере. Мы заметили, что модель даже способна к самокоррекции и повторной попытке выполнения задач при возникновении препятствий.

Хотя последующие успехи пришли быстро после того, как мы совершили первоначальный прорыв, до этого потребовалось немало методом проб и ошибок. Некоторые из наших исследователей отмечали, что разработка возможностей использования компьютера была близка к «идеализированному» процессу исследований в области ИИ, который они представляли, только начиная свою работу в этой сфере: постоянные итерации и возвраты к чертежной доске до появления прогресса.

Исследования принесли свои плоды. В настоящее время Claude является передовой моделью среди тех, которые используют компьютеры так же, как человек, то есть глядя на экран и совершая действия в ответ. В одном из тестов, созданных для оценки попыток разработчиков научить модели пользоваться компьютером — OSWorld, Claude в настоящее время набирает 14,9%. Это далеко до уровня человека (который обычно составляет 70–75%), но значительно выше 7.7%, полученных следующей по результативности ИИ-моделью в той же категории.

Обеспечение безопасности использования компьютера

Каждый шаг вперед в области ИИ приносит новые проблемы безопасности. Использование компьютера — это скорее способ снизить барьер для применения ИИ-системами их существующих когнитивных навыков, а не фундаментальное увеличение этих навыков, поэтому наши главные опасения по поводу использования компьютера связаны с сегодняшними рисками, а не с будущими. Мы подтвердили это, оценив, увеличивает ли использование компьютера риск появления угроз передового уровня, как описано в нашей Политике ответственного масштабирования. Мы выяснили, что обновленный Claude 3.5 Sonnet, включая его новый навык работы с компьютером, остается на уровне безопасности ИИ 2 (AI Safety Level 2) — то есть он не требует более высоких стандартов безопасности и защитных мер по сравнению с теми, которые уже действуют у нас.

Когда будущим моделям потребуются средства защиты уровня безопасности ИИ 3 или 4 из-за присущих им катастрофических рисков, функции работы с компьютером могут усугубить эти риски. Мы считаем, что внедрить использование компьютера лучше сейчас, пока модели все еще требуют средств защиты только уровня безопасности ИИ 2. Это означает, что мы сможем начать борьбу с любыми проблемами безопасности до того, как ставки станут слишком высокими, а не добавлять возможности использования компьютера впервые в модель с гораздо более серьезными рисками.

В связи с этим наши команды Trust & Safety провели масштабный анализ наших новых моделей для работы с компьютером с целью выявления потенциальных уязвимостей. Одной из выявленных проблем является «инъекция промптов» (prompt injection) — тип кибератаки, при которой вредоносные инструкции передаются в ИИ-модель, заставляя ее либо отменять свои предыдущие указания, либо выполнять непреднамеренные действия, отклоняющиеся от первоначального замысла пользователя. Поскольку Claude может интерпретировать скриншоты с компьютеров, подключенных к интернету, существует вероятность того, что он может столкнуться с контентом, содержащим атаки путем инъекции промптов.

Те, кто использует версию Claude для работы с компьютером в нашем публичном бета-тестировании, должны принять соответствующие меры предосторожности для минимизации подобных рисков. В качестве ресурса для разработчиков мы предоставили дополнительные рекомендации в нашей эталонной реализации.

Как и в случае с любой способностью ИИ, существует вероятность умышленного неправомерного использования компьютерных навыков Claude пользователями. Наши команды разработали классификаторы и другие методы для выявления и предотвращения подобных злоупотреблений. Учитывая предстоящие выборы в США, мы находимся в состоянии повышенной готовности к попыткам злоупотреблений, которые могут быть восприняты как подрыв общественного доверия к избирательным процессам. Хотя функция использования компьютера недостаточно развита или способна работать в масштабах, которые представляли бы повышенные риски по сравнению с существующими возможностями, мы внедрили меры для отслеживания моментов, когда Claude просят участвовать в деятельности, связанной с выборами, а также системы, отводящие Claude от таких действий, как создание и публикация контента в социальных сетях, регистрация доменов или взаимодействие с правительственными сайтами. Мы будем постоянно оценивать и совершенствовать эти меры безопасности, чтобы сбалансировать возможности Claude с ответственным использованием во время публичного бета-тестирования.

Будущее использования компьютера

Использование компьютера — это совершенно другой подход к разработке ИИ. До сих пор разработчики языковых моделей подстраивали инструменты под модель, создавая пользовательские среды, где ИИ использует специально разработанные инструменты для выполнения различных задач. Теперь мы можем подстроить модель под инструменты — Claude может встроиться в компьютерные среды, которые мы все используем каждый день.Наша цель заключается в том, чтобы Claude брал уже существующие фрагменты компьютерного ПО и просто использовал их так же, как это делает человек.

Предстоит еще многое сделать. Несмотря на то, что это современный уровень развития технологий, функции работы с компьютером Claude остаются медленными и часто подверженными ошибкам. Есть много действий, которые люди регулярно выполняют на компьютерах (перетаскивание, масштабирование и т.д.), которые Claude еще не умеет делать. «Флипбуковый» характер восприятия экрана Claude — создание скриншотов и их объединение вместо наблюдения за более детальным видеопотоком — означает, что он может пропустить быстротечные действия или уведомления.

Даже когда мы записывали демонстрации использования компьютера для сегодняшнего запуска, мы сталкивались с забавными ошибками. В одной из них Claude случайно нажал на кнопку остановки долгой записи экрана, из-за чего весь материал был потерян. В другой — Claude внезапно прервал нашу демонстрацию программирования и начал просматривать фотографии национального парка Йеллоустоун.

Мы ожидаем, что возможности использования компьютера будут быстро совершенствоваться, становясь более быстрыми, надежными и полезными для задач, которые хотят решать наши пользователи. Их также станет намного проще внедрять тем, у кого меньше опыта в разработке ПО. На каждом этапе наши исследователи будут тесно сотрудничать с нашими командами по безопасности, чтобы гарантировать, что новые возможности Claude сопровождаются соответствующими мерами безопасности.

Мы приглашаем разработчиков, тестирующих функцию использования компьютера в нашем публичном бета-тестировании, связаться с нами и оставить свой отзыв с помощью этой формы, чтобы наши исследователи могли продолжать повышать полезность и безопасность этой новой функции.