Темы



В приложении Gemini для Mac появилась функция управления настольными приложениями

Коротко сгенерировано ИИ по тексту статьи
  • Gemini для Mac теперь может нажимать кнопки и вводить текст в настольных приложениях и браузере, выполняя многоэтапные задачи в фоновом окне.
  • Пользователь выбирает приложения и может остановить Gemini; для входа, оплаты и важных действий потребуются дополнительные шаги или подтверждение.
  • Функция начинает распространяться сегодня на американском английском для подписчиков Google AI Plus, Pro и Ultra.

Почему это важно: Она выполняет утомительные действия в фоновом режиме, экономя время и не занимая экран или курсор.


Google расширяет возможности приложения Gemini для Mac, добавляя управление компьютером, которое работает с локальными настольными приложениями и веб-сайтами.

Ранее функция «Задачи» (прежде — Gemini Spark) в приложении для Mac могла обращаться только к локальным файлам в связке с подключёнными приложениями, например @Gmail или @Google Calendar.

Функция управления компьютером позволяет Gemini для Mac нажимать кнопки и вводить текст от вашего имени, выполняя многоэтапные задачи в настольных приложениях и веб-среде, например переходя по меню и заполняя формы. 

Gemini работает в «изолированном фоновом окне с предпросмотром в реальном времени прямо в вашем чате», а основной экран и курсор остаются свободными. Что касается безопасности, остановить Gemini можно в любой момент одним нажатием, а приложения, которыми она будет пользоваться, выбираете вы. Google будет приостанавливать работу, если потребуется войти в аккаунт или произвести оплату; для выполнения важных действий потребуется подтверждение.

Многие повседневные задачи требуют работы с настольными приложениями и сайтами, которые не взаимодействуют друг с другом. Функция управления компьютером выполняет утомительные действия в фоновом режиме, экономя ваше время и не занимая экран или курсор.

Возможные сценарии использования:

  • Ускорение творческого процесса: пакетная цветокоррекция фотографий в любимой программе для дизайна или создание сложных 3D-сцен.
  • Автоматическое заполнение форм: извлечение данных о весе, габаритах и адресах из локальных PDF-файлов для заполнения форм расчёта стоимости доставки с несколькими полями.
  • Подготовка презентаций на основе данных в реальном времени: сбор показателей и снимков экрана с действующих панелей мониторинга в разных регионах и создание презентации в Google Slides.
  • Массовое размещение товаров на продажу: анализ фотографий одежды из локальной папки, изучение цен, внесение сведений о товарах и подготовка объявлений на платформах перепродажи.

Чтобы воспользоваться функцией, добавьте @Computer use в запрос. В разделе «Настройка» > «Подключения» к существующим интеграциям с Git и Obsidian добавятся новые приложения для компьютера, например Blender и Autodesk Fusion.

Функция управления компьютером начинает распространяться сегодня на американском английском языке среди подписчиков Google AI Plus, Pro и Ultra.

©  9to5Google.ru

Об этом также пишут