Siri на iPhone научилась просматривать контент на экране и отправлять сторонним службам
Компания Apple представила новое API под названием App Intent. Это алгоритм, который позволяет Siri сканировать содержимое на экране iPhone и отправлять для анализа сторонним службам, например, чат-боту ChatGPT.
Новое API уже внедрили во вторую бета-версию iOS 18.2, выпущенную 4 ноября. Она будет по умолчанию установлена у всех, кто обновится до этой версии ОС. Ожидается, что стабильная сборка iOS 18.2 выйдет в начале декабря.
Благодаря App Intent голосовой ассистент Siri и встроенный ИИ Apple Intelligence смогут «видеть» все, что происходит на экране смартфона, анализировать содержимое и отправлять для обработки в сторонние службы только по запросу пользователя.
Так, владелец iPhone сможет открыть документ, активировать Siri и попросить ее составить краткое содержимое файла. Голосовой помощник просканирует документ и отправит его в ChatGPT. Чат-бот, в свою очередь, сгенерирует пересказ содержимого. Или можно попросить Siri обработать снимок, когда открыто приложение «Фото» с нужным изображением. То же самое будет работать с сайтами — можно позвать Siri вместе с открытой вкладкой в Safari, чтобы ИИ собрал краткую сводку по статье.
Когда пользователь задает вопрос о экранном контенте или хочет выполнить действие с ним, Siri и Apple Intelligence могут получить контент, чтобы ответить на вопрос и выполнить действие. Если пользователь явно запрашивает это, Siri и Apple Intelligence могут отправлять контент в поддерживаемые сторонние службы. Например, кто-то может просмотреть веб-сайт и использовать Siri для предоставления резюме, сказав или набрав фразу «Привет, Siri, о чем этот документ?»
Пока что App Intent работает с ограничениями. Apple уже предоставила API сторонним разработчикам, чтобы те успели подготовить свои приложения к релизу iOS 18.2. Чтобы сканирование экрана работало, нужно активировать Apple Intelligence. На данный момент пакет ИИ-функций работает только на английском языке и не доступен в России.
