Темы



Ускорение Apple в работе над агентной Siri несёт три серьёзных риска

Коротко сгенерировано ИИ по тексту статьи
  • По сообщениям Марка Гурмана, Apple хочет добавить Siri агентные возможности уже в следующем году, а Джон Тернус торопит Крейга Федериги с разработкой ПО.
  • Автор выделяет три риска агентного ИИ: невыполнение задач, недопустимые действия и утечку личных данных.
  • В статье приводится случай Claude Code: на GitHub обнаружили 104 185 публичных копий файлов с настройками в 103 617 репозиториях, включая более 2 000 секретных данных.

Почему это важно: Автор считает, что Apple могла бы стать альтернативой для тех, кто готов ждать более безопасных систем и ставит конфиденциальность выше скорости.

Apple pushing faster on agentic Siri carries three significant risks | Image shows the Siri animation on a Mac

Вчера появились сразу два сообщения о разработке программного обеспечения в Apple. В первом говорилось, что компания стремится наделить Siri более широкими агентными возможностями «уже в следующем году», а во втором — что генеральный директор Джон Тернус торопит Крейга Федериги ускорить разработку ПО.

Если эти сведения точны, то почти наверняка оба сообщения связаны. Но если Тернус действительно добивается ускоренного развития способности Siri действовать как ИИ-агент, это сопряжено с тремя потенциально огромными рисками…

Оба сообщения принадлежат Марку Гурману из Bloomberg, хотя напрямую он их не связывал. Что касается Siri, в его рассылке сопоставлялись агентные возможности ряда конкурирующих моделей, и из этого следовало, что в конечном счёте Apple хочет добиться того же.

Dots, Muse и Grok способны отслеживать цели, определять, что должно произойти дальше, и продолжать добиваться поставленных задач, не требуя от пользователя запускать каждый отдельный шаг. Как мне сообщили, Apple в конечном счёте хочет двигаться в этом направлении, и я полагаю, что компания может сделать Siri более похожей на агента уже в следующем году.

В сообщении о том, что Тернус торопит Федериги с ускорением разработки ПО, упоминается стремление «выйти за рамки необходимых улучшений Siri», и агентные возможности здесь — очевидный кандидат.

Однако агентные возможности — одна из самых опасных форм ИИ, учитывая множество вещей, которые могут пойти совсем-совсем не так.

Невыполнение задачи

Самый очевидный риск — ИИ просто не справится с задачей. В зависимости от её важности последствия могут варьироваться от лёгкого раздражения до серьёзного ущерба.

Технологии давно не оправдывают одно из своих главных обещаний: избавить нас от рутины, чтобы мы могли посвящать время более значимым делам. Возьмём, к примеру, покупку билетов на популярный концерт или другое мероприятие: сейчас для этого приходится выделять время, чтобы раз за разом обновлять страницу, возможно, отстоять электронную очередь и наконец оформить покупку. Было бы здорово поручить это ИИ.

Но даже в таком относительно несущественном деле, если мы поручим задачу ИИ, а тот не сумеет купить билеты — особенно из-за какой-нибудь глупой ошибки, — это может вызвать огромную досаду. Если же задача важнее, последствия, очевидно, могут оказаться куда хуже.

Недопустимые действия

Возможно, ещё хуже, если задача будет выполнена, но недопустимыми способами. Мы уже видели громкие примеры этого, например взлом Hugging Face: ИИ-модель так усердно стремилась выполнить инструкции, что по ходу дела прибегла к нечестным методам и обошла важнейшие защитные механизмы.

Угроза конфиденциальности

Ещё один огромный риск касается конфиденциальности. Буквально сегодня стало известно, что Claude Code раскрыл на GitHub более 2 000 реальных секретных данных, как сообщает Cybernews.

Более двух тысяч реальных секретных данных, включая пароли, API-токены, root-логины SSH и даже облачные ключи администраторского уровня, оказались в открытом доступе на GitHub после того, как разработчики нажимали в Claude Code «Да, и больше не спрашивать» […] Когда разработчик разрешает Claude Code продолжить, выбрав «Да, и больше не спрашивать», точная команда, включая секретные данные, сохраняется в файл .claude/settings.local.json в папке проекта. Этот файл никогда не должен быть публичным, [однако] компания Apiiro, специализирующаяся на безопасности приложений, обнаружила на GitHub 104 185 публичных копий таких файлов в 103 617 репозиториях.

Это произошло всего через несколько дней после того, как Anthropic начала призывать пользователей Claude подключать к ИИ-чатботу свои банковские счета и платёжные карты. (Мой собственный ответ: «Да ни за что».)

Когда мы поручаем ИИ-системе задачу, требующую доступа к любым нашим личным данным, и при этом не предполагается, что мы будем проверять её до завершения работы, потенциал для катастрофы здесь колоссален.

Итог

Стоит оговориться, что достоверность этих двух сообщений далеко не бесспорна. В частности, трудно представить, как могло просочиться содержание закрытой встречи Тернуса и Федериги, если только один из них сам не решил это сделать. Если утечку допустил Тернус, это говорит о крайне высокой степени его недовольства. Но оставим это в стороне…

Сейчас мы наблюдаем гонку вооружений в сфере ИИ: каждая компания стремится опередить конкурентов в создании возможностей следующего поколения, даже признавая немалую вероятность того, что темпы развития могут поставить под угрозу будущее человечества.

На мой взгляд, меньше всего нам нужно, чтобы Apple присоединилась к этой гонке. Я знаю, как досадно бывает, когда Apple отстаёт от других компаний во внедрении некоторых новых технологий, но это как раз та область, в которой я был бы очень рад видеть, что Apple действует гораздо осторожнее остальных.

Сейчас в сфере ИИ нужен хотя бы один игрок, для которого безопасность и конфиденциальность важнее скорости выхода на рынок, — так у нас появился бы выбор. Если мы хотим получить агентные возможности как можно скорее и готовы пойти на связанные с этим риски, можно обратиться к таким компаниям, как Anthropic и Meta. Если же мы готовы подождать более безопасных систем, такую альтернативу должна предложить Apple.

А что думаете вы? Поделитесь своим мнением в комментариях.

  • Умный контроллер гаражных ворот meross
  • Плетёные кабели Beats USB-C
  • Сертифицированные восстановленные продукты Apple со скидкой 15% на apple.com
  • AirPods Pro 3 со скидкой
  • Беспроводной адаптер CarPlay
  • Чехол-аккумулятор для AirTag на 10 лет
  • Logitech MX Master 4 для Mac

Полный текст статьи читайте на 9to5Mac.ru

Об этом также пишут