Google, Microsoft, OpenAI и Anthropic поддержали единый механизм отказа от обучения ИИ31.10.2026 15:24

Google, Microsoft, OpenAI и Anthropic будут соблюдать единый запрет на обучение ИИ, прописанный в robots.txt. Он позволяет сайту исключить свой контент из обучения генеративного ИИ с помощью одного правила. Сейчас сайту, который хочет отказаться, приходится прописывать отдельные правила для краулера каждой компании.

Общий сигнал описан в черновике IETF, который Кевин Келли из Anthropic опубликовал в пятницу. В тот же день Google, OpenAI и Microsoft объявили о его поддержке. Келли представил черновик в списке рассылки IETF по предпочтениям в отношении ИИ.

Механизм работает через robots.txt — файл, с помощью которого сайты уже сообщают краулерам, что им разрешено загружать. Сайт добавляет группу для нового «токена политики» __usage_ai-training, а затем перечисляет пути, которые не хочет отдавать для обучения. В примере из черновика блокируется весь сайт, кроме раздела для прессы.

«Издателям не должно приходиться выбирать между видимостью в Bing и правом решать, как генеративные модели используют их работу», — написал Кришна Мадхаван, ведущий продакт-менеджер Microsoft Bing.

Кто и когда начнёт

Anthropic уже приступила к работе, написал Келли. По его словам, новый сигнал дополнит существующие инструменты управления краулерами Anthropic, а не заменит их.

«Нам потребуется время, чтобы добавить поддержку во все наши сервисы и разобраться с неизбежными сложностями и пограничными случаями, которые, я уверен, обнаружатся», — написал Келли.

OpenAI заявила, что намерена внедрить сигнал «в ближайшие месяцы». Существующие механизмы управления её краулерами, такие как GPTBot, продолжат действовать, отметили в компании.

Google планирует поддержать сигнал в 2027 году, а в документации по её краулерам указано начало 2027 года. Google-Extended — собственный инструмент Google для управления обучением ИИ. Если сайт откажется с помощью токена и не упомянет Google-Extended, Google расценит это как блокировку Google-Extended. Сайты, разрешающие Google-Extended, могут появляться в ответах приложения Gemini и получать переходы, написал адвокат поиска Google Джон Мюллер.

Microsoft начнёт соблюдать новые предпочтения с 1 февраля 2027 года. Они заменят теги NoArchive и NoCache, которые компания использует с 2023 года. Кроме того, Microsoft добавляет отдельную постраничную настройку для grounding — когда ИИ-ответ опирается на актуальную веб-страницу. Один из вариантов разрешает это собственным продуктам Microsoft, таким как Copilot, но блокирует сервисы grounding, которые Microsoft продаёт другим компаниям.

Чего сигнал не делает

Как сказано в черновике, токен выражает предпочтение сайта относительно использования его контента, а не распоряжение о сканировании. Сайт без такой группы не выразил никакого предпочтения, а существующие правила для всех краулеров не учитываются. Частные соглашения между сайтом и ИИ-компанией могут иметь приоритет.

Черновик является индивидуальной заявкой. Согласно datatracker IETF, организация его не одобряла, и у него нет формального статуса в процессе стандартизации.

В Microsoft заявили, что новые предпочтения «не устанавливают лицензионных или платёжных договорённостей». Блокировка grounding для ИИ «значительно снизит видимость вашего контента в ИИ-сервисах», добавили в компании. На позицию страницы в результатах поиска Bing это не влияет.

Глава по коммуникациям Meta Энди Стоун высказался в X в поддержку общего сигнала, сообщает The Verge. Будет ли Meta его соблюдать, он не уточнил.

Европейский аспект

По словам Google, предложение согласуется с Кодексом практики ЕС для ИИ общего назначения в рамках Закона об ИИ. Кодекс признаёт robots.txt основным способом, с помощью которого издатели выражают машиночитаемые предпочтения.

Среди тех, кого черновик благодарит за участие в обсуждении, — сотрудники Financial Times, BBC, Bertelsmann и Европейского совета издателей.

Издатели также добиваются оплаты. В июле Cloudflare потребовала от ИИ-краулеров платить или быть заблокированными. Её гендиректор предупредил, что трафик ботов может в 1 000 раз превысить человеческий веб-трафик. В Австралии ABC и SBS хотят, чтобы ИИ-компании платили за новости.

©  TheNextWeb.ru