И рыбку съесть, и в поисковиках остаться: как запретить обучение ИИ, сохранив видимость в поиске15.09.2026 16:00

Из-за отсутствия надлежащих инструментов владельцы сайтов долгое время сталкивались со сложной дилеммой: либо разрешить использовать свой контент для обучения ИИ, либо рисковать потерей видимости в поисковых системах. Эта проблема существовала потому, что некоторые из крупнейших интернет-организаций используют универсальных (веб-сканеров смешанного назначения): один и тот же бот выполняет поиск и одновременно собирает данные для обучения ИИ. Отказываетесь от одного — теряете и другое.

Сегодня Cloudflare анонсирует новую настройку Запрет обучения ИИ (Disallow AI Training), которая позволяет легко оставаться проиндексированными в поисковых системах, одновременно запрещая этому же сканеру использовать ваш контент для обучения. Apple, Google и Microsoft уже поддерживают эту настройку или взяли на себя обязательство внедрить ее в указанные сроки.

Универсальные сканеры были самой сложной частью проблемы обучения. На очереди — ИИ-суммарзации (краткие сводки). Общий ответ «да» или «нет» для всего сайта — слишком грубый инструмент: объем вашего контента, попадающего в сводку, имеет такое же значение, как и сам факт его появления. Возможность отказаться от ИИ-сводок — уже одно из требований, которые мы предъявляем к операторам универсальных сканеров. К началу следующего года наша цель — дать вам возможность контролировать, какая доля вашего контента включается в них, причем настраивать это нужно будет один раз в Cloudflare, а не отдельно для каждого оператора.

Почему простых просьб недостаточно

Большинство владельцев сайтов хотят, чтобы их находили: люди, агенты и (полезные) боты. Но значительная часть открытого интернета существует за счет рекламы, подписок или прямых отношений с посетителями, и эти модели приносят доход только тогда, когда пользователь действительно заходит на сайт.

Практически каждый владелец сайта считает поиск полезным: менее 1% сайтов на Cloudflare предпочитают блокировать поисковых ботов. Однако с обучением ситуация иная: 17% сайтов выбирают те или иные механизмы блокировки обучения. Именно поэтому мы решили, что владельцам сайтов нужны более гибкие настройки, а не универсальная кнопка «Заблокировать ИИ».

Одна лишь директива в robots.txt не может решить эту проблему. Ее может опубликовать каждый, но она не способна идентифицировать сканера, определить цель его обхода или остановить бота, который ее игнорирует.

Однако эту проблему может решить сеть: мы публикуем предпочтения, идентифицируем сканеров, классифицируем цели их обхода и блокируем тех, кто их игнорирует, а затем публикуем отчеты о реальных действиях каждого оператора на платформе Radar.

Но простая блокировка удаляет сканер. Она не меняет поведение роботов. Лучший результат — это когда операторы не заставляют вас делать выбор. Поэтому с июля мы ведем с ними прямой диалог. Реакция оказалась обнадеживающей: практически все согласились с тем, что владельцы сайтов должны иметь контроль и прозрачность в отношении использования их контента, а также гарантии того, что их выбор будут уважать. Чтобы помочь владельцам сайтов сориентироваться, мы ввели статус «Подотчетный» (Accountable).

Статус «Подотчетный» присваивается тем, у кого уже есть необходимые возможности сегодня, а также имеются конкретные обязательства по их внедрению. Чтобы соответствовать критериям, оператор бота должен удовлетворять следующим требованиям (или взять на себя обязательство удовлетворять им):

1. Наличие механизма, позволяющего владельцам сайтов отказаться от обучения ИИ с помощью robots.txt или аналогичного стандарта.
2. Наличие механизма, позволяющего владельцам сайтов отказаться от ИИ-сумок, настроенного напрямую через оператора, а со следующего года — через Cloudflare (подробнее см. в разделе ниже).
3. Видимость на уровне URL-адресов, показывающая, какие страницы были предоставлены для обучения, а также метрики, отражающие появление контента в поиске.
4. Гарантия того, что отказ от обучения ИИ не повлияет на традиционные результаты поиска.

Apple, Google и Microsoft демонстрируют соответствие критериям подотчетности. Каждая из компаний сочетает текущие возможности с конкретными по срокам обязательствами по тем функциям, которые еще находятся в разработке. Подробная информация о сканерах каждой из этих компаний приведена ниже.

Новые параметры настроек безопасности

Cloudflare классифицирует ботов по их поведению, причем один и тот же бот может проявлять несколько видов активности. Для управления доступны три типа поведения:

• Поиск (Search) — сканирование для построения поискового индекса.
• Обучение (Training) — сканирование для обучения или тонкой настройки модели.
• Агенты (Agent) — управляемые пользователем агенты, посещающие страницу от имени человека, например чат-боты для запросов и агенты для работы в браузере.

Универсальный сканер выполняет как поиск, так и обучение. Без соответствующих элементов управления такое сочетание создает описанную выше дилемму: владельцы сайтов не могут отказаться от одной цели, не отказавшись от другой.

Чтобы избежать блокировки подотчетных универсальных сканеров — тех, которые не ставят владельцев сайтов перед таким выбором, — мы представляем новую настройку: «Запрет обучения ИИ» (Disallow AI Training). Название настройки происходит от директивы Disallow:, которую она публикует в вашем файле robots.txt.

Настройка «Блокировать» теперь имеет другой смысл

Раньше параметры «Блокировать» (Block) и «Блокировать на страницах с рекламой» (Block on pages with ads) не применялись к универсальным сканерам, поскольку их блокировка могла также затронуть видимость в поиске. Теперь, когда у нас появилась новая настройка «Запрет обучения ИИ», функции «Блокировать» и «Блокировать на страницах с рекламой» распространяются на все обучающие сканеры, включая универсальные.

Управление поиском, обучением и агентами применяется на уровне домена. С появлением настройки «Запрет обучения ИИ» доступны следующие варианты:

1. Разрешить (Allow): разрешены все сканеры, если они не заблокированы другой настройкой или правилом WAF.
2. Запрет обучения ИИ (Disallow AI Training): функция синхронизации предпочтений ботов (Bot Preference Sync) публикует соответствующий запрет на обучение в robots.txt. Подотчетные универсальные сканеры по-прежнему допускаются к поиску. Все остальные обучающие сканеры блокируются, включая специализированные обучающие боты от Amazon, Anthropic, Meta и OpenAI — их блокировка никак не влияет на поиск. Настройка «Запрет обучения ИИ» применима только для обучения (Training), а не для поиска или агентов.
3. Блокировать на страницах с рекламой (Block on pages with ads): сканеры, включая универсальные, блокируются только на тех страницах, где обнаружено размещение рекламы.
4. Блокировать (Block): все сканеры, включая универсальные, полностью заблокированы.

Настройка «Запрет обучения ИИ» работает путем публикации предпочтений в файле robots.txt. Запрет только для рекламы выразить таким образом невозможно: Cloudflare может обнаруживать страницы с рекламой, но этот список слишком велик и меняется слишком часто, чтобы перечислять его в robots.txt. Именно поэтому функция «Запрет обучения ИИ» не поддерживается для страниц с рекламой.

Агенты не создают тех же проблем с видимостью в поиске, что и универсальные сканеры, и в интернете пока нет устоявшейся директивы для выражения предпочтений запрета (Disallow) в отношении агентов. На данный момент мы не включаем настройку запрета для агентов. По мере развития таких стандартов, как ai-prefs, мы вернемся к этому вопросу.

Что изменится 15 сентября?

Мы вносим следующие изменения в системы управления ботами и контроля ИИ-сканирования (Bot Management и AI Crawl Control):

1. Функции «Блокировать» и «Блокировать на страницах с рекламой» теперь применяются к универсальным сканерам, включая Applebot, Bingbot и Googlebot, поэтому любая из этих настроек влияет как на поиск, так и на обучение. Чтобы остановить обучение и сохранить поиск, используйте настройку «Запрет обучения ИИ».
2. Настройка «Заблокировать ИИ-ботов» («Block AI Bots») будет упразднена в пользу более детального управления поиском, обучением и агентами.
3. Управляемый robots.txt (Managed Robots.txt) будет упразднен в пользу синхронизации предпочтений ботов (Bot Preference Sync). Клиенты, которые использовали Managed Robots.txt, будут перенесены на новую систему.
4. Настройка «Запрет обучения ИИ» станет частью рекомендуемой конфигурации для некоторых новых доменов.
5. Настройки существующих клиентов будут автоматически перенесены на новые элементы управления, как описано ниже.

Что вам нужно сделать

Практически ничего. Ваши текущие настройки перенесутся автоматически.

Если вы хотите полностью избавиться от универсальных сканеров, теперь вам нужно заявить об этом явно. Выберите «Блокировать». Это закроет Applebot, Bingbot и доступ Googlebot к вашему сайту, включая поиск.

Существующие домены, которые никогда не использовали элементы управления Поиском/Обучением/Агентами

Владельцы сайтов, которые никогда не настраивали детальные параметры, будут переведены на новые настройки на основе их прежней конфигурации «Block AI Bots»:

Существующие домены, на которых ранее были настроены параметры Поиска/Обучения/Агентов

Для доменов, где ранее были настроены детальные параметры, мы сохраним практический смысл их выбора в рамках новых определений. Предыдущие настройки обучения «Блокировать» или «Блокировать на страницах с рекламой» будут переведены в режим «Запрет обучения ИИ».

Рекомендации для новых доменов

Начиная с 15 сентября, клиентам, подключающим новый домен, будет предложен один из двух вариантов предустановленной конфигурации в зависимости от того, зарабатывает ли сайт на рекламе. Доход от рекламы зависит от того, увидит ли человек страницу своими глазами. Обучение заменяет этот визит ответом бота; агенты запрашивают страницу, когда на ней никого нет, чтобы увидеть рекламу. Поэтому пресеты для сайтов с поддержкой рекламы более строгие. Вы можете изменить любую из этих настроек во время настройки или в любой момент после нее.

Рекомендуемые настройки для новых доменов

Скриншот процесса подключения нового домена с демонстрацией рекомендуемых настроек при выборе опции «Я монетизирую страницы, на которых размещается реклама».

Что это значит для конкретных универсальных сканеров?

Applebot, Bingbot и Googlebot являются подотчетными (Accountable). Apple, Google и Microsoft привержены тем же принципам выбора издателей и прозрачности. С помощью настройки «Запрет обучения ИИ» они смогут продолжать сканирование вашего сайта для поиска. Выбор параметра «Блокировать» полностью прекращает их активность.

Мы также классифицируем соответствующие сканеры от Amazon, Anthropic, Meta и OpenAI как подотчетные. Эти организации разделяют свои поисковые и обучающие сканеры, поэтому Cloudflare может заблокировать обучающий сканер, не затрагивая поиск.

Applebot

Applebot позволяет владельцам сайтов отказаться от обучения, добавив правило Disallow для «Applebot-Extended» в файл robots.txt. В настоящее время владельцы сайтов также могут выражать свои предпочтения в отношении ИИ-сумок с помощью директивы nosnippet в HTML-коде страницы. Контент также можно пометить как платный контент (paywall), чтобы исключить его из результатов генеративного вывода. Applebot пока не предоставляет инструмент для проверки на уровне URL-адресов. Тем не менее, мы встречались с их командой, и они поделились подробностями своего разрабатываемого решения на следующий год. Компания Apple также заявила, что запрет на обучение не влияет на позиции в поиске.

Googlebot

Googlebot позволяет владельцам сайтов отказаться от обучения, добавив правило Disallow для «Google-Extended» в файл robots.txt, а также предоставляет переключатель в панели вебмастера для исключения контента сайта из результатов генеративного поиска. Googlebot также предоставляет владельцам сайтов метрики и отчеты о результатах поиска и генерации ИИ-сумок. Компания Google поделилась информацией о существующих и недавно запущенных средствах контроля, а также о том, над чем они работают в настоящее время, включая дополнительные инструменты прозрачности на уровне URL-адресов для владельцев сайтов, связанные с Google-Extended, выпуск которых ожидается в ближайшие недели. Google также подтвердила, что запрет Google-Extended не влияет на включение сайта в результаты поиска Google и не используется в качестве фактора ранжирования.

Bingbot

Bingbot предоставляет детальные настройки и средства прозрачности в своих инструментах для вебмастеров (Webmaster Tools). В настоящее время владельцы сайтов могут выражать свои предпочтения относительно обучения ИИ с помощью NOARCHIVE метатега Bing. Microsoft расширяет эти возможности и в настоящее время создает механизм, который также будет учитывать предпочтение «без обучения» в robots.txt на уровне домена/сайта, запуск которого запланирован на начало 2027 года. Клиенты Cloudflare, которые хотят отказаться от обучения в Bing уже сегодня, в дополнение к использованию тега NOARCHIVE могут воспользоваться инструментом блокировки URL-адресов или удаления контента. Microsoft также заявила, что использование NOARCHIVE не повлияет на ранжирование в поиске.

До запуска этой поддержки выбор настройки «Запрет обучения ИИ» не будет автоматически передавать в Bing через robots.txt пожелание об отказе от обучения. Это аналогично прежнему поведению настройки блокировки обучения (Training Block), которая не распространялась на универсальные сканеры, такие как Bingbot.

Дальнейшее развитие

По мере развития этих возможностей мы продолжим поддерживать связь и взаимодействовать со всеми операторами ИИ-сканеров. Платформа Cloudflare Radar в публичном доступе отслеживает настройки управления, прозрачность и отчетность, предоставляемые подотчетными операторами сканеров.

Создание лучшего интернета требует, чтобы обе стороны обладали реальными возможностями влияния: сканерам нужен доступ к открытому вебу, а создателям этого веба нужен действенный контроль над тем, как используется их труд. Сегодняшнее анонс знаменует собой конкретный шаг на пути к этому балансу.

Прогресс требует совместной работы инфраструктурных провайдеров, создателей контента, технологических компаний и организаций по стандартизации, таких как Инженерный совет Интернета (IETF), для воплощения этих принципов в открытые стандарты взаимодействия.

Что дальше: ИИ-суммарзации

Обучение и ИИ-суммарзации ставят перед владельцами сайтов разные задачи. Обучение касается того, можно ли использовать контент для создания моделей ИИ. Суммарзации влияют на то, как люди находят, оценивают и в конечном итоге посещают бизнес. Важно и то, и другое, но эти процессы влияют на бизнес по-разному.

Элементы управления для отказа от ИИ-сумок — это первый шаг. Операторы, признанные подотчетными, либо уже предоставляют эту возможность, либо завершают работы по ее внедрению, создавая важную основу: владельцы сайтов могут сказать «нет».

Но выбор между разрешением и запретом сводок в масштабах всего сайта — по-прежнему грубый инструмент. Правильное решение зависит от конкретного сайта, контента и бизнес-результатов. Для издателей обучение поднимает фундаментальные вопросы контроля, компенсации и долгосрочной жизнеспособности оригинального контента. Суммарзации порождают отдельный и зачастую более срочный вопрос дистрибуции: заходит ли пользователь на сайт издателя или получает ответ внутри поисковой выдачи либо ИИ-интерфейса? Для многих других компаний ИИ-сводки все прочнее встают между потенциальным клиентом и веб-сайтом. Они могут ответить на вопрос, сравнить альтернативы, порекомендовать продукт или помочь человеку решить, стоит ли вообще переходить на сайт.

Данные свидетельствуют о неоднозначном влиянии. Более половины потребителей читают сводки в результатах поиска, и такие пользователи на 40% чаще завершают свой поиск после прочтения такой сводки. Это может сократить количество визитов, получаемых веб-сайтом. Однако пользователи, пришедшие по рекомендациям из ИИ-поиска, конвертируются в покупателей со скоростью, превышающей показатели традиционного поиска в диапазоне от трех до пяти раз. ИИ может генерировать меньше переходов, но привлекать клиентов с гораздо более высоким намерением совершить целевое действие.

Это не хорошо и не плохо само по себе. Издатель, финансируемый за счет рекламы, может стремиться к максимальному охвату аудитории. Ритейлер может предпочесть меньшее число посетителей, но с более высокой вероятностью покупки. Задача Cloudflare — не делать выбор за них, а предоставить прозрачность и контроль, необходимые для принятия осознанного решения.

Отказ от сводок — отличный старт, но это не конечная точка. Наша следующая цель — помочь владельцам сайтов понять, как суммарзации влияют на их бизнес, и дать им больший контроль над тем, какая часть их контента может быть использована. Открытые стандарты, такие как ai-prefs, станут важной частью реализации этой задачи.

Если вы хотите высказать свое мнение по этому вопросу или оставить отзыв, пожалуйста, обращайтесь по адресу crawlercontrols@cloudflare.com.

Эти новые элементы управления доступны всем клиентам на любых тарифных планах и могут быть настроены в разделе Настройки безопасности (Security Settings) домена (зоны). Еще не используете Cloudflare? Начните бесплатно, чтобы настроить желаемые параметры управления трафиком уже сегодня.

© Cloudflare Blog