Постоянная подотчётность проверенных ботов
- Cloudflare оценивает устойчивое поведение проверенных ботов: соблюдение robots.txt и реакцию на обратную связь, включая HTTP 429.
- Система уже работает внутри Cloudflare; компания планирует открыть её клиентам, чтобы те могли выбирать порог доверия для обработки трафика.
- В 2025 году Cloudflare исключила Perplexity из списка проверенных ботов за доступ к запрещённым ресурсам и обход ограничений.
Почему это важно: Оценка помогает владельцам сайтов увереннее разрешать доступ соблюдающим их предпочтения ботам, а операторам — подтверждать доверие поведением.
Водительское удостоверение подтверждает личность человека и то, что он сдал экзамен по вождению, но не гарантирует, что в будущем он будет водить ответственно. То же верно и для ботов: проверка того, кто ими управляет, позволяет установить ответственность, но доверие зависит от их дальнейших действий. Известный бот всё равно может игнорировать предпочтения сайта, перегружать серверы или обходить ограничения. Это не всегда злонамеренное поведение — часто причина всего лишь в неверной настройке или ошибке.
Как мы рассказывали в предыдущей публикации в блоге о поведении ботов, мы стремимся получить ответы на два вопроса: «Вы тот, за кого себя выдаёте?» и «Можно ли вам доверять?» Чтобы стать проверенным ботом Cloudflare, в общем случае нужно соответствовать трём критериям:
- Точно и безопасно подтверждать свою личность
- Делать только то, что вы обещали делать
- Не вести себя недобросовестно
Боты используют Web Bot Auth для подписания запросов, подтверждающих их личность. Затем BotBase вносит эти данные в каталог в открытом формате. Теперь, когда вопрос идентификации решён, мы сосредоточимся на втором главном правиле проверенных ботов: не причиняй вреда.
Сегодня мы представляем систему, которая оценивает и сообщает о случаях, когда поведение проверенного бота начинает отклоняться от этого правила, помогая сохранить ответ на вопрос «Можно ли вам доверять?» утвердительным.
Здесь важно различать риск и доверие:
- Риск описывает вероятность того, что конкретный запрос или действие в определённый момент окажется вредоносным. Эта вероятность может меняться каждую секунду.
- Доверие формируется со временем благодаря повторяющемуся и последовательному поведению.
Например, в 2025 году мы исключили бота Perplexity из списка проверенных ботов: он пытался получить доступ к ресурсам сайтов, отказавшихся от сканирования, а после блокировки запросов пытался обойти установленные ограничения.
Не ведите себя недобросовестно
Это простое требование может показаться очевидным, но в нём есть немало нюансов. Когда краулеры не уважают предпочтения сайтов, доверие подрывается. Если сайт просит краулер не сканировать его или снизить частоту запросов, а тот игнорирует просьбу, доверие подрывается.
Мы разработали систему, которая оценивает, насколько часто краулер соблюдает предпочтения сайтов. На основе этих наблюдений формируется понятный уровень доверия — диапазон, показывающий, насколько последовательно бот соблюдает предпочтения сайта и какие замеченные действия повлияли на оценку. Это не постоянный вердикт о боте или его операторе. На начальном этапе мы оцениваем следующие сигналы:
- Соблюдает ли бот инструкции?
- Отреагировал ли он на прямую обратную связь?
Мы считаем эти правила элементарной вежливостью по отношению к операторам, которые предоставляют информацию, нужную ботам. В будущем мы будем публиковать эти оценки на Radar, а также расширять способы измерения. Эта оценка позволяет ответственным операторам ботов показать, что доверие оправдывается на протяжении времени. Проверяйте — и продолжайте проверять.
В чужой монастырь со своим уставом не ходят
Файл robots.txt — основной способ сообщить о предпочтениях владельца сайта. Наша система анализирует, насколько наблюдаемый трафик бота со временем соответствует опубликованным предпочтениям.
Файл robots.txt указывает всем ботам или отдельным ботам, какие части сайта можно сканировать. Единичные нарушения и другие разовые случаи могут быть несущественными. Вместо этого мы ищем повторяющиеся модели поведения, при которых предпочтения сайта игнорируются. От ответственных ботов требуется лишь проверять и соблюдать опубликованные сайтами предпочтения в соответствии с RFC 9309.
И чтобы не было недопонимания: файл robots.txt устанавливает минимальные правила того, чего ботам и агентам не следует делать. Но это не означает, что всё, о чём в нём не сказано, разрешено. Например, в robots.txt не обязательно указывать, что бот должен остановиться, если сайт с помощью других сигналов сообщает, что дальнейший доступ нежелателен.
Не делайте другим того, чего не желаете себе
Боты могут полностью придерживаться разрешённых путей и при этом создавать значительную нагрузку на посещаемые сайты. Один из самых очевидных способов для сайта дать отпор — ответ HTTP 429 («Слишком много запросов»). Ответ 429 предписывает посетителю снизить частоту запросов, иногда указывая, сколько времени нужно подождать перед следующей попыткой.
Наша система проверяет, меняет ли бот характер трафика после получения такого сигнала. Снижает ли он частоту запросов, приостанавливает ли их или продолжает отправлять запросы в прежнем темпе? Со временем мы учитываем это поведение при формировании уровня доверия к боту: последовательное снижение частоты запросов или паузы повышают доверие, а повторное игнорирование сигнала его снижает.
Доверие формируется со временем
Наблюдение за этими сигналами — лишь первый шаг к тому, чтобы автоматизированные системы с подтверждённой идентичностью несли ответственность за свои действия на протяжении времени. Сопоставляя идентичность бота с данными о его поведении, мы помогаем владельцам сайтов увереннее разрешать доступ ботам, которые соблюдают их предпочтения; даём операторам ботов возможность доказать, что они заслуживают доверия;, а также предоставляем владельцам сайтов контекст о поступающем к ним автоматизированном трафике.
Эта система вместе с Bot Preference Sync и Bot Management создаёт механизм подотчётности для автоматизированного трафика. Bot Preference Sync помогает владельцам сайтов публиковать свои предпочтения, а наблюдение за тем, как боты с ними взаимодействуют, показывает, насколько последовательно проверенные боты соблюдают их со временем. Bot Management позволяет владельцам сайтов решать, как обрабатывать такой трафик. Вместе эти инструменты помогают обеспечить, чтобы доверие заслуживали прозрачные и ответственные действия, а не просто предполагали его на основании личности.
Мы уже используем эту систему внутри компании, чтобы оценивать, насколько последовательно проверенные боты соблюдают предпочтения сайтов. Поскольку доверие формируется со временем, мы анализируем устойчивые модели поведения, а не отдельные события. На этом начальном этапе мы накапливаем историю наблюдений и совершенствуем способы превращать их в полезные рекомендации. Опираясь на эту базу, мы планируем сделать систему доступной всем клиентам Cloudflare: они смогут выбирать порог доверия, на основании которого будет приниматься решение об обработке трафика проверенных ботов. Наша цель проста: сохранить значимость предпочтений сайтов и обеспечить, чтобы доверие заслуживалось устойчивым поведением.
Хотите узнать больше о том, как управлять ботами? Клиенты Cloudflare уже могут использовать Bot Management для управления автоматизированным трафиком и Bot Preference Sync, чтобы согласовать опубликованные предпочтения с настроенными правилами. Чтобы ознакомиться с постоянно растущим числом проверенных ботов, изучите тенденции на Radar.
А если вы хотите помочь создать будущее идентификации ботов и подотчётности, ознакомьтесь с открытыми вакансиями в Cloudflare.
