Cloudflare и OpenAI: делаем поиск ИИ лучше для всех15.10.2026 16:00

Оптимизировать сайт для ИИ мало смысла, если ИИ не может его найти. Ответ на чей-то вопрос уже может быть на вашем сайте: инструкция по установке, на написание которой ушла целая неделя, или личный рассказ об использовании продукта с подробностями, от которых зависит решение о покупке. По мере того как всё больше людей обращаются за помощью к ИИ, важно, чтобы эти системы находили ваши материалы, точно их представляли и направляли к вам заинтересованных пользователей. Кроме того, вы хотите контролировать, как они получают доступ к вашему сайту.

Cloudflare и OpenAI запустили исследовательский пилотный проект в июле 2026 года, учитывая эти интересы. Мы хотели выяснить, могут ли сигналы из сети Cloudflare помочь пользователям ChatGPT эффективнее находить новый контент.

Сегодня мы делимся первыми результатами. Пока ответ однозначно положительный: благодаря пилотному проекту в поисковый индекс OpenAI попали ранее неизвестные страницы, и у ChatGPT появилось больше источников, помогающих людям находить актуальную и полезную информацию. В ходе работы мы также лучше поняли, какие страницы заслуживают внимания и как системы ИИ используют веб.

Находим больше материалов в интернете

В интернете полно конкретной информации. Человеку, который чинит стиральную машину, нужна инструкция именно к его модели. Тому, кто оформляет паспорт, — актуальные требования и размеры пошлин. А тому, кто выбирает местный ресторан, — последнее меню и часы работы. Найти нужную страницу — значит получить верный ответ вместо бесполезного. Такие страницы могут быть ценными, даже если на них ссылаются немногие сайты.

В прежней версии интернета обнаруживаемость означала выход на первые места в результатах поиска. А ценность информации предстояло оценить человеку, который переходил на страницу, — и уже потом забронировать столик или подать заявление на паспорт. Теперь, когда люди всё чаще полагаются на ИИ в поиске информации и выполнении задач, обнаруживаемость приобретает новое значение. Системам ИИ нужно находить подходящие источники, понимать, что полезно, и связывать людей с нужной информацией — будь то ответ, ссылка на источник или переход непосредственно на сайт.

Сеть Cloudflare предоставляет сигналы, которые помогают поисковому роботу OpenAI находить в интернете больше полезных страниц и показывать их пользователям ChatGPT. Затем OpenAI самостоятельно оценивает и ранжирует страницы, исходя из их актуальности и полезности. Вместе эти процессы создают цикл обратной связи, который может улучшить и поиск, и качество информации, доступной людям.

Этот совместный пилотный проект, в котором участвовало около 1% всей сети Cloudflare, помог OpenAI обнаружить и проиндексировать сотни миллионов новых веб-страниц. Благодаря этому люди могут находить больше полезного контента и получать ответы на большее число вопросов с помощью ChatGPT. Ссылаясь на подходящие источники, ChatGPT Search также позволяет пользователям изучать исходные материалы и находить сайты и издателей, которые за ними стоят.

С помощью GPT-6 и Intelligent UI OpenAI также превращает ChatGPT в ещё более удобное место для покупок, обучения и поиска ответов, предлагая более наглядные и интерактивные возможности, адаптированные к потребностям людей. Эта работа дополняет эти улучшения, помогая ChatGPT находить больше полезной и актуальной информации в интернете.

От поиска к полезным ответам

Найти URL — только начало. Нужно понять, доступна ли страница пользователю, предлагает ли она что-то уникальное и чем может ему помочь.

Например, мы выяснили, насколько легко автоматизированный трафик может создать впечатление, будто несуществующая страница представляет интерес. Боты снова и снова запрашивают файлы, которых нет. Некоторые сайты перенаправляют практически любой адрес на главную страницу. По другим адресам находятся копии одного и того же контента. Распознавая эти закономерности, мы можем сократить бесполезную работу ещё до того, как поисковый робот загрузит страницу, и повысить эффективность, что пойдёт на пользу владельцам сайтов.

Мы также тестируем сигналы, которые выявляют и помечают потенциально опасные страницы, добавляя ещё один уровень информации для более безопасного и надёжного поиска. На легитимном сайте может оказаться одна скомпрометированная страница — например, поддельная форма входа, размещённая злоумышленником. Если пометить именно эту страницу, а не весь домен, пользователи будут защищены, а владелец сайта не понесёт незаслуженного наказания. Первые результаты показывают, что эти сигналы помогают выявлять страницы, которые не следует включать в индекс.

Упрощаем поиск

По мере того как всё больше людей используют ИИ для поиска информации, у владельцев сайтов появляются новые возможности привлечь заинтересованную аудиторию. Для тех, кто решит сделать свой контент доступным системам ИИ, эти улучшения упростят поиск и повысят его эффективность.

Чаще загружать каждую страницу, чтобы не отставать от обновлений, было бы накладно для всех. Для владельца сайта повторная загрузка роботом неизменившейся страницы создаёт дополнительную нагрузку, не принося никакой пользы.

Именно сигналы, описанные выше, позволяют этого избежать. Фильтрация не даёт роботам обращаться к несуществующим страницам и тем, которые перенаправляют на другие адреса. Сигналы об изменениях сообщают, когда страницу стоит посетить ещё раз, а когда в этом нет необходимости.

Важно найти правильный баланс. Поиск новых страниц может сначала увеличить объём сканирования, пока эти страницы оцениваются и индексируются. Цель — продолжать находить новые материалы и поддерживать актуальность, сокращая при этом объём необходимой работы. Для клиентов Cloudflare это означает снижение лишней нагрузки. Для OpenAI — возможность направлять больше ресурсов поисковой системы на информацию, полезную людям.

Делаем участие выгодным

На следующем этапе мы опираемся на полученный опыт: улучшим отбор страниц, проверим более быстрые и надёжные сигналы изменений и оценим, что происходит после обнаружения контента.

Мы продолжаем сотрудничать с OpenAI, чтобы понять, как более эффективный поиск сайтов может привести к реальным результатам для бизнеса, и будем делиться полученными выводами.

На каждом этапе важно учитывать решения владельцев доменов. Сигнал о странице не даёт разрешения на доступ к ней. В этом исследовании для поиска и обнаружения используются метаданные об интернете, а не содержимое страниц, передаваемое для обучения моделей.

С помощью Cloudflare«s AI Crawl Control вы можете узнать, как системы ИИ получают доступ к вашему сайту, и управлять этим доступом.

© Cloudflare Blog