Почему ваш ИИ-агент скорее будет гадать, чем проверять?16.10.2026 11:02

Попробуйте спросить ИИ-ассистента, сколько стоит отель среднего класса в Лиссабоне на следующие выходные. Вы получите цифру, обычно озвученную с полной уверенностью. А если затем спросите, откуда она взялась, объяснение быстро станет расплывчатым.

Иногда агент действительно проверил сайт бронирования несколькими секундами ранее. А иногда он ничего не проверял и выдал цифру из обучающих данных — возможно, за лето двухлетней давности. При этом он говорит тем же ровным тоном, что и тогда, когда отвечает правильно.

Обычно это называют галлюцинацией. Я бы немного поспорил с этим термином: во многих таких случаях модель вспоминает цену, которая когда-то действительно была актуальной. В системе ничто не требовало проверить, сохранилась ли она до сих пор.

Проверка в интернете требует времени, и агенты это знают

Прежде чем ответить на вопрос, агент выбирает: ответить по памяти или найти и прочитать страницу. В сообществах разработчиков и специалистов по ИИ это называют решением о получении данных.

Пользователь этого не видит. Почти ни одна из команд, с которыми мы работаем в Decodo, нигде не фиксирует этот выбор, хотя их панели мониторинга показывают стоимость каждого запроса с точностью до долей цента.

В большинстве агентских фреймворков инженер даже не принимает это решение. Веб-поиск доступен модели как инструмент, которым она может воспользоваться. Модель сама решает в конкретный момент, нужен ли он для ответа.

Это решение не такое надёжное, как кажется. Модель не знает, насколько устарел тот или иной факт в её памяти. Поэтому стоимость номера в отеле из 2024 года хранится в её весах с той же уверенностью, не привязанной к дате, что и температура кипения воды. Ничто не побуждает её относиться к этим сведениям по-разному.

Поиск также состоит из большего числа шагов, чем предполагают многие. Агенту нужно выполнить поисковый запрос, чтобы найти нужную страницу, а затем загрузить её. Именно на загрузке всё часто ломается: сайт блокирует автоматизированный трафик или цена появляется только после выполнения JavaScript, а агент вместо неё получает баннер с запросом согласия на использование файлов cookie.

Полученные данные нужно очистить, прежде чем модель сможет их прочитать. Каждый абзац обходится в токены и секунды. По сравнению с этим ответ по памяти почти ничего не стоит.

Как пропуск проверки становится нормой

Затем продуктовые команды оценивают агентов по скорости и плавности работы. На разборе агент, который отвечает «Не удалось загрузить эту страницу», выглядит сломанным, а тот, который приводит устаревшую цену, успешно проходит проверку.

За несколько циклов выпуска обновлений каждая слегка изменённая подсказка и каждое решение, принятое по умолчанию под давлением сроков, понемногу упрощают отказ от проверки — и в итоге ответы по памяти становятся для агента обычным поведением.

Как понять, проверял ли агент информацию в интернете

Пользуясь ИИ-ассистентом, вы не можете увидеть, решил ли он загрузить страницу, но обычно можете определить это по результату. Ответ, основанный на актуальной странице, как правило, указывает источник: содержит ссылку на страницу и часто дату проверки. Ответ по памяти звучит не менее гладко, только без ссылки.

Если речь о том, что часто меняется, например о цене или времени вылета, я бы считал ответ без источника предположением. Попросите ассистента найти информацию и показать источник. Этот дополнительный запрос часто меняет ответ.

Компаниям, выбирающим ИИ-инструменты, стоит задать тот же вопрос до подписания договора. Спросите поставщика, как часто его агент проверяет информацию в интернете, прежде чем отвечать на вопросы о цене или наличии товара. Также уточните, что увидит пользователь, если проверка не удастся.

Просмотр веб-страниц становится стандартной функцией, и большинство ИИ-агентов уже умеют им пользоваться. Однако не все. Некоторые по-прежнему не могут самостоятельно выходить в интернет.

В этом случае выясните, можно ли подключить сторонний сервис веб-данных через плагин или API. Тогда агент сможет искать и читать актуальные страницы.

Как сделать проверку более выгодным вариантом

Разработчики обычно первым делом пробуют перейти на более новую модель, но результат оказывается скромнее, чем они надеются. Новейшие модели и ИИ-инструменты умеют просматривать веб-страницы, однако намеренно решают этого не делать.

Если модель считает поиск ненужным, она отвечает на основе того, чему научилась во время обучения. В случае с ценой такие данные могут быть сильно устаревшими.

Часто всё решает формулировка. Вопрос со словами «сегодня» или «последний» обычно отправляет агента искать информацию в интернете.

На вопрос «Сколько наш главный конкурент берёт за базовый тариф?» агент всё ещё может ответить по памяти, хотя цена могла измениться уже дважды с момента обучения модели.

О чём попросить: четыре пункта

Решение — в том, как устроен продукт вокруг модели. Если бы на этой неделе я оценивал продукт на базе агента, то попросил бы о четырёх вещах:

• Отслеживать, как часто агент проводит проверку: измерять долю ответов, основанных на действительно прочитанной агентом странице, с разбивкой по темам. Если он проверяет цены только в половине случаев, начните с этого.
• Сделать проверку обязательной для некоторых вопросов: вопросы о ценах, остатках на складе, а также любые юридические или финансовые вопросы должны всегда запускать поиск. Это нужно закрепить в коде продукта, чтобы модель не могла пропустить проверку.
• Показывать, когда проверка не удалась: если агенту не удалось загрузить страницу, он должен сообщить пользователю, что не смог подтвердить ответ. Команда должна иметь возможность видеть, как часто это происходит.
• Упростить процесс проверки: команды часто соединяют отдельные сервисы для поиска в интернете и чтения страниц. Каждая передача данных между ними добавляет задержку и ещё одну точку, где запрос может завершиться ошибкой.

Какую роль играет Decodo

Последним пунктом мы занимаемся чаще всего в Decodo — именно поэтому мы создали Web Data API.

С одним ключом API агент может искать информацию в интернете, изучать структуру сайта, собирать страницы на нём или извлекать содержимое отдельной страницы.

Сервис работает на пуле IP-адресов, полученных из этичных источников, благодаря чему может читать сайты, блокирующие автоматизированных посетителей. Вместо исходного кода сайта агент сразу получает чистый текст, пригодный для работы.

Вернёмся к тому же вопросу о конкуренте. Получив доступ к актуальным веб-страницам, агент открывает действующую страницу с ценами конкурента и узнаёт сегодняшнюю цену. Ответ берётся со страницы, а не из памяти модели.

Большинство ИИ-инструментов уже могут искать информацию в интернете, и многие показывают источники (когда считают нужным). Но им всё ещё не хватает последовательности.

Агент, который в одном случае проверяет последнюю цену, а в следующем отвечает по памяти, не давая понять, какой из подходов использовал, — ненадёжный помощник в вопросах, связанных с расходами.

Полный текст статьи читайте на TheNextWeb.ru