В Google выяснили, почему умные нейросети «тупят» на простых вопросах
Исследователи Google Research опубликовали работу, которая показывает: передовые большие языковые модели кодируют 95–98% протестированных фактов, но не могут извлечь 26–34% из них при прямом вопросе. Это не ошибка в знаниях, а сбой в доступе к уже сохранённой информации.
Авторы предложили метод, названный knowledge profiling — «профилирование знаний». Вместо того чтобы оценивать точность каждого вопроса по отдельности, система классифицирует каждый факт по 5 категориям: не закодирован, закодирован, но не извлечён, извлечён напрямую, извлечён с размышлением, выведен без кодирования.
Для тестов создали выборку из 2150 фактов из «Википедии», к каждому из которых прилагалось по 10 вопросов.
Изображение сгенерировано: Nano Banana
Центральная метафора проста. «Пустая полка» — факт вообще не попал в модель. «Потерянный ключ» — факт есть, но модель не может его найти без дополнительных подсказок. Разница принципиальна: в первом случае нужна более крупная модель или более широкий охват данных, во втором — достаточно улучшить методы извлечения уже имеющихся знаний.
Самый неожиданный результат касается порядка слов. Когда вопрос меняет привычное направление «субъект — объект» на обратное, извлечение резко ухудшается. Например, модель легко отвечает, кто написал определённую книгу, но может не справиться с вопросом «какую книгу написал этот автор». Это не пробел в знаниях, а ограничение механизма доступа.
Для разработчиков, создающих приложения на основе языковых моделей, вывод практический: тестировать фактические системы нужно на перефразированных вопросах, с разным порядком слов и в формате узнавания, а не полагаться на один канонический шаблон. Работа Google Research не утверждает, что порядок слов — единственная причина сбоев, но даёт структурированный метод для измерения этого класса ошибок.
© iXBT
