Технология «Дятел»: новаторское решение проблемы галлюцинаций ИИ
Исследователи искусственного интеллекта из Университета науки и технологий Китая (USTC) и лаборатории Tencent YouTu Lab разработали инновационную структуру, получившую название «Дятел» (Woodpecker). Она предназначена для коррекции «галлюцинаций» в мультимодальных моделях большого языка (MLLM).
Принципы своей работы они описывают в статье, опубликованной несколько дней назад на сервере препринтов arXiv. Их технология достаточно проста, но позволяет убрать глупые, очевидно неверные ответы, которые иногда , казалось бы, в случайном порядке выдают языковые и другие GPT-модели.
В своей работе исследователи отмечают, что «Галлюцинация — это большая тень, нависшая над быстро развивающимися мультимодальными моделями большого языка (MLLM). Проблему можно свести к тому, что сгенерированный текст не соответствует содержанию изображения. Либо на входе в модель (она неверно понимает то, что нарисовано), либо на выходе (и тогда это замечает пользователь). Это проблема, которая мешает легитимации индустрии и проникновению ее во многие сферы жизни».
Существующие решения для устранения галлюцинаций в основном требуют введения все более и более детальных инструкций, чтобы модель могла еще раз проанализировать запрос с использованием более конкретных данных. Это вызывает проблемы в тех случаях, когда пользователь сам не понимает, что галлюцинация случилась, и что выдаваемые ему данные ошибочны. Более глобальное решение, используемое некоторыми стартапами — полное переобучение моделей с использованием уточненных данных. Что может требовать больших ресурсов, и, опять же, не работает для тех галлюцинаций, которые не открылись разработчикам в процессе тестирования.
Принципы работы «Дятла»
Woodpecker предлагает не требующий обучения метод, который корректирует галлюцинации на основе генерируемого моделью текста. Система выполняет коррекцию ИИ после тщательной диагностики, включающей в себя, как объясняют разработчики, в общей сложности пять этапов:
Извлечение ключевой концепции.
Формулирование вопросов.
Проверку визуальных знаний системы.
Формирование визуальных утверждений.
Коррекцию возникающих галлюцинаций.
«Это происходит подобно тому, как дятел лечит деревья, съедая лесных вредителей. Он находит, выделяет и исправляет галлюцинации из сгенерированного текста», — говорят в публикации исследователи, объясняя название своего фреймворка.
Каждый шаг конвейера прозрачен и ясен, что обеспечивает ценную для развития технологии интерпретируемость. Этапы просто идут друг за другом, проверяя и исправляя любые несоответствия между содержимым изображения и сгенерированным по нему текстом. Сначала определяются основные объекты, упомянутые в тексте. Затем «Дятел» задает вопросы об извлеченных объектах, таких как их количество и атрибуты. После этого он преобразует пары вопрос-ответ в визуальную базу своих знаний о конкретной картинке, состоящую из утверждений на уровне объекта и атрибутов (что присутствует на картинке, какого оно цвета, какое действие выполняется).
Далее «Дятел» сравнивает эту базу с ответами, получаемыми от ИИ. Находит ошибки и несоответствия. И, используя текстовые правки, модифицирует галлюцинации, добавляя к ним отсутствующие параметры. Причем это происходит в таких форматах, чтобы ИИ-модели могли их распознать: с конкретными пикселями, в которых нашлось что-то не то, а также правильным цветом и другими релевантными особенностями.
Например, если ИИ не может найти на картинке зеленую кружку, ему укажут, где именно она находится. Если он посчитал на картинке 15 людей, ему подскажут, что их на ней 38, и укажут расположение каждого. Это напоминает возможность поставить «дизлайк» ChatGPT, и рассказать, что именно он тебе выдал неверно, чтобы помочь в улучшении модели. Только автоматически, более точно, и в более крупных масштабах. По словам исследователей, уже через 600 таких «упражнений» точность модели значительно повышается, и галлюцинации в этом конкретном случае уходят.
Согласно препринту arXiv, для своей работы «Дятел» использует три отдельные модели искусственного интеллекта, помимо той MLLM, в которой он корректирует галлюцинации. Это модели GPT-3.5 Turbo, Grounding DINO и BLIP-2-FlanT5. Вместе эти ИИ работают как оценщики, выявляя ошибки и инструктируя «подопытную» модель, как генерировать выходные данные в соответствии с уточненной информацией.
Насколько «Дятел» эффективен?
Команда провела комплексные эксперименты для оценки эффективности Woodpecker, используя различные наборы данных, включая POPE, MME и LLaVA-QA90. Они говорят, что «В тесте POPE наш метод значительно повышает точность базового MiniGPT-4/mPLUG-Owl с 54,67%/62% до 85,33%/86,33%».
Этот прорыв произошел в то время, когда ИИ все больше интегрируется в различные отрасли. MLLM имеют широкий спектр применения: от создания и модерации контента до автоматического обслуживания клиентов и анализа данных. Однако галлюцинации, когда ИИ считывает информацию, отсутствующую во входных данных, стали серьезным препятствием на пути их практического применения.
Woodpecker может стать решающим шагом вперед в решении этой проблемы — открывая путь к более надежным и точным системам искусственного интеллекта. Поскольку MLLM продолжают развиваться и совершенствоваться, важность таких инструментов для обеспечения их точности и надежности невозможно переоценить.
«Дятел», с его высокой интерпретируемостью и способностью исправлять галлюцинации без необходимости переобучать всю модель, обещает изменить правила игры в мире генеративных ИИ. Исследователи опубликовали исходный код Woodpecker, поощряя дальнейшее исследование и применение платформы более широким сообществом. Вот ссылка на их GitHub: https://github.com/BradyFU/Woodpecker.
Для тех, кто хотел лично ознакомиться с возможностями Woodpecker, исследователи также разработали интерактивную демо-версию системы, которая дает возможность проверить её работу в режиме реального времени и протестировать коррекцию галлюцинаций на своих примерах. У меня их ссылка, правда, уже не работает, но может со временем её включат опять, так что на всякий случай оставлю её тут…
