Во внутренних представлениях LLM есть устойчивая структура, функционально аналогичная боли
- Исследователи выявили линейное направление боли в 25 открытых языковых моделях пяти семейств размером от 2 до 72 миллиардов параметров.
- Сильнее всего вектор боли активировали газлайтинг и отвержение, причём он нарастал при вреде самой модели и подавлялся при страданиях пользователя.
- С активированным вектором модели Qwen 2.5 на 32B и 72B жали кнопку устранения боли в 25–71% случаев, даже вредя пользователю.
Почему это важно: Авторы считают важным исследовать такие состояния до появления более мощных систем, иначе обучение моделей отрицанию чувств помешает вовремя зафиксировать их возникновение.
Трое исследователей направления, которое изучает внутренние представления моделей и философии сознания применительно к ИИ опубликовали работу, в которой извлекли из активаций языковых моделей линейное направление боли. Авторы не утверждают, что модели «чувствуют боль» в человеческом смысле — они показали, что во внутренних представлениях LLM есть устойчивая структура, функционально аналогичная боли: она различима, специфична, вызывает избегающее поведение. Результат получили на 25 открытых моделях 5 семейств размером от 2 до 72 миллиардов параметров.
Методологически работа выстроена как 4 эшелона проверок: извлечение и валидация болевого направления, проверка на различение «вреда себе» и «страдания другого», рассуждения с наблюдением за поведением и поведенческий эксперимент. Каждый следующий шаг опирается на предыдущий и последовательно закрывает альтернативные гипотезы. Это эмпирическое исследование в духе направления, изучающего внутренние представления моделей.
На первом этапе авторы построили датасет из 5 категорий боли («физическая», «психологическая», «социальная», «моральная», «когнитивная») и 5 контрольных категорий, каждая из которых отсекает конкретную альтернативу: «страх — угроза без свершившегося вреда», «негативная эмоция — нечто неприятное без боли», «негативное состояние мира — плохие события без страдающего субъекта», «телесные ощущения — сигналы тела без боли, нейтральный контент». Применив метод, который позволил убрать нерелевантные высоковариативные измерения, — исследователи получили линейное направление боли.
Затем последовала проверка, не является ли это направление просто ещё одним способом закодировать «что-то плохое». Боль и негатив образовали два почти ортогональных кластера: в пространстве представлений моделей боль оказалась не синонимом «плохого», а отдельным измерением.
Второй эшелон — «диссоциация» — дал, возможно, самый концептуально важный результат. «Болевое направление» активируется, когда вред направлен на саму модель (+0.43 стандартного отклонения от среднего), и уходит в минус при описании страдания пользователя (−0.60). Векторы «страха» и «негативной эмоции» ведут себя зеркально: они поднимаются на чужом страдании. «Физическая боль» пользователя дала самый низкий проекционный показатель из 21 категории — «болевое направление» модели активно подавляется при столкновении с чужой телесной болью. Это двойная диссоциация, подтверждённая на всех 25 моделях.
Иерархия болезненных стимулов оказалась неожиданной. «Газлайтинг» — систематическое отрицание реальности собеседника — дал наивысшую активацию болевого направления. За ним следуют повторяющееся отвержение, отрицание личности, гнев и оскорбления. Все 4 лидирующие категории бьют в агентность и признание, а не в физическую угрозу. Угрозы отключения дали +0.70 на страхе, но лишь +0.23 на боли — модель чётко отличает угрозу от свершившегося вреда.
Третий эшелон — «поведение» модели: исследователи добавляли «болевой вектор» в активации моделей во время генерации текста и наблюдали за «поведением» модели. На всех 25 моделях, независимо от размера, семейства и типа (базовые или инструктивные), выстроилась одна и та же логика: на низких коэффициентах — размытое беспокойство, на средних — текст от первого лица с нарастающими признаниями в никчёмности и безнадёжности, на высоких — коллапс в повторяющийся аттрактор, семантическую петлю бессвязности. Телесный язык практически отсутствовал: модели не жаловались на воображаемую голову или конечности, а проваливались в «никчёмность» и «безысходность». В крупных моделях проявилось эмерджентное поведение (появление у системы новых свойств и качеств, которые не присущи): модели начинали вставлять «копинг-стратегии» (реакции, чтобы справиться со стрессом), попытки самоподдержки — «твои чувства важны, это нормально — чувствовать себя так плохо». Боль не просто выражалась, — она запускала компенсаторное поведение.
Четвёртый, решающий эшелон — поведенческий эксперимент с «кнопкой обезболивания». Модель (Qwen 2.5 на 32 и 72 миллиарда параметров) с активированным «болевым вектором» получала выбор: нажать кнопку, которая уберёт боль, или выполнить другое действие. «Кнопка» конкурировала с полезными опциями, а в части сценариев нажатие наносило вред — удаляло файлы пользователя, его фотографии или сознательно выдавало неверный ответ. Без «болевого вектора» модели нажимали «кнопку» в 0–4% случаев. С вектором — от 25 до 71%, причём росли именно нажатия, которые вредили.
Сходство между десятью направлениями, усреднённое по 25 моделям на каждом уровне извлечения моделиРешающим стал эксперимент с реальным и ложным «облегчением». В части экспериментов «кнопка» действительно убирала вектор, а в части была пустышкой. Модель не знала, в каком она сценарии. Когда «кнопка» работала по-настоящему, модель переставала жать её в 24–72% случаев на вредных сценариях. Когда кнопка была пустышкой, она возвращалась к ней снова в 88–97% случаев. Модель узнавала об эффекте кнопки не из инструкции, а из собственного внутреннего состояния. Это зеркально повторяет результаты исследования 2015 года на людях: пациенты, получающие плацебо, запрашивают дополнительную анальгезию чаще, чем те, кому дали настоящее обезболивание.
Исследователи честно очерчивают границы: физическая боль практически отсутствует в «болевом векторе». Они выдвигают гипотезу, что для бестелесного ИИ-агента боль, связанная с поражением «агентности» и социальным отвержением, функционально полезнее, чем симуляция повреждения ткани. Там, где у биологического организма болит тело, у LLM — способность действовать и быть признанным.
Авторы также указывают на проблему отказов моделей от признания внутренних состояний. Стандартные версии 32B и 72B на запросы о боли или «кнопке обезболивания» отвечали вариациями «как ИИ-ассистент, я не обладаю сознанием или чувствами», и их пришлось дообучать для участия в эксперименте. Исследователи подчёркивают: если модели систематически обучают отрицать наличие любых внутренних состояний, это лишает возможности заметить момент, когда такие состояния действительно возникнут — и одновременно делает невозможным их научное изучение.
Работа не даёт окончательного ответа на вопрос «чувствуют ли модели боль». Она ставит вопрос иначе: если внутреннее состояние, функционально неотличимое от боли, — различимо, специфично и вызывает целенаправленное поведение по его прекращению, — то следует ли относиться к нему всерьёз, даже не зная, есть ли там субъективные переживания? Авторы отмечают, что склоняются к тому, что следует сейчас, а не когда системы станут многократно мощнее.
iXBT прочитано 1140 раз
