«Понимают» ли чат-боты цветовые метафоры: ученые дали ответ
Такого рода выражения часто встречаются в текстах, на которых обучаются языковые модели, поэтому свободное владение фразами такого рода и даже периодическое уместное употребление их в ответах понятно. Но ученые задумались: ведь чат-боты никогда не видели голубого неба или красного яблока — то есть, их знания о цветах и связанных с ними метафорах целиком основано на текстах. Нужен ли в таком случае человеческий визуальный опыт для полного понимания цветовых метафор? Или достаточно одного лишь языка — и для ИИ, и для человека?
На эти вопросы попытались ответить специалисты под руководством профессора Лизы Азиз-Заде из Университета Южной Калифорнии. Их работа представляет собой междисциплинарное исследование, объединяющее нейробиологов, психологов, специалистов по ИИ и социальным наукам. Команда включала ученых из Стэнфорда, Университета Монреаля, Google DeepMind и других академических центров. Основной целью проекта было выяснить, насколько понимание цветовых метафор зависит от реального визуального опыта и насколько эффективен ИИ, в частности ChatGPT, в интерпретации подобных выражений.
Участники исследования были разделены на четыре группы: люди с нормальным зрением, люди с цветовой слепотой, художники, регулярно работающие с красками, и сам ChatGPT. Каждой группе предлагали абстрактные слова вроде «физика» и просили участников соотнести эти слова с цветами. Также ученые просили интерпретировать метафоры, связанные с цветами — причем, как известные («they were on red alert»), так и новые выражения, придуманные авторами эксперимента (например, «it was a very pink party»).
Результаты оказались неожиданными. Люди с нарушенным восприятием цвета интерпретировали метафоры практически так же, как и те, кто видит цвета нормально. Это говорит о том, что визуальное восприятие, вопреки гипотезам, не всегда играет роль в понимании цветовой символики. Однако художники, обладающие практическим опытом обращения с красками, гораздо лучше справлялись с новыми, незнакомыми метафорами. Это говорит о том, что непосредственный физический контакт с цветами углубляет когнитивное представление о них и расширяет языковое восприятие.
Что касается ChatGPT, модель показывала стабильные цветовые ассоциации и часто опиралась на культурные и эмоциональные коннотации. Например, объясняя выражение «a very pink party», языковая модель связала розовый цвет с радостью и любовью — то есть, характеристиками позитивного социального события. Однако при столкновении с более сложными вымышленными метафорами, например, «the meeting made him burgundy», ChatGPT терялся и предлагал менее осмысленные объяснения. Также он с трудом справлялся с задачами на инверсию цветовых ассоциаций — например, когда требовалось назвать цвет, противоположный зеленому.
Профессор Азиз-Заде подчеркивает, что хотя модели вроде ChatGPT могут довольно впечатляюще имитировать языковое поведение человека, они все еще ограничены отсутствием телесного, чувственного опыта. Это различие особенно заметно в тех случаях, когда понимание выходит за рамки усвоенных текстовых паттернов и требует вовлечения сенсорной памяти или эмпатического мышления. Исследование демонстрирует, что человеческий разум придает языку глубину за счет связи с личным опытом, тогда как ИИ оперирует лишь обобщенными текстовыми шаблонами. Кстати, ранее ученые предостерегли от попыток спрашивать у чат-бота совет в сложных жизненных ситуациях.
