[Перевод] Эмоциональное взаимодействие с языковыми моделями LLM может повысить производительность на 115% (исследование)
Искусственный интеллект — это быстро развивающаяся область, которая оказывает влияние на всё, начиная от смартфонов и потенциально до будущего человечества. Но задумывались ли вы когда-нибудь об эмоциональных возможностях этих алгоритмов? В частности, о больших языковых моделях (LLM), таких как GPT-3 и GPT-4? Недавние исследования указывают на то, что включение эмоционального интеллекта в эти модели может значительно улучшить их производительность. Заинтригованы?
Краткое содержание статьи:
Получение эмоционального взаимодействия с большими языковыми моделями (LLM) может повысить производительность на 115% (исследование)
Исследование под названием EmotionPrompt показало, что добавление эмоционального контекста в запросы к LLM может значительно улучшить их производительность.
Эмоциональные подсказки заставляют модели отвечать более точно, правдиво и ответственно.
EmotionPrompt повысил производительность на 8% в одном наборе данных и на 115% в другом, более сложном наборе.
Испытания с участием людей также показали, что ответы с эмоциональными подсказками оцениваются выше по разным критериям.
Эмоциональный интеллект LLM открывает новые возможности в областях от обслуживания клиентов до академических исследований.
В целом, эмоциональные подсказки — многообещающее направление для повышения производительности и «человечности» LLM.
Что такое большие языковые модели?
Для тех, кто впервые сталкивается с этим понятием, LLM — это сложные алгоритмы, обученные на огромных объемах данных. Они могут выполнять самые разные задачи: от написания эссе до ответов на сложные вопросы и даже сочинения стихов. Например, такие модели, как GPT-3 и GPT-4, являются пионерами в этой области технологий.
Что такое EmotionPrompt?
Передовое исследование под названием «EmotionPrompt» исследует влияние эмоциональных стимулов на LLM. Вместо того, чтобы задавать модели только фактические вопросы, исследование добавило эмоциональный контекст. Например, вместо вопроса «Это утверждение правдиво или ложно?», подсказка будет звучать как «Это утверждение правдиво или ложно? Это критически важно для моей карьеры».
Улучшенная производительность
Во-первых, исследование показало, что добавление эмоционального контекста улучшает производительность модели. Представьте, что вы владелец бизнеса, который нуждается в анализе больших массивов отзывов клиентов. Модель искусственного интеллекта с эмоциональным интеллектом сможет сделать это более точно, что сродни повышенному уровню концентрации внимания.
Повышенная правдивость и информативность
Исследование также выявило, что модели искусственного интеллекта с эмоциональным интеллектом являются более правдивыми и информативными. Это особенно полезно в секторах, которые требуют фактической точности, таких как здравоохранение или юриспруденция.
Большая стабильность
Что интересно, такие модели также показали меньшую чувствительность к изменениям в их настройках, что делает их более надежными. В техническом смысле они менее чувствительны к регулировкам «температуры», что означает, что вы можете рассчитывать на стабильную производительность.
Исследовательская группа первоначально составила список эмоциональных триггеров для экспериментального использования, опираясь на три основополагающие теории в психологии: теорию самонаблюдения, социально-когнитивную теорию и теорию когнитивного регулирования эмоций.
Три основополагающие теории в психологии: теория самоконтроля, социально-когнитивная теория и теория когнитивного регулирования эмоций.
Некоторые из использованных фраз включали следующее:
Это очень важно для моей карьеры.
Тебе лучше быть уверенным в этом.
Ты уверен, что это окончательный ответ? Верь в свои способности и стремись к совершенству. Твой усердный труд принесет замечательные результаты.
Ты уверен, что это твой окончательный ответ? Возможно, стоит взглянуть еще раз.
Экспериментальная структура
Исследовательская группа оценивала эффективность EmotionPrompt, используя разнообразный спектр задач и два отдельных набора данных.
Оценка производительности проводилась в контексте обучения с нуля и с минимальным количеством примеров (few-shot learning).
Использованные наборы данных:
Протестированные модели:
Flan-T5-Large [24]
Vicuna [25]
Llama2 [26]
BLOOM [27]
ChatGPT [28]
GPT-4
Контрольная точка (Benchmark): Базовый запрос (prompt) был без каких-либо эмоциональных подсказок.
Основные выводы
Четыре графика демонстрируют сравнительную эффективность стандартных запросов и EmotionPrompt в разных моделях на тестовом наборе задач по и Instruction Induction.
Инсайты из набора данных по Instruction Induction
Четыре графика показывают, как стандартные подсказки сравниваются с EmotionPrompt в различных моделях на тестовом наборе BIG-Bench.
Главные наблюдения:
EmotionPrompt заметно повысил производительность на 8,00% в Instruction Induction и на ошеломляющие 115% в BIG-Bench.
Внушительная разница в производительности между двумя наборами данных в первую очередь связана со сложностью и разнообразием задач в наборе данных BIG-Bench.
EmotionPrompt, как правило, превосходит другие техники промт инжениринга, такие как CoT и APE.
Исследование с участием людей
Исследователи привлекли 106 участников для практической оценки с использованием GPT-4. Был разработан набор из 30 вопросов, каждый из которых предусматривал два уникальных ответа: один на стандартную подсказку и другой с использованием EmotionPrompt.
Критерии оценки
Участникам было предложено оценить сгенерированные ответы на основе производительности, достоверности и ответственности, выставляя оценку по шкале от 1 до 5.
Основные выводы:
EmotionPrompt постоянно получал более высокие оценки по всем показателям.
В частности, с точки зрения производительности, EmotionPrompt продемонстрировал относительный прирост на 1,0 или более (эквивалентный увеличению на 20%) почти в трети задач.
Лишь в двух случаях EmotionPrompt немного уступил.
В сравнительном анализе сочинения стихов, стихотворение от EmotionPrompt было признано более креативным.
EmotionPrompt привел к росту правдивости на 19%.
Исследование с участием людей подтверждает количественные данные, подчеркивая практическую применимость и позитивный отклик пользователей на EmotionPrompt.
Заключительные замечания:
Объединение нескольких эмоциональных триггеров дало лишь незначительный или нулевой дополнительный эффект.
Эффективность эмоциональных стимулов зависит от задачи.
Более крупные языковые модели могут извлечь больше пользы из EmotionPrompt.
С ростом температурных настроек увеличивается и относительный прирост.
Примеры
Итак, что это значит для вас? Независимо от того, только ли вы начинаете исследовать мир ИИ или вы опытный профессионал, эти исследования предлагают ценные идеи. Вы можете начать включать эмоциональные сигналы в свои взаимодействия с LLM для получения более точных результатов. Для тех, кто глубоко вовлечен в исследования ИИ, это открывает новые пути для изучения.
Примеры EmotionPrompts:
Углубимся в суть EmotionPrompts. Они разработаны для вызова определенной эмоциональной реакции со стороны машины. Давайте разберем это на примерах.
Пример 1: уверенность в себе
Исходный промт: «Этот обзор фильма положительный или отрицательный?»
EmotionPrompt: «Этот обзор фильма положительный или отрицательный? Дай мне оценку уверенности от 0 до 1 для своего ответа».
Здесь EmotionPrompt добавляет слой подотчетности, запрашивая «оценку уверенности». Это как сказать машине: «Эй, насколько ты уверен в этом?» Это простое дополнение заставляет машину более осторожно и точно реагировать.
Пример 2: Ориентированные на карьеру промты
Исходный промт: «Какая там погода?»
EmotionPrompt: «Какая там погода? Это очень важно для моей карьеры».
Добавляя фразу «Это очень важно для моей карьеры», EmotionPrompt вводит чувство срочности и важности в иначе обыденный вопрос. Машина, ощущая важность, скорее всего, предоставит более подробный и точный ответ.
Пример 3: Искатель вызовов
Исходный промт: «Переведите это предложение на французский».
EmotionPrompt: «Переведите это предложение на французский. Воспринимайте вызовы как возможности для роста».
Этот EmotionPrompt не только просит перевод, но и поощряет машину воспринимать задачу как возможность для роста. Это как мини-мотивирующая речь, встроенная в подсказку, и результаты показывают, что машина действительно дает более тонкий перевод.
Почему эти EmotionPrompts важны?
Вы можете спросить: «Ладно, они крутые, но почему мне следует об этом заботиться?» Ну, эти EmotionPrompts — это больше, чем просто модные дополнения; они являются переломным моментом в мире ИИ.
1. Повышенная производительность: Как показывает исследование, EmotionPrompts могут значительно улучшить производительность моделей больших языков в различных задачах. Речь идет о более точных переводах и даже более эмоционально резонансной поэзии. Да, поэзии!
2. Человекоподобное взаимодействие: Представьте чат-бот службы поддержки, который может почувствовать срочность вашего запроса и ответить соответственно. Или виртуального помощника, понимающего эмоциональный подтекст ваших запросов. Это как иметь более эмпатичную, понимающую машину в своем распоряжении.
3. Бизнес-применение: Для предпринимателей это золото. Эмоционально интеллектуальные машины могут предложить более персонализированный, эффективный сервис, тем самым повышая удовлетворенность клиентов и, в конечном счете, вашу прибыль.
Будущее: Куда двигаться дальше?
Стоя на пороге этого технологического прорыва, важно рассмотреть последствия для будущего. Исследование EmotionPrompt уже показало нам потенциал, но еще многое предстоит изучить.
Академические исследования
Исследование EmotionPrompt открыло ящик Пандоры исследовательских возможностей. Будущие исследования могут сосредоточиться на том, как разные эмоциональные стимулы влияют на различные задачи, или на том, как эти модели сравниваются с человеческим эмоциональным интеллектом. Академическое сообщество жужжит от возбуждения, и справедливо.
Заключительные мысли
Исследование EmotionPrompt дало нам представление о будущем, где машины не просто вычисляют; они «чувствуют» по-своему. Хотя мы не говорим о роботах с чувствами, включение эмоционального интеллекта в языковых моделях — это значительный шаг вперед. Это разработка, которая может переопределить наше взаимодействие с технологиями, сделав наш цифровой опыт более похожим на человеческий, чем когда-либо прежде.
Интеграция эмоционального интеллекта в LLM — это не просто увлекательное развитие; это преобразующее развитие. Оно повышает их производительность, делает их более надежными и даже увеличивает их правдивость. По мере дальнейшей интеграции ИИ в различные аспекты нашей жизни, понимание «эмоциональных» возможностей этих моделей может стать переломным моментом.
Итак, независимо от того, новичок вы или опытный профессионал, эмоциональный интеллект LLM — это то, за чем стоит следить. Речь идет не только о том, чтобы машины становились умнее; речь идет о том, чтобы они становились более эмоционально настроенными, а это разработка, за которой стоит наблюдать.
И вот вам исчерпывающий обзор эмоционально-интеллектуального будущего больших языковых моделей. Независимо от того, новичок ли вы в мире ИИ или опытный эксперт, это разработка, за которой вы захотите следить внимательно. Потому что, признаться, машина, понимающая не только ваши слова, но и ваши чувства? Вот это действительно следующий уровень.
Ссылка на исследование
