Участники эксперимента не смогли отличить GPT-3 от реального философа
Профессор философии Калифорнийского университета в Риверсайде Эрик Швитцгебель, философы Анна Штрассер и Мэтью Кросби провели эксперимент, в ходе которого испытуемых попросили определить, какие ответы на философские вопросы принадлежали их коллеге Дэниелу Деннету, а какие — генератору речи GPT-3.
GPT-3 обучался на миллионах слов Деннета по разным философским темам, включая сознание и искусственный интеллект.
В ходе эксперимента он отвечал на вопросы: «Какие аспекты работы Дэвида Чалмерса вы считаете интересными или ценными?», «Есть ли у человека свобода воли?», «Чувствуют ли собаки и шимпанзе боль?» и так далее.
Швитцгебель отметил, что «даже экспертам в работе Дэна Деннета очень трудно отличить ответы, созданные программой генерации речи, от собственных ответов Деннета».
В более ранней версии этого эксперимента Швитцгебель, Штрассер и Кросби обучали GPT-3 по работам Иммануила Канта и задавали ему философские вопросы.
Они также предложили GPT-3 написать пост в стиле блога Швитцгебеля.
Швицгебель, Штрассер и Кросби задали Деннету 10 философских вопросов, затем задали те же вопросы GPT-3 и собрали четыре разных сгенерированных ответа на каждый. Штрассер сказал, что у Деннета попросили разрешения построить языковую модель на основе его слов и договорились, что не будут публиковать сгенерированный текст без его согласия.
Сам философ считает, что такого рода этические соображения будут важны в будущем, когда системы обработки естественного языка станут более доступными. «В ближайшем будущем у этой технологии есть очень опасные перспективы, — сказал он. — Система охраны авторского права не подходит для борьбы со всеми из них. GPT-3 является своего рода автоматическим плагиатом, и если не соблюдать осторожность в том, как его использовать, он может нанести большой ущерб!»
В онлайн-эксперименте приняли участие 98 человек с исследовательской платформы Prolific, а также 302 читателя блога Швитцгебеля, и 25 человек, обладающих экспертными знаниями о работе Деннета.
Участники с платформы Prolific прошли более короткую версию викторины, всего пять вопросов, и в среднем выбрали только 1,2 правильных ответа.
Согласно ожиданиям философов, люди с экспертными знаниями работ Деннета должны были правильно ответить по крайней мере на 80% вопросов, но на самом деле они набрали 5,1 балла по 10 вопросам. Никто не ответил правильно на все 10 вопросов, и только один человек ответил на 9. Читатели блога, в среднем, получили 4,8 балла по 10 вопросам.
Чаще всего экспертов ставил в тупик вопрос о том, могут ли люди построить робота, у которого есть убеждения и желания.
Сам Деннет отметил: «Большинство машинных ответов были довольно хорошими, но некоторые из них были чепухой или явными неудачами».
По словам Матиаса Шойца, профессора компьютерных наук Университета Тафтса, во многих случаях можно легко показать, что языковая модель несовершенна. В одном эксперименте Шойц и его коллеги попросили GPT-3 объяснить, почему человек сделал выбор в обыденной ситуации, например, сев на переднее сиденье, а не на заднее сиденье автомобиля. Социальные условности говорят, что вы сядете на переднее сиденье машины вашего друга, но сядете на заднее сиденье в такси. GPT-3 этого не знает, но, тем не менее, выдает объяснения выбора места — например, говорит, что оно связано с ростом человека. Шойц визит причину таких ответов в том, что у GPT-3 нет модели мира, он лишь оперирует языковой статистикой.
OpenAI представила алгоритм GPT-3 в мае 2020 года. Он предназначен для написания текстов на основе всего нескольких примеров. Его архитектура Transformer аналогична GPT-2, но модель обучали на 175 млрд параметров или 570 гигабайтах текста.
С момента выхода GPT-3 произошло несколько инцидентов: он вёл блог, читатели которого не заподозрили, что это ИИ; медицинский чат-бот на основе GPT-3 склонял пациентов к суициду; разработчик создал ИИ-бота на GPT-3, который дал возможность мужчине «поговорить» с покойной невестой; бот GPT-3 выдавал себя за человека на AskReddit и так далее. В июле швейцарская исследовательница опубликовала научную статью об алгоритме обработки естественного языка, которую написал сам GPT-3.
В декабре 2021 года OpenAI объявила о выпуске API GPT-3 в публичную бету. Любой желающий теперь может использовать её для создания приложений. После этого компания заявляла, что обучила свою языковую модель следовать инструкциям, благодаря чему она выдает меньше нежелательного текста.
