[Перевод] Теория игр как способ управления ИИ
Привет, на связи Елена Кузнецова, специалист по автоматизации Шерпа Роботикс. Сегодня я перевела для вас статью, посвященную риску появлению предвзятости в предложениях искусственного интеллекта. Это серьезная проблема, ведь чему мы обучим ИИ, то и получим в его ответах.
В прошлой статье один из комментаторов ответил моей коллеге, Юле Рогозиной, что с развитием ИИ и ускорением получения информации «Ошибаться станет проще и ошибки станут грандиознее!». А что, если ошибки и предвзятости будут заложены изначально, в процессе обучения?
Приглашаю ознакомиться со статьей, подчеркивающей важность осознанного подхода к обучению ИИ.
Отказ от предложений искусственного интеллекта — это, вероятно, попытка заставить его быть более щедрым. Искусственные интеллекты часто обучаются на материалах, созданных или курируемых людьми. Это создает значительные трудности в предотвращении воспроизведения предвзятостей этих людей и общества, к которому они принадлежат. С учетом того, что ИИ все чаще используется для принятия медицинских и финансовых решений, риск становится еще более ощутимым.
Однако исследователи из Вашингтонского университета в Сент-Луисе обнаружили дополнительный аспект этой проблемы: люди, участвующие в обучении ИИ, могут изменять свое поведение, осознавая, что это поведение может повлиять на будущие решения ИИ. В некоторых случаях эти изменения в поведении переносятся в ситуации, не связанные с обучением ИИ. Это открытие подчеркивает сложность взаимодействия между человеком и машиной, а также важность осознанного подхода к обучению ИИ, который может иметь серьезные последствия в реальной жизни.
Хотите сыграть в игру?
Недавнее исследование погрузило участников в простую версию теории игр, где добровольцы получали $10 и должны были делать предложения друг другу о дележке этой суммы. Один из участников предлагал определённую долю денег, а другой мог либо принять, либо отвергнуть это предложение. Если второе лицо отказывалось, никто не получал ничего.
С точки зрения чистой рациональной экономики логично принять любое предложение, поскольку это всегда приведет к большему доходу, чем в случае отказа. Однако на практике люди часто отвергают предложения, сильно отклоняющиеся от равного распределения, поскольку считают их несправедливыми. Это решение позволяет им наказать того, кто сделал неравное предложение. Хотя культурные различия могут влиять на восприятие справедливости, данный эффект неоднократно подтверждался в различных исследованиях.
Интересная особенность работы, проведённой Лорен Трейман, Чиен-Жу Хо и Уаутером Кулом, заключалась в том, что некоторым участникам сообщили, что их партнёр — это искусственный интеллект. Результаты их взаимодействий должны были быть использованы для обучения AI.
Это вносит ясность в неявный аспект классического подхода к теории игр: отказ от предложений может помочь партнёрам понять, какие предложения считаются справедливыми. Участники, особенно те, кто был проинформирован о том, что тренируют AI, могли легко сделать вывод, что их действия повлияют на будущие предложения ИИ.
Исследователей интересовал вопрос: повлияет ли эта информация на поведение участников? Они сравнили результаты с контрольной группой, которая просто прошла стандартное испытание теории игр.
Справедливость обучения
Исследователи Трейман, Хо и Кул заранее зарегистрировали ряд многомерных анализов, которые планировали провести с полученными данными. Однако, результаты этих анализов не всегда были последовательными между экспериментами, что, возможно, объясняется недостаточным числом участников для выявления относительно тонких эффектов с достаточной статистической уверенностью, а также тем, что большое количество тестов могло привести к случайному появлению нескольких положительных результатов.
В данной работе сосредоточимся на простом, но важном вопросе: меняет ли осознание того, что вы обучаете ИИ, поведение человека? Этот вопрос был исследован через серию схожих экспериментов. Одно из ключевых отличий заключалось в том, отображалась ли информация о том, что участники обучают ИИ, с иконкой камеры, так как известно, что люди иногда меняют свое поведение, если знают, что находятся под наблюдением.
Ответ на этот вопрос однозначен: да, люди действительно изменяют свое поведение, когда думают, что обучают ИИ. В ряде экспериментов участники с большей вероятностью отклоняли несправедливые предложения, если им сообщали, что их сессии будут использованы для обучения ИИ. В некоторых случаях они также были более склонны отвергать то, что считалось справедливыми предложениями (например, в популяциях США отказ от предложений с разделением 70/30, где 7 долларов получает предлагающий, возрастает значительно). Исследователи полагают, что это связано с тем, что люди чаще отвергали пограничные «справедливые» предложения, такие как разделение 60/40.
Интересно, что такое поведение сохранялось даже несмотря на экономическую цену отказа от предложений для участников. Более того, они продолжали это поведение, даже когда им сообщали, что они никогда не будут взаимодействовать с ИИ после завершения обучения, то есть не получат личной выгоды от изменения поведения ИИ. Это указывает на то, что участники готовы были делать финансовые жертвы ради обучения ИИ, который впоследствии будет полезен другим.
Впечатляюще, что в двух из трех экспериментов, где проводилось последующее тестирование, участники продолжали отклонять предложения с повышенной частотой через два дня после участия в обучении ИИ, даже когда им сообщали, что их действия больше не используются для обучения. Это свидетельствует о том, что участие в обучении ИИ, по сути, могло изменить их собственное поведение.
Разумеется, это не будет касаться всех типов обучения ИИ, и многие работы, связанные с подготовкой материалов для обучения, например, больших языковых моделей, зачастую проводятся без осознания того, что они могут быть использованы для обучения ИИ. Тем не менее, в ряде случаев люди участвуют более активно в обучении, и стоит учитывать, что это еще один путь, по которому могут закрадываться предвзятости.
Комментарий
Одним из направлений нашей компании является создание корпоративных умных чат-ботов (нейросотрудников) с помощью платформы Sherpa AI Server.
И да, мы предупреждаем наших заказчиков от важности предоставления для обучения нейросотрудников максимально точной и достоверной информации по их бизнес-процессам.
Это крайне важно, так как чат-боты используются в техподдержке, кадровых вопросах, продажах, принятии юридических решений и многих других аспектах управления.
В среднем, наши клиенты удовлетворены ответами умных роботов более, чем на 80%. Тем не менее, нам есть куда расти и мы работаем над качеством наших нейросотрудников и точностью их ответов.
Habrahabr.ru прочитано 10697 раз
