Подрядчики Google в проекте по оценке ответов чат-бота Bard из-за нехватки времени часто ставили наугад оценки ИИ
Подрядчики Google в проекте по оценке ответов чат-бота Bard из-за нехватки времени часто ставили оценки на ответы ИИ по сложным запросам наугад. Сотрудникам Appen было поставлено задание в краткие сроки помочь Google отфильтровать неправильные ответы и научить чат-бота связности и точности.
Согласно пояснению подрядчиков, зачастую им нужно было выбрать за минуту правильный ответ на генерацию от Bard по запросам на разную тематику. В большинстве случаев из-за сложности ответа или непонимания темы сотрудники не могли осмысленно подойти к оценке и выбирали наугад правильную форму ответа, чтобы перейти к следующей задаче и выполнить нужный объём работ вовремя. Google не платила за переработки и поставила сжатые временные рамки на эту задачу.
В рамках своей работы подрядчики видели запрос чат-боту от пользователя (вопрос, инструкцию, утверждение) для чат-бота AI вместе с двумя возможными ответами ИИ. Они должны были оценить, какой ответ лучше. При необходимости сотрудники также могли уточнить в отдельном текстовом поле, почему они выбрали один ответ вместо другого, чтобы помочь чат-боту понимать, какие именно атрибуты следует искать в приемлемых ответах.
В итоге часть ответов чат-бота не была проверена должным образом, так как подрядчики старались уложиться в срок и отработать нужное количество заданий. По мнению сотрудников Appen, более скрупулёзный анализ ответов Bard требует по несколько часов, так как, в случае неправильного ответа, подрядчикам нужно было в развёрнутом виде письменно обозначить неточности в ответах чат-бота и передать эту информацию в Google.
В конце марта Google заявила, что не обучала чат-бота Bard на данных ChatGPT. Инженер подразделения Google AI Джейкоб Девлин рассказал СМИ, что Google использовала данные ChatGPT в рамках проекта чат-бота Bard, нарушая условия использования сервиса OpenAI. Разработчик пояснил, что его команда несколько месяцев обучала Bard на открытых данных от ChatGPT OpenAI, взятых с веб-сайта ShareGPT. По его мнению, это не только нарушало соглашения с OpenAI, но и делало ответы чат-ботов слишком похожими.
Ранее Google заявила, что чат-бот Bard соврал, когда рассказал пользователю, что обучен на данных сервиса Gmail. В компании пояснили, что Bard — это ранний эксперимент, основанный на больших языковых моделях и который делает ошибки в ответах. Google настаивает, что чат-бот не обучается на данных Gmail. Список датасетов, на которых обучали чат-бота в Google.
21 марта Google открыла доступ к своему чат-боту на основе искусственного интеллекта Bard. Компания начинает с ограниченного публичного развёртывания, поэтому пока только желающие взаимодействовать с Bard из Великобритании и США могут зайти на сайт bard.google.com и присоединиться к списку ожидания. В заявлении об отказе от ответственности при использовании чат-бота компания предупреждает, что Bard может совершать ошибки или «давать неточные или неуместные ответы».
22 марта Google сообщила, что в тестировании чат-бота Bard в течение последнего месяца приняли участие 80 тыс. сотрудников компании и 10 тыс. внешних экспертов с разных опытом работы и пониманием того, как должен работать поисковый ИИ в роли компаньона пользователя.
