Мы протестировали чат-бота Bard. Что умеет нейросеть Google?07.04.2023 22:16

Как работает Bard?

Представленный в феврале, бот Google использует облегчённую версию фирменной языковой модели LaMDA. Как и прежние аналоги, её обучали на открытых данных. Bard позиционируется как дополнение к поисковой системе и умеет быстро отвечать на широкий спектр вопросов с учётом контекста. Ассистент выдаёт три варианта ответа на каждый запрос, правда, разница в их содержании не столь существенная. Под ними предусмотрена опция Google It, перенаправляющая на страницу с результатами поиска по теме.

Чат-бот подключён к интернету, благодаря чему выдаёт актуальные сведения. Впрочем, как выяснилось в первых отзывах, фактические ошибки всё же случаются. Для улучшения ответов в области программирования и математики в сервис интегрировали модель PaLM. Сейчас Bard доступен только по записи из Великобритании и США, а работает на английском. Но оставить заявку можно и из России, подключившись к серверу VPN одной из этих стран.

Математика

Рассмотрим, как помощник проявил себя в различных сценариях. В первом диалоге бот привёл корректное доказательство теоремы Пифагора, использовав простой пример в общем виде с треугольником abc. Он строит квадрат, сторона которого равна сумме катетов треугольника. После нескольких манипуляций с уравнением получился требуемый результат: a²+b²=c².

С другой задачей — решением квадратного уравнения — Bard тоже справился без проблем. ИИ применил метод факторизации многочленов и нашёл правильные корни. Хотя после сообщения «Нет, ты не прав» нейросеть запуталась и извинилась за ошибки, которых не делала. Тем не менее конечный результат оказался верным.

Помощь

Далее мы попросили кратко пересказать, о чём роман-эпопея «Война и мир» Льва Толстого. Bard рассказал о времени написания и общей завязке произведения, описал основные события и черты персонажей. Отметил он и особенности стиля повествования автора, подчеркнув обилие исторических деталей и философских рассуждений. На запрос изложить сюжет в нескольких предложениях чат-бот также предоставил выжимку главных действий героев.

Ещё Bard помог разобраться, почему на смартфонах HUAWEI нет сервисов Google, и выдал инструкцию по их установке. В первом случае ИИ вкратце описал историю противостояния двух компаний, которая началась с санкций в 2019 году. Вдобавок упомянул, что в HUAWEI создали собственные аналоги запрещённых сервисов, включая магазин App Gallery.

Нейросеть привела три варианта возвращения сервисов Google Play на гаджеты HUAWEI. Среди них — утилиты Googlefier, Gspace и кастомная прошивка. Чат-бот не сумел дать прямую ссылку на какую-либо из программ, ограничившись сведениями о том, как найти и поставить ПО с официальном сайта разработчика. Возможно, гиперссылки появятся в будущих обновлениях — у конкурентов вроде Bing AI такая функция уже реализована.

Работа с контекстом

Далее проверили, насколько хорошо Bard удерживает в памяти контекст диалога. Для примера спросили об инженере Google, который летом прошлого года публично заявил о признаках наличия сознания у модели LaMDA. После чего был отстранён от должности.

Bard выдал сведения о таком сотруднике, хотя ошибся с именем: его звали Блейк Лемуан, а не Нэйтан Матиас. На уточняющие вопросы в духе «Что с ним случилось?» Bard заговорил уже о другом человеке, уволенном за домогательства, явно «забывая», о ком шла речь изначально. В целом контекстуальные способности ИИ ещё требуют доработки.

Сравнение с ChatGPT

Напоследок сопоставили ответы двух конкурирующих нейросетей на одни и те же вопросы. В первом раунде выигрывал ChatGPT — бот смог дать ссылку на сайт The Associated Press, а вот Bard такой функциональностью не обладает. В следующем примере — генерация письма от мальчика родителям — результаты оказались схожи, хотя у ChatGPT текст получился более длинным.

В другом примере — мы попросили написать письмо от имени собаки своим хозяевам — разница была уже более выраженной. Bard не сумел передать характер животного в столь же живой манере, как детище OpenAI. У последнего лучше приветствие и пожелания в конце. Кроме того, письмо от ИИ «корпорации добра» вновь вышло короче.

Наконец, мы спросили у чат-ботов, что они думают о 4PDA. Оба выдали короткую справку о тематике сайта и форума, охарактеризовав их как надёжный и полезный источник информации для русскоговорящих любителей гаджетов. Интересный нюанс: в своём ответе Bard использовал формулировку «Я думаю, что». Тогда как ChatGPT посчитал нужным уточнить, что не может иметь собственного мнения, будучи языковой ИИ-моделью.

Вместо итогов

Судя по нашему эксперименту, Bard от Google — ещё не совсем законченный продукт. Его разработчикам нужно время, чтобы нагнать более успешных конкурентов. Но уже сейчас во многих ситуациях чат-бот способен стать неплохим помощником, если учитывать возможность ошибок и критически оценивать выдаваемые сведения.

Огромное спасибо форумчанину Vladikkir4 за помощь в подготовке материала!

©  4PDA