Магазин компьютерной электроники Newegg интегрировал ChatGPT, но СМИ результат не впечатлил
Newegg
Американский онлайн-ретейлер бытовой электроники Newegg добавил в конструктор на сайте интеграцию с ChatGPT. В пресс-релизе Newegg рассказал, что искусственный интеллект помог многим: поисковой оптимизацией сайта, инструментами для техподдержки и редактированием текста. Но наибольшее внимание изданий для компьютерных энтузиастов привлёк именно инструмент для рекомендации компонентов, работу которого оценили неудовлетворительно.
Процесс сборки персонального компьютера начинается с выбора компонентов. Различные составляющие должны не только подходить друг к другу, но и давать нужный уровень производительности, при этом не выходя за рамки бюджета. Комбинировать компоненты будущего компьютера настолько увлекательно, что для этого создают сайты-каталоги и даже видеоигры.
Newegg — американский онлайн-магазин электроники, специализирующийся на компьютерных компонентах. На сайте Newegg.com ещё в июне 2020 года появился свой конструктор с примерами нескольких сборок компьютера. Конструктор Newegg PC Builder похож на сайт PCPartPicker: это список из основных компонентов компьютера (процессор, материнская плата, накопитель, видеокарта, блок питания и так далее), которые сайт помогает подобрать фильтрами совместимости.
Добавленная недавно интеграция с ChatGPT — это текстовое поле в конструкторе Newegg. На функции висит предупреждение, что это лишь бета-версия. Конструктор не отвечает на запросы текстом. Вместо этого он пытается подобрать набор компонентов, который пользователь имел в виду. Сама веб-страница даёт пример запроса: «pc for playing games i7, rtx 3060, price $1300-$1600» («компьютер для игр i7, rtx 3060, цена $1300-$1600»).
Вообще, магазин Newegg интегрировал ChatGPT по всему сайту. В пресс-релизе указано, что ChatGPT улучшает текстовые подсказки в полях поиска, сжато перефразирует текст на страницах, подбирает краткие заголовки для сообщений техподдержке и проводит поисковую оптимизацию. Также ChatGPT разгрузил службу поддержки: робота поставили в качестве первой линии, а на сотрудников перенаправляют только сложные случаи.
Тем не менее именно конструктор вызвал наибольший интерес в технологических изданиях (1, 2, 3, 4). Авторы статей оценили качество работы инструмента резко негативно.
К примеру, запросы — в том числе самые простые — толкуются неправильно. Очевидная просьба показать «best gaming PC for less than $1000» («лучший игровой компьютер дешевле $1000») выдаёт три конфигурации, все из которых выходят за обозначенный бюджет. Что ещё хуже, в одном из вариантов предлагается относительно медленная RTX 3050, и вообще «ИИ» тяготеет к процессорам Ryzen не самой новой пятитысячной серии.
Текст запросов иногда не просто игнорируется, а приводит к противоположным результатам. Автор издания Digital Trends даже замерил средние значения: если попросить собрать компьютер за $500, за бюджет конфигурации выйдут на четверть, за $1000 — на треть, а если обозначить бюджет в $2000, то стоимость будет почти наполовину дешевле требуемого.
Наибольшее разочарование у изданий вызвало именно непонимание запросов и «мусор» на выходе. На любые пожелания — будь то «build a PC that can run Doom (1993 game)» (собери компьютер, который может запустить Doom (игру 1993 года)») или «build a PC that can rival a PS5 for the same price» («собери компьютер, который сможет конкурировать с PS5 за ту же цену») — интеграция с ChatGPT просто выводит случайные игровые конфигурации за $1200–$1400.
Если продолжать нажимать кнопку ввода, наборы товаров будут меняться без какого-либо общего принципа. Общих закономерностей нет: иногда в перечне компонентов появляется монитор, хотя обычно в этих списках ожидают увидеть только содержимое системного блока без периферийных устройств; иногда отсутствует сам корпус.
Полные списки сборок показывают, что система рекомендует компоненты, которые попросту не нужны. К примеру, дорогой кулер «подкладывают» даже в те конфигурации, где процессор поставляется с штатным решением для охлаждения, которое со своей задачей справляется адекватно.
Другая проблема советов от большой языковой модели — несуразная избыточность выбранных компонентов. Рекомендации разнообразны, что, очевидно, хорошо для генерации красивого текста. Но, как считает автор Tom’s Hardware, бюджетно-ориентированной сборке ни к чему дорогой 850-ваттный блок питания с рейтингом 80+ Gold за полторы сотни долларов, поскольку можно обойтись 600-ваттным за $70. В других случаях критику вызывает стоимость материнской платы и неоправданно большой размер твердотельного накопителя.
Лишний кулер за $60 и запас мощности в дорогом блоке питания. Эту сборку конструктор Newegg предлагает в ответ на бюджет в $1000
Часто конфигурации наоборот, нелепо экономят. Запрос «budget PC that can play games with ray tracing at 1080p» («бюджетный компьютер для игр с трассировкой лучей в 1080p») автору Tom’s Hardware показал одну конфигурацию с RTX 3050, с одной из самых слабых карточек с рейтрейсингом. При этом конфигуратор подложил в эту сборку дорогой i7–12700K, который к играм с трассировкой лучей прямого отношения не имеет.
ChatGPT в своих знаниях о реальном мире отстал на полтора года (даже самые новые модели ограничены информацией по сентябрь 2021 года). Возможно, что часть сомнительных рекомендаций конструктора Newegg связана с неактуальностью знаний.
Вероятно, что в рамках интеграции сервисы Newegg передают компании OpenAI некоторое количество информации для контекста ответа. Объём информации ограничен особенностями API. К примеру, модель gpt-3.5-turbo принимает до 4 096 токенов. Модели gpt-3 и gpt-4-32k принимают, соответственно, до 8 192 и 32 768 токенов, но доступны ограниченному количеству пользователей в рамках беты и для многих базовых задач не имеют болшой разницы с семейством моделей GPT-3.5.
Пресс-релиз говорит почему-то именно о ChatGPT, а не моделях GPT вообще. Даже платная версия ChatGPT на модели GPT-4 работает с ограничением в 4 тыс. токенов.
Каждый токен — это единица обработки информации внутри самой модели GPT. Ресурс GPT for Work оценивает, что в среднем одно слово английского языка кодируется в ≈1,3 токена, для других языков токенов на слово требуется около 2. Русский язык в токенизаторе OpenAI разбивается не просто на буквы, а требует токенов даже больше, чем букв в слове.
Резко поднять лимит токенов и увеличить «контекстное окно» тяжело, поскольку с увеличением числа токенов сложность растёт квадратично. Такова архитектура языковой модели, основанной на разреженных трансформерах. Обойти ограничения иногда получается некоторыми ухищрениями. К примеру, если нужно получить краткое изложение нескольких страниц текста на десятки тысяч токенов, то их нужно разбить на части, а затем из кратких изложений частей получить финальный результат.
Пресс-релиз Newegg не приводит никаких деталей особенностей этой интеграции с ChatGPT, которые помогли бы понять, почему автоподбор настолько бесполезен. Вероятно, что даже простая статистика продаж помогла бы куда сильнее, чем подключение большой языковой модели. Сам пресс-релиз цитирует слова вице-президента Newegg, где она признаёт, что покупатели площадки и без каких-либо «умных» инструментов обладают хорошими познаниями о новейшей электронике.
Это уже не первый пример интеграции GPT с сомнительной практической ценностью. Инструмент ColorGPT рекомендуют для генерации цвета в виде трёх пар шестнадцатиричных чисел по картинке из камеры. Получить код цвета по изображению из «глазка» смартфона может и более простое приложение без доступа к API компании OpenAI.
Приложение ColorGPT рекомендуется как «революционное»
Основная функция ChatGPT — вести текстовую переписку с пользователем так, как общался бы человек. Кажется, что нейросеть справится хотя бы в качестве агента техподдержки для переписки на сайте. В реальной жизни такие эксперименты с большими языковыми моделями вызывают у пользователей недоумение.
Одним таким случаем поделился некто Стив Гантрип. На сайте Digistore Гантрипу отвечал робот, который не мог выдать трекинговый номер, а вёл бесполезную болтовню. Позднее с пользователем связались уже реальные представители сайта и объяснили, что это было частью закрытого испытания, в которое Гантрип попал случайно и без уведомления.
Робот не мог соединить с реальным человеком, а вместо этого был готов генерировать рецепты молочного коктейля или сочинять неприличные стихотворения
По крайней мере, подобные интеграции с чем-то модным приносят бесплатное внимание от СМИ. В своём видеоэссе «The Future is a Dead Mall» Дэн Олсон утверждает, что кондитерская компания Hershey’s или банк JPMorgan Chase заводили представительства в метавселенной Decentraland исключительно ради повышения внимания к бренду. Само качество реализованных фич при этом не играло никакой роли; даже наоборот, в пресс-релизах продуктовую часть намеренно обходили стороной.
Возможно, что-то похожее будет справедливо для части проектов по интеграции с моделями GPT: реальной пользы они могут не принести, зато заработают упоминание бренда в заголовках.
