Пользователи жалуются на GPT-4: модель стала «ленивее» и «тупее»
В последние недели пользователи модели от OpenAI GPT-4 жалуются на снижение её производительности, причем некоторые считают, что она стала «ленивее» и «тупее» по сравнению с предшественником.
Иллюстрация различных стратегий параллелизма в трёхслойной модели / openai.com
Пользователи обращают внимание на нелогичные ответы нейросети, большее число ошибок, её «нежелание» работать с предоставленным ранее контекстом, игнорирование инструкций, отказ от скобок в базовом программном коде и запоминание только самой последней подсказки.
«Текущий GPT4 разочаровывает», — написал разработчик, который использует GPT-4, чтобы расширить функции своего веб-сайта. «Это как ездить на Ferrari в течение месяца, а потом вдруг он превращается в потрёпанный старый пикап. Я не уверен, что хочу за это платить».
Питер Янг, руководитель отдела продуктов Roblox, также отметил, что модель генерирует результаты быстрее, но их качество стало хуже.
«Я обнаружил, что нейросеть стала ленивее», — ответил другой пользователь Twitter.
Посетитель форума разработчиков OpenAI жаловался, что GPT-4 начал зацикливать вывод кода и другой информации. «Это мёртвый мозг по сравнению с тем, что было раньше», — пишет он. По словам комментатора, нейросеть «явно стала намного тупее».
GPT-4 представили в марте. После подписки на неё некоторые пользователи были шокированы стоимостью. Шарон Чжоу, генеральный директор Lamini, стартапа, помогающего разработчикам создавать собственные большие языковые модели, говорит, что новая модель была медленной, но очень точной.
Однако летом GPT-4 обновили, и нейросеть стала работать быстрее, но её производительность заметно снизилась.
Эксперты отрасли предполагают, что OpenAI может создать несколько малых моделей GPT-4, которые будут действовать аналогично большой, но будут менее дорогими в эксплуатации. Чжоу отмечает, что экспертные модели меньшего размера обучаются своим собственным задачам по предметным областям, а это означает, что может появиться GPT-4, специализирующийся на биологии, физике, химии и так далее. Так, новая система может отправлять запрос двум или более из этих экспертных моделей, а затем смешивать результаты.
Чжоу сравнила эту ситуацию с «Кораблем Тесея», мысленным экспериментом, в котором части корабля со временем менялись местами, задаваясь вопросом, в какой момент он полностью обновится. «OpenAI берёт GPT-4 и превращает его во флот из меньших кораблей», — сказала она.
Между тем несколько экспертов по искусственному интеллекту опубликовали детали архитектуры GPT-4, в том числе компания Semianalysis, которая считает, что OpenAI использует подход Mixture of Experts (MoE) и создаёт внутри нейросети отдельные подсети. Хакер Джордж Хотц описал архитектуру как «восьмистороннюю смешанную модель». Генеральный директор Allen Institute for AI Орен Этциони говорит, что модель MOE позволяет получать более дешёвые и быстрые ответы, но разработчикам приходится «идти на компромисс между стоимостью и качеством».
OpenAI писала о подходе MOE в исследовании 2022 года, соавтором которого выступил Грег Брокман, президент компании. «При подходе Mixture-of-Experts (MoE) только часть сети используется для вычисления выходных данных для любого одного входа. Одним из примеров подхода является наличие множества наборов весов, и сеть может выбирать, какой набор использовать через механизм ворот во время вывода», — отмечали Брокман и его коллега Лилиан Венг. «Это позволяет использовать гораздо больше параметров без увеличения стоимости вычислений. Каждый набор весов называется «экспертами» в надежде, что сеть научится назначать специализированные вычисления и навыки каждому такому «эксперту».
Иллюстрация работы MoE. Только 2 из n числа «экспертов» выбираются шлюзовой сетью / Shazeer et al.
Чжоу считает, что снижение производительности GPT-4 в последние недели связано именно с этим обучением и развёртыванием экспертных моделей GPT-4. «Это не так хорошо, как было, но модель собирает данные от нас, и она будет улучшаться и учиться», — уверена она.
В начале июля OpenAI объявила об общедоступности GPT-4 через свой API. Все разработчики «с историей успешных платежей» уже могут получить доступ к ней, а к концу месяца компания планирует открыть доступ для новых разработчиков и далее повышать лимиты доступности модели.
Также сообщалось, что ежемесячный трафик чат-бота ChatGPT снизился в июле впервые с момента запуска. Кроме того, упало число уникальных пользователей, посещающих сайт сервиса.
