На сайте Humanloop опубликовали, а потом удалили тезисы обсуждения с Сэмом Альтманом будущего OpenAI
Основатель Humanloop Раза Хабиб опубликовал на сайте своего проекта статью, посвящённую будущему OpenAI. Недавно Хабиб встречался с Сэмом Альтманом и ещё 20 разработчиками, поэтому его текст можно расценивать как наиболее полное высказывание Альтмана на тему перспектив искусственного интеллекта и OpenAI. Любопытно, что через несколько дней публикация была удалена Хабибом — по просьбе OpenAI.
Глобальная тема, которую обсуждали специалисты на встрече — это ограничения, связанные с GPU и задерживающие реализацию многих краткосрочных планов. Самая серьёзная жалоба клиентов касается надёжности и скорости API. Сэм признал их обеспокоенность и объяснил, что большая часть проблемы является результатом нехватки графических процессоров. Из-за этого более крупное контекстное окно с токенами 32k пока не может быть развёрнуто для большего количества людей. API тонкой настройки также в настоящее время упирается в доступность GPU.
Дорожная карта OpenAI на ближайшее время выглядит так: главная цель 2023 года — это более дешёвый и быстрый API;, а приоритетом 2024 года станет мультимодальность. Компания стремится снизить «стоимость искусственного интеллекта», насколько это возможно. В обозримом будущем вполне вероятно появление контекстных окон размером до 1 млн токенов. API тонкой настройки будет расширен до последних моделей, но его точная форма будет зависеть от пожеланий разработчиков. В API появится возможность отслеживания состояния и запоминания истории разговоров.
На встрече с разработчиками Сэм Альтман заверил, что OpenAI не будет выпускать конкурирующих с ChatGPT продуктов. Он сказал, что в истории великих платформ есть «приложение-убийца» (killer app), и что ChatGPT позволит им сделать API лучше, будучи клиентами собственного продукта. Концепция ChatGPT заключается в том, чтобы стать супер-умным помощником для работы, но будет много других вариантов использования GPT, которых OpenAI не планирует касаться. Кроме того, Альтман предположил, что большинству желающих, «чтобы их приложения были внутри ChatGPT, на самом деле нужен ChatGPT в их приложениях».
Регулирование необходимо, но и открытый исходный код тоже. Хотя Сэм призывает к регулированию будущих моделей, он не считает существующие модели опасными (и это утверждение немного противоречит письму об угрозе ИИ, которое он недавно подписал). По мнению Альтмана, было бы большой ошибкой регулировать или запрещать их. Он подтвердил свою веру в важность открытого исходного кода и сказал, что OpenAI рассматривает возможность использования GPT-3 с открытым исходным кодом.
Законы масштабирования остаются в силе. И хотя в последнее время во многих статьях утверждалось, что «эпоха гигантских моделей ИИ уже закончилась», законы масштабирования продолжают действовать, и увеличение размеров языковых моделей будет по-прежнему повышать производительность. Прежняя скорость масштабирования не может поддерживаться, потому что OpenAI увеличила модели в миллионы раз всего за несколько лет, и дальнейшее развитие не будет устойчивым. Это не означает, что OpenAI не будет продолжать попытки сделать модели больше; просто они, скорее всего, будут удваиваться или утраиваться каждый год, а не увеличиваться на много порядков.
Тот факт, что масштабирование продолжает работать, имеет значительные последствия для сроков разработки AGI. Гипотеза масштабирования предполагает, что у нас уже есть большинство деталей, необходимых для создания AGI, и что почти вся оставшаяся работа будет заключаться в использовании существующих методов и их масштабировании на более крупные модели и большие наборы данных. Если бы эра масштабирования закончилась, то, вероятно, нам следовало бы ожидать, что AGI будет достижим гораздо позже. Тот факт, что законы масштабирования продолжают действовать, наводит на мысль о более коротких сроках.
