Планирование создания общего искусственного интеллекта (AGI) и дальнейшего развития24.02.2023 08:00

Обновлено 28 октября 2025 г.: Эта публикация содержит устаревшую информацию о нашей структуре. Актуальные сведения см. на следующей странице.

Наша миссия — гарантировать, что искусственный интеллект общего назначения (системы ИИ, которые в целом умнее людей), — принесет пользу всему человечеству⁠.

В случае успешного создания AGI эта технология сможет помочь человечеству подняться на новый уровень за счет роста изобилия, мощного стимулирования мировой экономики и содействия в совершении новых научных открытий, которые раздвинут границы возможного.

AGI способна предоставить каждому невероятные новые возможности; мы можем представить себе мир, в котором у каждого из нас есть доступ к помощи практически в любой когнитивной задаче, что станет мощным мультипликатором человеческой изобретательности и творчества.

С другой стороны, AGI также несет в себе серьезные риски злоупотребления, масштабных сбоев и социальных потрясений. Поскольку преимущества AGI столь велики, мы не считаем возможным или желательным для общества навсегда остановить ее развитие; вместо этого общество и разработчики AGI должны найти способ сделать все правильно.A

Хотя мы не можем точно предсказать, что произойдет, и наш текущий прогресс, безусловно, может зайти в тупик, мы можем сформулировать принципы, которые волнуют нас больше всего:

1. Мы хотим, чтобы AGI расширяла возможности человечества для максимального процветания во Вселенной. Мы не ожидаем, что будущее станет безусловной утопией, но мы хотим максимизировать пользу и минимизировать вред, а также сделать так, чтобы AGI усиливала человечество.
2. Мы хотим, чтобы преимущества, доступ и управление AGI распределялись широко и справедливо.
3. Мы хотим успешно справляться с масштабными рисками. Сталкиваясь с этими рисками, мы признаем, что то, что кажется правильным в теории, на практике часто оборачивается более странными результатами, чем ожидалось. Мы верим, что должны постоянно учиться и адаптироваться, внедряя менее мощные версии технологии, чтобы свести к минимуму сценарии из серии «у нас есть лишь один шанс сделать все правильно».

Краткосрочная перспектива

Есть несколько вещей, которые, по нашему мнению, важно сделать уже сейчас для подготовки к появлению AGI.

Во-первых, по мере создания все более мощных систем мы хотим внедрять их и получать опыт эксплуатации в реальном мире. Мы считаем это лучшим способом бережно привести AGI к появлению: постепенный переход к миру с AGI лучше внезапного. Мы ожидаем, что мощный ИИ значительно ускорит темпы прогресса в мире, и считаем, что к этому лучше адаптироваться постепенно.

Постепенный переход дает людям, политикам и институтам время понять происходящее, на собственном опыте ощутить преимущества и недостатки этих систем, адаптировать нашу экономику и внедрить регулирование. Это также позволяет обществу и ИИ развиваться совместно, а людям — коллективно определить, чего они хотят, пока ставки относительно малы.

В настоящее время мы считаем, что лучший способ успешно справиться с проблемами развертывания ИИ — это замкнутый цикл быстрого обучения и тщательной итерации. Обществу предстоит столкнуться с серьезными вопросами о том, что разрешено делать системам ИИ, как бороться с предвзятостью, как справляться с вытеснением с работы и многим другим. Оптимальные решения будут зависеть от пути, по которому пойдет технология, и, как и в любой новой области, большинство прогнозов экспертов до сих пор были неверными. Это сильно затрудняет планирование в вакууме.B

В целом мы считаем, что более широкое использование ИИ в мире приведет к благу, и хотим способствовать этому (добавляя модели в наш API, делая их с открытым исходным кодом и т. д.). Мы верим, что демократизированный доступ также приведет к расширению и улучшению исследований, децентрализации власти, большим преимуществам и тому, что большее число людей будет вносить новые идеи.

По мере приближения наших систем к AGI мы становимся все более осторожными при создании и развертывании наших моделей. Наши решения потребуют гораздо большей осторожности, чем общество обычно проявляет по отношению к новым технологиям, и большей осторожности, чем хотелось бы многим пользователям. Некоторые специалисты в области ИИ считают риски AGI (и последующих систем) вымышленными; мы были бы рады, если бы они оказались правы, но мы будем действовать так, как будто эти риски экзистенциальны⁠.

В какой-то момент баланс между преимуществами и недостатками развертывания (такими как расширение возможностей злоумышленников, создание социальных и экономических потрясений и ускорение небезопасной гонки) может сместиться, и в этом случае мы существенно изменим наши планы в отношении непрерывного развертывания.

«По мере приближения наших систем к AGI мы становимся все более осторожными при создании и развертывании наших моделей».

Во-вторых, мы работаем над созданием все более согласованных и поддающихся управлению моделей. Переход от моделей вроде первой версии GPT-3 к InstructGPT⁠ и ChatGPT⁠ является ранним примером этого.

В частности, мы считаем важным, чтобы общество согласилось с чрезвычайно широкими рамками использования ИИ, но чтобы в рамках этих рамок у отдельных пользователей было много свободы действий. Мы надеемся, что в конечном итоге институты всего мира придут к согласию относительно того, какими должны быть эти широкие рамки; в более краткосрочной перспективе мы планируем провести эксперименты по сбору внешних отзывов. Мировым институтам потребуется укрепить свои возможности и накопить опыт, чтобы быть готовыми к принятию сложных решений относительно AGI.

«Настройки по умолчанию» наших продуктов, вероятно, будут довольно жесткими, но мы планируем сделать так, чтобы пользователи могли легко изменять поведение используемого ими ИИ. Мы верим в расширение возможностей каждого человека принимать собственные решения и в присущую разнообразию идей силу.

Нам нужно будет разработать новые методы выравнивания (alignment)⁠ по мере того, как наши модели будут становиться все более мощными (а также тесты для понимания того, когда наши текущие методы дают сбой). Наш план на краткосрочную перспективу — использовать ИИ для помощи людям в оценке⁠ результатов работы более сложных моделей и мониторинга сложных систем, а в долгосрочной перспективе — использовать ИИ для генерации новых идей по созданию более совершенных методов выравнивания.

Важно отметить, что мы часто должны одновременно добиваться прогресса как в области безопасности ИИ, так и в его возможностях. Разделять их — это ложная дихотомия; они связаны между собой во многих аспектах. Наша лучшая работа по безопасности была проделана в процессе сотрудничества с нашими самыми мощными моделями. Тем не менее, важно, чтобы соотношение прогресса в области безопасности и прогресса в возможностях увеличивалось.

В-третьих, мы надеемся на глобальный диалог по трем ключевым вопросам: как управлять этими системами, как справедливо распределять создаваемые ими блага и как справедливо делить доступ к ним.

В дополнение к этим трем направлениям мы попытались выстроить нашу структуру так, чтобы наши стимулы были согласованы с хорошим результатом. У нас есть пункт в Уставе⁠ об оказании помощи другим организациям в продвижении вопросов безопасности вместо участия в гонке с ними на поздних стадиях разработки AGI. У нас установлено ограничение на доход, который могут получать наши акционеры, чтобы мы не были заинтересованы в стремлении к безграничному извлечению выгоды и риске развертывания чего-то потенциально катастрофически опасного (и, конечно, как способ разделения выгод с обществом). Нами управляет некоммерческая организация, которая позволяет нам действовать во благо человечества (и может отменять любые коммерческие интересы), в том числе позволяет при необходимости аннулировать наши обязательства по акциям перед акционерами ради безопасности и спонсировать самый масштабный в мире эксперимент с безусловным базовым доходом (UBI).

«Мы попытались выстроить нашу структуру так, чтобы наши стимулы были согласованы с хорошим результатом».

Мы считаем важным, чтобы такие инициативы, как наша, проходили независимые аудиты перед выпуском новых систем; мы подробно поговорим об этом позже в этом году. В какой-то момент может стать важным получение независимого заключения перед началом обучения будущих систем, а передовые разработки должны согласиться ограничить темпы роста вычислительных мощностей, используемых для создания новых моделей. Мы считаем важными общественные стандарты в отношении того, когда инициатива по созданию AGI должна остановить процесс обучения, решить, что модель безопасна для выпуска, или изъять модель из производственного использования. Наконец, мы считаем важным, чтобы ведущие правительства мира имели представление об обучающих прогонах выше определенного масштаба.

Долгосрочная перспектива

Мы верим, что будущее человечества должно определяться самим человечеством, и что важно делиться информацией о прогрессе с общественностью. Все усилия по созданию AGI должны подвергаться тщательному контролю, а для принятия важных решений необходимы общественные консультации.

Первый AGI станет лишь точкой на континууме интеллекта. Мы считаем вероятным, что прогресс продолжится и дальше, возможно, сохраняя темпы роста, наблюдавшиеся за последнее десятилетие, в течение долгого времени. Если это так, мир может кардинально отличаться от сегодняшнего, а риски могут быть исключительными. Несогласованный суперинтеллектуальный AGI может нанести миру тяжкий вред; то же самое может сделать и автократический режим, обладающий решающим преимуществом в суперинтеллекте.

ИИ, способный ускорить научные исследования, — это особый случай, о котором стоит подумать, и, возможно, он более значим, чем все остальное. Не исключено, что AGI, достаточно мощный для ускорения собственного прогресса, может вызвать серьезные изменения, которые произойдут на удивление быстро (и даже если переход начнется медленно, мы ожидаем, что на финальных этапах он пойдет довольно быстро). Мы считаем, что более медленный старт легче сделать безопасным, и координация усилий по созданию AGI с целью замедления в критические моменты, вероятно, будет иметь важное значение (даже в мире, где нам не нужно делать это для решения технических проблем согласования, замедление может быть важным, чтобы дать обществу достаточно времени на адаптацию).

Успешный переход к миру с суперинтеллектом — это, пожалуй, самый важный, обнадеживающий и пугающий проект в истории человечества. Успех далеко не гарантирован, и ставки (безграничные негативные и безграничные позитивные последствия), будем надеяться, объединят всех нас.

Мы можем представить себе мир, в котором человечество процветает до такой степени, которую большинство из нас пока еще вряд ли способно полностью вообразить. Мы надеемся внести в этот мир свой вклад в виде AGI, согласованного с таким процветанием.

1. Кажется, нам досталось множество подарков⁠ по сравнению с тем, что мы ожидали ранее: например, создание AGI, по-видимому, потребует огромных объемов вычислительных мощностей, и поэтому мир будет знать, кто над этим работает; исходная концепция гипероэволюционирующих агентов с подкреплением (RL), соревнующихся друг с другом и развивающих интеллект способом, который мы не можем реально наблюдать, представляется менее вероятной, чем казалось изначально; почти никто не предсказывал, что мы добьемся такого прогресса в предобученных языковых моделях, способных учиться на коллективных предпочтениях и результатах работы человечества, и т. д.

AGI может появиться в скором времени или в далеком будущем; скорость перехода от первоначального AGI к более мощным последующим системам может быть медленной или быстрой. Многие из нас считают, что самым безопасным квадрантом в этой матрице «два на два» являются короткие сроки и медленная скорость старта; более короткие сроки кажутся более благоприятными для координации и с большей вероятностью приводят к более медленному старту из-за меньшего избытка вычислительных мощностей, а более медленный старт дает нам больше времени на то, чтобы эмпирически понять, как решить проблему безопасности и как адаптироваться.

1. Например, когда мы только создавали OpenAI, мы не предполагали, что масштабирование окажется настолько важным. Когда мы поняли, что оно будет иметь критическое значение, мы также осознали, что наша первоначальная структура не сработает — мы просто не смогли бы собрать достаточно денег для выполнения нашей миссии в качестве некоммерческой организации, — и поэтому мы придумали новую структуру⁠.

В качестве другого примера: теперь мы считаем, что заблуждались в наших первоначальных соображениях об открытости, и перешли от мысли, что мы должны выпускать все в открытый доступ (хотя мы открываем исходный код некоторых вещей и надеемся опубликовать еще больше интересных разработок в будущем!), к мысли о том, что мы должны разобраться, как безопасно распределять доступ к системам и их преимущества. Мы по-прежнему верим, что польза от понимания обществом происходящего огромна и что обеспечение такого понимания — лучший способ гарантировать, что создаваемое будет соответствовать коллективным желаниям общества (конечно, здесь много нюансов и противоречий).

Спасибо Брайану Чески (Brian Chesky), Полу Кристиано (Paul Christiano), Джеку Кларку (Jack Clark), Холдену Карновски (Holden Karnofsky), Таше Макколи (Tasha McCauley), Нейту Соаресу (Nate Soares), Кевину Скотту (Kevin Scott), Брэду Смиту (Brad Smith), Хелен Тонер (Helen Toner), Аллану Дафоу (Allan Dafoe) и команде OpenAI за рецензирование черновиков этого материала.