Управление суперинтеллектом22.05.2023 07:00

Учитывая текущее положение дел, вполне возможно, что в течение следующих десяти лет системы ИИ превзойдут уровень навыков экспертов в большинстве областей и будут выполнять такой же объем продуктивной работы, как одна из крупнейших современных корпораций.

Как с точки зрения потенциальных преимуществ, так и рисков, суперинтеллект будет мощнее всех технологий, с которыми человечеству приходилось сталкиваться в прошлом. Мы можем построить значительно более процветающее будущее, но для этого необходимо управлять рисками. Учитывая вероятность экзистенциального риска, мы не можем просто плыть по течению. Ядерная энергетика — это часто используемый исторический пример технологии с подобными свойствами; синтетическая биология — другой пример.

Мы должны снижать риски и от современных технологий ИИ, но суперинтеллект потребует особого подхода и координации.

Отправная точка

Есть много идей, которые имеют решающее значение для того, чтобы у нас был высокий шанс успешно справиться с этим этапом развития; здесь мы излагаем наши первоначальные мысли по поводу трех из них.

Во-первых, нам необходима определенная степень координации между ведущими разработками, чтобы гарантировать: создание суперинтеллекта будет происходить таким образом, который позволит одновременно поддерживать безопасность и способствовать плавной интеграции этих систем в общество. Это может быть реализовано по-разному: ведущие правительства по всему миру могли бы запустить совместный проект, к которому присоединятся многие текущие инициативы, или мы могли бы коллективно договориться (при поддержке новой организации, подобной той, что предлагается ниже) о том, что темпы роста возможностей ИИ на передовом рубеже ограничены определенным пределом в год.

И, конечно же, от отдельных компаний следует требовать соблюдения чрезвычайно высоких стандартов ответственного поведения.

Во-вторых, со временем нам, вероятнее всего, потребуется нечто вроде МАГАТЭ⁠ для работы над суперинтеллектом; любая инициатива, превышающая определенный порог возможностей (или ресурсов вроде вычислительной мощности), должна будет подчиняться международному органу, способному инспектировать системы, требовать проведения аудитов, проверять на соответствие стандартам безопасности, вводить ограничения на масштабы развертывания и уровни защиты и т.д. Мониторинг использования вычислительных мощностей и энергии может стать значительным шагом вперед и дать нам надежду на то, что эту идею действительно удастся реализовать. В качестве первого шага компании могли бы добровольно согласиться на внедрение элементов того, что такое агентство может потребовать в будущем, а в качестве второго — отдельные страны могли бы законодательно закрепить это. Важно, чтобы такое агентство сосредоточилось на снижении экзистенциальных рисков, а не на вопросах, которые должны решаться отдельными государствами, например, на определении того, что разрешено говорить ИИ.

В-третьих, нам необходима техническая возможность сделать суперинтеллект безопасным. Это открытый исследовательский вопрос⁠, в решение которого мы и другие участники вкладывают много усилий.

Что не входит в область применения

Мы считаем важным позволить компаниям и проектам с открытым исходным кодом разрабатывать модели ниже определенного порога возможностей без того регулирования, которое мы описываем здесь (включая обременительные механизмы вроде лицензий или аудитов).

Современные системы принесут миру огромную пользу, и хотя они не лишены рисков, масштаб этих рисков представляется сопоставимым с другими интернет-технологиями, а вероятные подходы общества к ним выглядят уместными.

Напротив, системы, которые нас беспокоят, будут обладать силой, превосходящей любую созданную до сих пор технологию, и мы должны быть осторожны, чтобы не распылять внимание на них, применяя аналогичные стандарты к технологиям, находящимся далеко за этой планкой.

Общественное участие и потенциал

Однако управление самыми мощными системами, а также принятие решений об их развертывании, должно осуществляться под строгим общественным контролем. Мы убеждены, что люди во всем мире должны демократически определять границы и правила по умолчанию⁠ для систем ИИ. Мы пока не знаем, как спроектировать такой механизм, но планируем экспериментировать⁠ с его разработкой. Мы по-прежнему считаем, что в рамках этих широких ограничений отдельные пользователи должны иметь широкий контроль над тем, как ведет себя используемый ими ИИ.

Учитывая все риски и сложности, стоит задуматься, зачем мы вообще создаем эту технологию.

В OpenAI у нас есть две фундаментальные причины. Во-первых, мы верим, что это приведет к созданию гораздо более прекрасного мира, чем тот, который мы можем вообразить сегодня (мы уже наблюдаем первые примеры этого в таких областях, как образование, творческая деятельность и личная продуктивность). Человечество сталкивается со множеством проблем, для решения которых нам потребуется гораздо больше помощи; эта технология способна улучшить наши общества, а творческий потенциал каждого человека, использующего эти новые инструменты, несомненно, поразит нас. Экономический рост и повышение качества жизни будут потрясающими.

Во-вторых, мы считаем, что остановить создание суперинтеллекта было бы контринтуитивно рискованно и трудно. Поскольку преимущества огромны, стоимость его создания снижается с каждым годом, число создающих его субъектов стремительно растет, а сам процесс является неотъемлемой частью нашего технологического пути, для его остановки потребовалось бы нечто вроде глобального режима слежки, и даже это не гарантирует успеха. Так что мы должны сделать все правильно.

Майлз Брундаж (Miles Brundage), Джейд Люн (Jade Leung), Анна Маканджу (Anna Makanju), Джон Шульман (John Schulman), Хелен Тонер (Helen Toner), Войцех Заремба (Wojciech Zaremba)