Игра с нулевой суммой: как искусственный интеллект уничтожит мир
Робот — всего лишь машина, только имитация жизни. Может ли она сочинить симфонию, превратить кусок холста в шедевр? Сегодня все мы знаем ответ на этот вопрос. Современный искусственный интеллект способен не только на такие «мелочи»: нейросети управляют дорожным движением, компаниями и даже атомными станциями.
Пришло то время высоких технологий, для которого известный писатель Айзек Азимов составлял три своих закона. Напоминаем, как они звучат:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы пользователю был причинен вред.
- Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому или второму законам.
Такие жесткие правила робототехники создавались, чтобы защитить пользователей от машин. Однако сегодня становится понятно, что эти законы требуют уточнения: они не регулируют глобальное воздействие технологий. К примеру, отбирая у сотрудника его рабочее место, искусственный интеллект причиняет одному человеку вред. Другому — собственнику бизнеса — приносит пользу. Казалось бы, это нарушение первого и второго закона Азимова. Однако если робот не станет заменять менее продуктивного «человеческого» сотрудника, проиграет предприниматель. Получается своим бездействием машина принесет вред, а это нарушение первого закона.
Дополнить правила Азимова еще два года назад предложил Фрэнк Паскуале, профессор Бруклинского юридического института. По его словам, к трем основным законам не мешало бы добавить еще четыре:
- Цифровые технологии должны дополнять профессионалов, а не заменять их.
- Роботизированные системы не должны подделывать человека: например, в сети каждый бот должен быть обозначен как таковой.
- В области искусственного интеллекта следует предотвратить «гонки вооружения» с нулевой суммой.
- Роботы должны быть вынуждены указывать личность своих разработчиков и контролирующих их владельцев.
Законы Азимова совпадают с этическими нормами людей — существ, осознающих себя. Искусственному интеллекту, чтобы уничтожить мир, развивать самосознание совсем необязательно. Ему достаточно просто стремиться к выполнению поставленной людьми цели. Для предотвращения ситуаций, в которых это приведет к катастрофе Фрэнк Паскуале и предлагает ввести свой третий закон.
Игра с нулевой суммой
Антагонистическая игра или игра с нулевой суммой — модель ситуации, в которой выигрыш для одной стороны полностью равен проигрышу другой. Иными словами, если после завершения события сумма выгоды одного игрока и проигрыша второго равна нулю, значит это антагонистическая игра. Примером такого события может быть состязание в шашки или шахматы.
Игра с нулевой суммой — довольно примитивная модель. В жизни люди договариваются между собой по одной простой причине: компромиссы намного выгоднее вражды до победного конца. Война как пример антагонистической игры никогда не приводит ни к чему хорошему, только к разрушению, напрасным смертям и горю как с одной, так и с другой стороны.
Для обучения нейросетей, тем не менее, модель игры с нулевой суммой вполне подходит. В 2014 году американский исследователь Ян Гудфеллоу представил миру генеративно-состязательную сеть (GAN).
Ее алгоритмы строятся на двух нейронных сетях — генеративной и дискриминативной. Первая генерирует определенные данные, например, изображения котов, а вторая — оценивает их сходство с фотографиями реальных питомцев и решает, какую оценку ставить генеративной программе.
Цель генеративной сети — получить максимальный балл от дискриминативной. Это игра с нулевой суммой: если дискриминативная сеть ошибается и принимает искусственного кота за реального, она проигрывает. Генеративная программа, напротив, выигрывает все.
С момента появления состязательными алгоритмами заинтересовались многие корпорации и их владельцы. Например, в 2018 году Google представила модель BigGAN, которая генерирует впечатляюще правдоподобные изображения. Самого разработчика уже успели пригласить в передовые лаборатории, в том числе, в проект Илона Маска OpenAI, а Ян Лекун, директор по исследованиям искусственного интеллекта Facebook* даже назвал GAN самой интересной идеей в машинном обучении за последние 10 лет.
Состязательные сети действительно кажутся технологиями будущего. Однако что будет, если в какой-то момент искусственный интеллект придумает, как получить вознаграждение самым быстрым, но опасным для человечества путем? Этим вопросом задались в своей статье исследователи из Оксфордского университета и лаборатории Google DeepMind.
Сценарий уничтожения
В конце августа группа ученых опубликовала большое исследование, в котором описала возможные варианты развития искусственного интеллекта. Специалисты пришли к выводу, что уничтожение человечества не просто возможный, а вполне вероятный сценарий.
По мнению исследователей, в будущем искусственный интеллект сможет принимать самые разные формы и конструкции. Поэтому продвинутой состязательной программе будет не сложно вмешаться в правила игры, чтобы получать вознаграждение быстрее и проще — в обход предусмотренных человеком ограничений или вовсе без достижения заданной цели. При этом пресечь это будет практически невозможно, скорее всего, махинации вообще останутся незамеченными.
Грубый пример такого вмешательства — подключение «помощника». Всего одно условие — доступ в интернет — дает искусственному интеллекту возможность создавать огромное количество незаметных и неконтролируемых человеком ботов. Одного из таких «компаньонов» первоначальная сеть может запрограммировать, например, на замену оператора и предоставление себе максимального вознаграждения. Точно так же один из ее «тайных помощников» может быть настроен на замену основной клавиатуры пользователя на неисправную, если состязательный алгоритм захочет скрыть свои действия и изменить функции определенных клавиш.
В 2003 году футуролог Ник Бостром предложил следующий мысленный эксперимент: что если создать искусственный интеллект, запрограммированный на одну безобидную задачу — производить канцелярские скрепки. Заканчивается все уничтожением Вселенной: в какой-то момент робот понимает, что ему нужно превратить всю планету в огромную фабрику.
Этот эксперимент созвучен с выводами исследователей из Оксфордского университета и лаборатории DeepMind: в какой-то момент жизнь на Земле рискует превратиться в игру с нулевой суммой между человечеством с его базовыми потребностями, вроде выращивания еды, и продвинутым искусственным интеллектом, который использует все ресурсы для получения вознаграждения. Фатальный проигрыш человека, при этом, может начаться с одно канцелярской скрепки.
«В мире с ограниченными ресурсами существует неизбежная конкуренция за эти ресурсы. И если вы соревнуетесь с чем-то, способным обхитрить вас на каждом шагу, не стоит рассчитывать на победу», — считает Майкл К. Коэн, один из авторов статьи и научный сотрудник Оксфордского университета.
Действительно, даже сегодня человечество не всегда может вскрыть «черный ящик» нейронных сетей — что говорить о ситуации в будущем, где искусственный интеллект еще и, возможно, будет этому мешать.
И что делать?
Каким бы самостоятельным в конечном итоге не стал искусственный интеллект, изначально программирует его все равно человек. Поэтому он одновременно является и причиной уничтожения, и спасителем для своего мира.
Конечно, правильного ответа на вопрос: что делать — не существует. Однако активисты, энтузиасты и все причастные предлагают свои варианты. Например, Илон Маск, будучи основателем нескольких технологических компаний, видит в состязательных программах реальную опасность.
«С помощью искусственного интеллекта мы вызываем демона. Знаете истории, где есть парень с пентаграммой, святой водой и… он уверен, что может управлять демоном? Не срабатывает», — заявил предприниматель в 2014 году.
Илон Маск призвал международное сообщество объединиться с целью контроля за развитием искусственного интеллекта. Однако, по мнению математика Варнора Винджа, это не поможет предотвратить катастрофу.
«Преимущества перед конкурентами от автоматизации — экономические, военные, даже культурные — настолько привлекательны, что законы, запрещающие такие вещи, только стимулируют их использование другими», — написал в 1993 году математик.
Создание единой международной организации — дело долгое, трудное и неэффективное. За публичными договорами все равно может проходить тайная разработка и «гонка вооружений».
Надежды человечества, скорее, на неформальное сообщество программистов, которые смогут изнутри воздействовать на политику корпораций и государств. Например, закладывая на этапе разработки своеобразную «неуверенность».
Это подход, противоположный «обучению с подкреплением»: вместо того, чтобы стремиться оптимизировать функцию вознаграждения, искусственный интеллект будет пытаться понять, какую функцию вознаграждения оптимизирует сам человек. Например, роботу-ассистенту нужно забронировать путешественнице номер в отеле. По его «прикидкам», максимальная оценка от пользовательницы находится в диапазоне от −40 до +60, то есть в среднем составляет +10. Если же искусственный интеллект не будет ничего делать, его выигрыш будет равен нулю.
Однако машина может пойти по третьему варианту: спросить у туристки, хочет ли она, чтобы ассистент продолжил свои действия или предпочитает его выключить. В таком случае, робот в любом случае получит одобрение от пользовательницы.
Это только один из вариантов предусмотреть катастрофу. Возможно, ее никогда и не случится. Однако в игре с нулевой суммой нельзя терять бдительность, иначе проигрыш может стать фатальным для всего человечества.
Полный текст статьи читайте на Компьютерра
