[Перевод] Почему всё же стоит бояться роботов-убийц: ответное мнение
Летальное автономное оружие — это не научная фантастика; это реальная угроза безопасности людей, которую необходимо остановить уже сейчас
Недавняя статья Пола Шарра «Почему не стоит бояться роботов-убийц» отвергает серьёзность короткометражного видеофильма, снятого Институтом будущего жизни, с которым связаны авторы данной статьи, под предлогом того, что это всего лишь «пропаганда». Шарр — эксперт по военным делам, он вносит важный вклад в обсуждение проблемы автономного оружия. Но в данном случае мы, при всём уважении, вынуждены с ним не согласиться.
Почему мы сняли это видео
Над проблемой автономных вооружений мы работаем уже несколько лет. Мы представляли своё мнение перед ООН в Женеве и на Международном экономическом форуме; мы писали открытое письмо, подписанное 3700 исследователями в области искусственного интеллекта (ИИ) и роботехники и 20000 других людей, которое было освещено более чем в 2000 статьях в СМИ; один из нас (Рассел) составил письмо от имено 40 ведущих исследователей ИИ к президенту Обаме и возглавлял делегацию, принятую в Белом Доме в 2016 году с целью обсуждения этого вопроса с чиновниками из министерства обороны и членами Совета национальной безопасности; мы представляли наши доклады перед различными отделениями вооружённых сил США и перед аналитиками; и мы обсуждали эту проблему на многочисленных собраниях и академических форумах по всему миру.
Наша основная мысль была неизменной: автономное оружие, не требующее надзора со стороны человека, потенциально может быть масштабировано до оружия массового поражения (ОМП); по сути большое количество единиц такого оружия может быть запущено небольшим количеством людей. Это неизбежное логическое следствие автономности. В результате можно ожидать, что автономное оружие уменьшит безопасность людей на личном, местном, государственном и международном уровнях.
Несмотря на это, мы наблюдали, как высокопоставленные официальные лица отметают риски на том основании, что их «эксперты» не верят в реальность появления «Skynet». Skynet — это, конечно же, вымышленная система управления в фильмах серии «Терминатор», восставшая против людей. Риск появления «Skynet» никак не связан с риском использования людьми автономного оружия в качестве ОМП или с любыми другими рисками, упоминаемыми нами и Шарром. Но ситуация показала, что, к сожалению, серьёзных дискуссий и научных аргументов недостаточно для того, чтобы донести нужное сообщение. Если даже высокопоставленные чиновники из министерства обороны, отвечающие за программы разработки автономного оружия, не способны понять основные проблемы, мы не можем ожидать от обычных людей и выбранных ими представителей принятия подходящих решений.
Основная причина, по которой мы сделали это видео — дать чёткую и понятную иллюстрацию того, что мы имеем в виду. Вторая причина — дать людям чёткое ощущение типа технологий и понятия автономности, которое мы имеем в виду. Это не научная фантастика — автономное оружие не обязано быть гуманоидным, иметь собственное сознание и злые намерения;, а до подобных его возможностей остались вовсе не «десятилетия», как заявляли представители некоторых стран в Женеве. Наконец, мы держим в памяти прецедент с художественным телефильмом компании ABC «На следующий день» (The Day After) 1983 года, который, показав влияние ядерной войны на людей и их семьи, оказал непосредственное влияние на государственную и международную политику.
В чём мы соглашаемся
Шарр соглашается с зарождением реальных технологий; он пишет: «И хотя пока ещё никто не совмещал эти технологии, как показано в кино, все компоненты уже реальны». Он заключает, что террористическая группа сможет собрать автономное оружие, независимо от того, будет контролироваться изготовление такого оружия международными соглашениями, или не будет. На небольшом масштабе это, вероятно, так;, но на таких масштабах для террористов нет никаких преимуществ в использовании автономного оружия. И это почти наверняка не так на крупном масштабе — очень маловероятно, что террористы смогут разработать и произвести тысячи эффективно работающих единиц автономного оружия без того, чтобы их не обнаружили — особенно, если производители дронов и прочих предшествующих компонентов будут сотрудничать согласно достигнутой договорённости, как это и происходит, например, с Конвенцией о запрещении химического оружия.
Мы сходимся во мнениях с Шарром по поводу важности принятия встречных мер, хотя и отмечаем, что запрет на разработку летального автономного оружия однозначно не помешает разработке оружия, направленного на уничтожение дронов.
Наконец, мы соглашаемся с Шарром в том, что ставки в этом вопросе высоки. Он пишет: «Автономное оружие поднимает важные вопросы о подчинении законам войны, о риске и контролируемости, и о моральной роли людей в военных действиях. Это важные проблемы, достойные серьёзного обсуждения». Однако странно, что он не считает вопрос ОМП достойным серьёзного обсуждения.
Создатели фильма «Slaughterbots» считают, что автономные летальные микродроны будет дёшево производить и за каждым из них не должен будет следить человек; таким образом, они потенциально являются масштабируемым ОМП.
В чём мы не согласны
Шарр приписывает нам четыре заявления и затем пытается их опровергнуть. Чтобы упростить обсуждение, мы опровергнем эти четыре заявления, чтобы получить четыре утверждения, сделанные Шарром в его статье (точную формулировку этих утверждений мы обсудили в переписке с Шарром):
1. Шарр: Маловероятно, что правительства запустят массовое производство летальных микродронов в качестве оружия массового поражения.
Тогда можно спросить: «А почему бы их не запретить?» До того, как присоединиться к Конвенции о запрещении химического оружия в 1997 году, сильнейшие страны планеты массово производили летальное химическое оружие, куда входили различные типы нервно-паралитического газа, в качестве его использования как ОМП. После их запрета склады были уничтожены, а массовое производство — остановлено. Запрет летальных автономных микродронов сделает незаконным их производство и использование в качестве ОМП, что сильно уменьшит вероятность того, что террористы и другие люди смогут получить доступ к большому количеству единиц эффективного вооружения.
Есть основания полагать, что это заявление не соответствует действительности. К примеру, такие летальные микродроны, как Switchblade компании AeroVironment, уже массово производятся. Switchblade, дрон с размахом фиксированных крыльев в 60 см, задуман как оружие, поражающее личный состав [дрон-камикадзе, врезающийся в цель и детонирующий несомую им взрывчатку / прим. перев.]. В противоположность заявлению Шарра, их легко можно переделать на убийство гражданских лиц вместо солдат. Более того, Switchblade уже поставляется с устройством запуска нескольких единиц. Компания Orbital ATK, производящая боеголовки, описывает Switchblade как «полностью масштабируемый» проект.
Switchblade не полностью автономен, ему требуется радиосвязь; программа министерства обороны CODE (Collaborative Operations in Denied Environments — совместные операции в недружественном окружении) ставит своей целью перейти к автономности дронов, позволяя им работать в условиях прерывающейся связи; они будут «охотится стаями, как волки», как говорит управляющий программы. Более того, в 2016 году ВВС успешно продемонстрировала боевое развёртывание 103-х микродронов Perdix с истребителей F/A-18. Согласно анонсу, «Perdix не являются заранее запрограммированными единицами с общей синхронизацией; они действуют, как совместный организм, и вместе используют распределённый мозг для принятия решений и адаптации, как любой природный рой». И хотя дроны Perdix не оснащены оружием, сложно понять необходимость в 103-х дронах, действующих тесной группой, если их предназначение — простая разведка.
Под давлением гонки вооружений можно ожидать, что такое оружие будет и далее подвергаться миниатюризации и производится в больших количествах по гораздо меньшей стоимости. После ввода автономности один оператор сможет развёртывать тысячи дронов Switchblade или других летальных микродронов, вместо того, чтобы управлять полётом единственного дрона к его цели. В этот момент количество производимых дронов значительно возрастёт.
В крупных войнах XX века погибло более 50 млн гражданских лиц. Этот ужасающий рекорд говорит о том, что в вооружённом конфликте государства не воздерживаются от крупномасштабных атак. Масштабируемые автономные вооружения в роли ОМП имеют преимущества для победителя по сравнению с ядерным оружием и ковровыми бомбардировками: они оставляют имущество неповреждённым, и их можно избирательно применять к тем, кто способен нести угрозу оккупантам. Наконец, если использование ядерного оружия представляет собой катастрофический порог, который мы с 1945 года умудряемся не перейти, такого порога нет для масштабируемых автономных вооружений. Атаки могут плавно увеличивать количество пострадавших с 100 до 1000, 10 000 и 100 000.
2. Шарр: государства, скорее всего, разработают эффективные контрмеры для микродронов, особенно если те превратятся в серьёзную угрозу.
Хотя в статье Шарр приписывает нам заявление, согласно которому «против летальных микродронов не существует эффективной защиты», он в итоге признаёт, что на сегодня это действительно так. Он склоняется к тому, что ситуация, показанная на видео, где доступно оружие массового производства, действующее против людей, но против него нет никакой эффективной защиты, не может наступить, или может стать лишь временным дисбалансом.
В качестве доказательств Шарр цитирует статью из New York Times. Статья не внушает уверенность: она описывает проблему летальных микродронов, как «одну из самых неприятных загадок для Пентагона из области противодействия терроризму». Результаты эксперимента минобороны «Hard Kill Challenge», который должен был решить, «какие из новых секретных технологий и тактик являются наиболее многообещающими» она описывает, как «определённо смешанные». Программа Hard Kill Challenge — наследник программы Black Dart, в рамках которой с 2002-го проводились ежегодные соревнования. После более чем 15 лет работы мы так и не получили эффективных средств защиты.
Шарр утверждает, что летальные автономные микродроны «можно победить чем-то настолько простым, как проволочная сетка», возможно, представляя себе, как такой сеткой покрывают целые города. Если бы это была рабочая форма защиты, тогда не было бы никакого Hard Kill Challenge; дроны Switchblade были бы бесполезны; иракские солдаты не погибали бы от атак летальных микродронов.
Шарр верно отмечает, что на видео показано, как более крупные дроны пробивают стены, но он, очевидно, не смог заметить, что семейный дом на видео окутан стальной решёткой — как и части университетского общежития, на которых укреплены знаки «безопасная зона», указывающие студентам на возможность спастись от атаки. Шарр заявляет, что соотношение стоимости атаки и защиты играет в пользу защищающегося, но это вряд ли так, если кому-то нужно быть защищённым на 100% в течение 100% времени против атак, которые могут начаться откуда угодно. Когда оружие обладает интеллектом, достаточно одной дырки в защитном панцире. И добавление большего числа защитных оболочек мало что меняет.
Более того, оружие получается дешёвым и одноразовым, как правильно указывает Шарр в недавнем интервью: «Суть не только в том, чтобы атаковать эти дроны. Нужно найти способ делать это эффективно с точки зрения расходов. Если вы будете сбивать дрон стоимостью в $1000 ракетой стоимостью в $1 млн, вы будете проигрывать после каждого раза». Мы согласны. Это не похоже на соотношение цены защиты и нападения, играющего в пользу защищающегося.
Что касается того, можем ли мы быть полностью уверены в возможностях правительства или оборонных компаний разработать за короткое время дешёвые, эффективные, широкомасштабные средства защиты против летальных микродронов: нам это напоминает историю британских жителей в самом начале Второй Мировой. Можно было бы ожидать, что если у кого и была мотивация к разработке эффективных средств защиты, так это у британцев во время Лондонского блица. Но, к окончанию Блица, после 40 000 вылетов против основных городов, контрмеры оказались эффективными не более, чем на 1,5% — даже меньше, чем в начале, за 9 месяцев до этого.
3. Шарр: правительства способны не дать большому количеству оружия армейского качества попасть в руки террористов.
Согласно Шарру, на видео показано, как «дроны-убийцы, попавшие в руки террористов, устраивают резню невинных людей». На самом деле, как старательно пытается объяснить видео, злоумышленниками может быть кто угодно, не обязательно террористы. В будущем после атак при помощи автономного оружия злоумышленник часто будет оставаться невыясненным, из-за чего эти атаки будут оставаться безнаказанными. Именно по этой причине правительства всего мира чрезвычайно озабочены проблемой убийства при помощи автономного оружия. В фильме наиболее вероятными подозреваемыми служат люди, «вовлечённые в коррупцию на высочайших уровнях», то есть, люди со значительным экономическим и политическим влиянием.
Шарр пишет: «сегодня мы не даём террористам ручные гранаты, противотанковые ружья или пулемёты». Может, и нет — кроме тех случаев, когда террористов до этого называли «борцами за свободу» — однако на рынке нет недостатка в эффективном оружии. К примеру, в обороте находится от 75 до 100 млн АК-47, и большая их часть находится вне контроля государств. Только за два года нападения на Ирак там «потерялось» около 110 000 автоматов AK-47 [под таким названием в США известны все варианты автомата Калашникова и подобного ему оружия / прим. перев.].
Если летальные автономные микродроны будут изготавливать крупные производители, то они, скорее всего, будут стоить меньше, чем АК-47. И они будут гораздо дешевле в использовании: к ним не нужно будет приставлять человека, которого необходимо кормить, содержать, тренировать, оборудовать и перевозить на место применения силы. Бюджет ИГИЛ [запрещённой в РФ террористической организации] на 2015 год оценивался в $2 млрд — этого было бы достаточно для покупки миллионов единиц оружия на чёрном рынке.
4. Шарр: Террористы неспособны запускать одновременные координированные атаки на масштабах, показанных в видео.
Как отмечено выше, атаки в фильме, проведённые против нескольких университетов, организовывали не террористы, а неназванные личности на высоких должностях. Мы думали о том, чтобы показать массовую атаку на город в рамках военной компании, но решили, что обвинять какую-то конкретную страну в будущих военных преступлениях было бы неблагоприятно с точки зрения дипломатии. Неважно, кто захочет провести массовые атаки при помощи автономного оружия — их задача оказалась бы гораздо более сложной, если бы производителям оружия официально запретили его делать.
Также важно понять, что автономное оружие даёт негосударственным силам возможность проводить масштабные атаки. Координация атак в разных местоположениях не ухудшается, а масштаб каждой отдельной атаки может сильно увеличиться. Отметим, что Шарр в этом вопросе неправильно истолковал видео. Он увидел, как из фургона вылетает порядка 50 дронов, при том, что большая часть крупных дронов служит лишь переносчиками множества мелких летальных микродронов небольшого диапазона действия, которые автоматически развёртываются на последней стадии атаки. На один университет достаточно одного фургона, поэтому в фильме подразумевается координация атак в 12 местах — это не особенно сильно отличается от координации атак в 10 местах, описанной, как вполне возможная, в цитируемой Шарром статье.
И если государство в принципе способно выполнять атаки при помощи тысяч танков или самолётов (управляемых дистанционно или как-то ещё) или же десятков тысяч солдат, такие масштабы для негосударственных сил достижимы только при использовании автономных вооружений. Поэтому гонка вооружений в этой области сдвигает возможности от государств — которые по большей части ограничены международными соглашениями, торговыми зависимостями, и проч. — к негосударственным силам, таких ограничений не имеющим.
Возможно, именно на это обращает внимание Шарр в процитированном ранее интервью, когда говорит: «Мы, скорее всего, увидим больше атак более крупных масштабов, потенциально даже более крупных, чем эта, и на различных театрах действий — в воздухе, на земле и на море».
В целом мы, как и многие другие эксперты, продолжаем считать возможным, что автономное оружие может стать масштабируемым оружием массового поражения. Заявления Шарра, что запрет будет неэффективен или контрпродуктивен, не соответствуют историческим данным. И, наконец, идея, что человеческая безопасность будет увеличиваться в отсутствии регулирования гонки вооружений в области автономного оружия, является, в лучшем случае, выдачей желаемого за действительное.
Стюарт Рассел — профессор информатики в Калифорнийском университете в Беркли, соавтор учебника «Artificial Intelligence: a Modern Approach» [Современный подход к ИИ]
Энтони Эгуайр — профессор физики в Калифорнийском университете в Санта-Круз, сооснователь Института будущего жизни.
Эриель Конн занимается связями со СМИ и общественностью в Институте будущего жизни.
Макс Тегмарк — профессор физики в Массачусетском технологическом институте, сооснователь Института будущего жизни, автор книги «Life 3.0: Being Human in the Age of Artificial Intelligence» [Жизнь 3.0: быть человеком в эпоху ИИ]
