[Перевод] Опасная лёгкость, с которой можно обмануть военный искусственный интеллект
Война с применением ИИ начинает доминировать в стратегиях США и Китая, однако готовы ли к этому технологии?
В прошлом марте китайские исследователи объявили о намерении провести гениальную и потенциально разрушительную атаку на один из наиболее ценных технологических активов Америки: электромобиль Tesla.
Команда из лаборатории безопасности китайского техногиганта Tencent показала несколько способов обмана ИИ-алгоритма машины Tesla. Немного изменяя данные, идущие на датчики автомобиля, исследователям удалось запутать ИИ, управляющий автомобилем.
В одном случае на телеэкране был скрытый узор, заставивший заработать дворники.
В другом разметка на дороге была немного изменена так, чтобы запутать автономную систему вождения, после чего она сместила машину в соседнюю полосу движения.
Алгоритмы Tesla обычно отлично справляются с тем, чтобы заметить капли дождя на лобовом стекле или следовать по дорожной разметке, однако их принцип работы фундаментально отличается от человеческого восприятия. Из-за этого становится удивительно легко обмануть алгоритмы глубокого обучения (быстро набирающие популярность в таких областях, как распознавание лиц и диагностирование рака), если знать их слабые места.
Может показаться, что в запутывании работы автомобиля Tesla нет стратегических угроз для США. Но что, если бы сходные технологии использовались бы для обмана боевых дронов или ПО, анализирующего спутниковые снимки — так, чтобы оно увидело предметы, которых на снимках нет, или же не увидело бы того, что там реально есть?
Накопление искусственного интеллекта
Во всём мире ИИ уже считают следующим шагом в получении значительного военного преимущества.
В этом году США объявили о реализации стратегии, в рамках которой ИИ будет использоваться во многих военных областях, включая анализ данных, принятие решений, автономные средства передвижения, логистика и вооружения. Из $718 млрд, запрошенных минобороны на 2020 год, $927 млн пойдёт на ИИ и машинное обучение. Среди существующих проектов есть как скучные (проверка того, сможет ли ИИ предсказывать необходимость обслуживания танков и грузовиков), так и самые передовые вещи из области вооружений (рои дронов).
Пентагон выступает за применение ИИ в частности из-за страха перед тем, что эту технологию могут использовать его противники. В прошлом году Джим Мэттис, будучи министром обороны, отправил президенту Дональду Трампу докладную записку с предупреждением о том, что США уже отстают в вопросах ИИ. Его тревогу можно понять.
В июле 2017 года Китай раскрыл свою стратегию касательно ИИ, заявив, что «крупнейшие развитые страны мира принимают разработку ИИ в качестве основной стратегии по улучшению конкурентных позиций и защите государственной безопасности». Через несколько месяцев Владимир Путин, президент России, сделал следующее предсказание: «Тот, кто станет лидером в области ИИ, станет править миром» [это буквальный перевод процитированного фрагмента из оригинальной статьи. Но, как это часто бывает, цитату исказили. Звучала она так: «Если кто-то сможет обеспечить монополию в сфере искусственного интеллекта, то последствия нам всем понятны — тот станет властелином мира» / прим. перев.].
Стремление построить самое умное и смертельное оружие можно понять, но, как показывает взлом Tesla, враг, знающий принципы работы алгоритма ИИ, может обезвредить его или даже обратить против владельцев. Секрет победы в войнах ИИ может заключаться не в постройке самого впечатляющего оружия, но в овладении искусством вероломного обмана софта.
Боевые боты
Ярким солнечным днём, прошлым летом в Вашингтоне О.К., Майкл Канаан сидел к кафе Пентагона, ел сэндвич и удивлялся новому набору мощных алгоритмов машинного обучения.
За несколько недель до этого Канаан наблюдал видеоигру, в которой пять алгоритмов ИИ работали совместно, и почти обыграли и обхитрили пятерых человек в состязании, в котором нужно было контролировать силы, лагерь и ресурсы, разбросанные по большому и сложному полю битвы. Однако Канаан хмурил брови под своими коротко подстриженными светлыми волосами, когда он описывал происходящее. Это была самая впечатляющая демонстрация стратегии ИИ из всех, что он видел — неожиданный рывок ИИ, похожий на тот, что произошёл в шахматах, играх для Atari и др.
Эти боевые действия разыгрывались в игре Dota 2, популярной НФ видеоигре, остающейся невероятно сложной для компьютеров. Команды должны защищать свои территории, атакуя лагерь противника в окружении, более сложном и коварном, чем любая настольная игра. Игрокам видна лишь небольшая часть всего поля, и на то, чтобы определить, является ли их стратегия выигрышной, может уйти порядка получаса.
Соперники под управлением ИИ были разработаны не военными, а компанией OpenAI, созданной для проведения фундаментальных исследований в области ИИ корифеями Кремниевой долины, в числе которых Илон Маск и Сэм Альтман. Эти алгоритмические воины, известные, как OpenAI Five, вырабатывали собственную выигрышную стратегию, практикуясь в игре без устали, и используя ходы, показавшие себя с наилучшей стороны.
Именно такое ПО интересует Канаана, одного из тех, кто должен использовать ИИ для модернизации американской армии. С его точки зрения, это ПО показывает, какие преимущества получит армия, заручившись помощью ведущих мировых исследователей в области ИИ. Однако готовы ли они её оказывать — этот вопрос становится всё более острым.
Канаан руководил проектом «Знаток» [Project Maven] для ВВС США — военной инициативой, направленной на использование ИИ для автоматизации распознавания объектов на снимках с воздуха. Подрядчиком проекта был Google, и когда в 2018-м об этом узнали некоторые сотрудники компании, компания решила отказаться от этого проекта. После этого компания выпустила правила использования ИИ, где написала, что Google не будет использовать свой ИИ для разработки «оружия или других технологий, принципиальная цель или способ реализации которых подразумевают причинение ранений людям».
За Google последовали работники других больших технокомпаний, потребовавшие от работодателей воздержаться от военных контрактов. Многие выдающиеся исследователи ИИ поддержали попытки организовать глобальный запрет на полностью автономное вооружение.
Однако для Канаана будет большой проблемой, если военные не смогут работать с исследователями — вроде тех, что разработали OpenAI Five. Ещё более неприятной кажется перспектива, в которой противник получит доступ к настолько передовой технологии. «Код лежит в открытом доступе, его может использовать каждый, — сказал он. И добавил: Война куда как более сложная штука, чем какая-то видеоигра».
Всплеск ИИ
Канаан так напирает на вопрос с ИИ в частности потому, что из первых рук знает, насколько полезным он может быть для военных. Шесть лет назад он был разведчиком в Афганистане для ВВС США, и отвечал за развёртывание нового устройства для сбора разведданных: гиперспектрального анализатора. Этот инструмент может замечать объекты, скрытые от обычного взгляда, как, например, танки, закрытые камуфляжной тканью, или выбросы нелегальной фабрики по производству взрывчатки. Канаан говорит, что эта система позволила военным убрать тысячи килограмм взрывчатки с поля боя. И всё равно часто аналитики не могли на практике проанализировать огромные объёмы данных, собранные анализатором. «Мы слишком много времени проводили за разглядыванием данных, и слишком мало — за принятием решений, — говорит он. — Иногда это так сильно затягивалось, что мы начинали задумываться о том, не могли ли мы спасти ещё больше жизней».
Решение может быть обнаружено в прорыве, сделанном в области компьютерного зрения командой из Торонтского университета под руководством Джоффри Хинтона. Учёные показали, что алгоритм, вдохновлённый многослойной нейросетью, может распознавать объекты с беспрецедентной точностью, если предоставить ему достаточно данных и вычислительных мощностей.
Обучение нейросети подразумевает, что она получит на вход данные — например, пиксели изображения — и будет обрабатывать их, постоянно меняя внутренние связи в сети при помощи математических техник, так, чтобы выходные данные были как можно ближе к определённому результату, например, определению наличия на изображении объекта. Со временем эти нейросети глубокого обучения учатся распознавать закономерности из пикселей, обозначающие, допустим, людей или дома. Прорывы в глубоком обучении породили текущий бум ИИ; эта технология лежит в основе автономных систем для Tesla и алгоритмов OpenAI.
Канаан сразу же распознал потенциал глубокого обучения для обработки различных типов изображений и данных с датчиков, необходимых для военных операций. Он и его коллеги из ВВС вскоре начали агитировать начальство вкладываться в эту технологию. Их попытки внесли свой вклад в продвижение Пентагоном планов по развитию ИИ.
Однако вскоре после того, как глубокое обучение ворвалось в область ИИ, исследователи обнаружили, что те же свойства, что делают его настолько мощным инструментом, одновременно являются и его ахиллесовой пятой.
Если возможно подсчитать, как нужно подстроить параметры сети так, чтобы она правильно классифицировала объект, то можно подсчитать, какие минимальные изменения в изображении могут заставить сеть ошибиться. В подобных «состязательных примерах» после изменения всего нескольких пикселей изображения оно выглядит так же для человека, но совершенно по-другому воспринимается ИИ-алгоритмом. Проблема может возникнуть везде, где используется глубокое обучение — к примеру, в управлении робомобилями, планировании миссий или обнаружении взлома сетей.
И посреди всего этого активного роста использования ИИ в военных целях, упомянутые загадочные уязвимости в ПО мало кто замечает.
Движущиеся мишени
Один примечательный объект иллюстрирует всю мощь состязательного машинного обучения. Это изображение черепашки.
Мне или вам она кажется нормальной, но дрону или роботу с определённым алгоритмом машинного зрения, полученного при помощи глубокого обучения, она видится… ружьём. На самом деле, уникальный узор из отметин на панцире черепашки можно переделать так, чтобы компьютерное зрение на базе ИИ, доступное через облачный сервис от Google, спутало её с чем угодно (с тех пор Google обновил свой алгоритм, и его уже так просто не обманешь).
При этом черепашку сделал не враг государства, а четыре парня из MIT. Один из них — Аниш Аталий, долговязый и очень вежливый молодой человек, работающий в области компьютерной безопасности в лаборатории информатики и искусственного интеллекта (CSAIL). На видео, крутящемся на его ноутбуке, показан процесс тестирования черепашек (некоторые из этих моделей, по его словам, были украдены на конференции), которых поворачивают на все 360 градусов, а также переворачивают вверх ногами. И алгоритм видит там одно и то же: «ружьё», «ружьё», «ружьё».
Самые ранние состязательные примеры были хрупкими и часто отказывались работать, однако Аталий с друзьями верили, что смогут разработать достаточно надёжную версию такого примера, которая сможет работать даже на объекте, распечатанном на 3D-принтере. Нужно было смоделировать трёхмерные объекты и разработать алгоритм, создающий черепашку — состязательный пример, который будет работать под разными углами зрения и на разных расстояниях. Проще говоря, они придумали алгоритм, создающий нечто, надёжно обманывающее машинное обучение.
Военные применения этой технологии очевидны. Используя камуфляжные состязательные алгоритмы, танки и самолёты могут прятаться от спутников и дронов с ИИ. Ракеты под управлением ИИ могут ослепнуть, получив состязательные данные, или даже вернуться назад, к дружественным целям. Информацию, подаваемую на вход умным алгоритмам, можно отравить, замаскировав террористическую угрозу или устроив ловушку солдатам в реальном мире.
Аталия удивляет, как мало беспокойства по поводу состязательного машинного обучения он встречает. «Я говорил с кучей людей из этой индустрии, спрашивал их, не волнуют ли их состязательные примеры, — говорит он. — Почти все они отвечали отрицательно».
К счастью, в Пентагоне начинают обращать на это внимание. В августе проект DARPA объявил о старте нескольких крупных исследовательских проектов в области ИИ. Среди них есть GARD — программа, концентрирующаяся на состязательном машинном обучении. Хава Шигельман, профессор Массачусетского университета и программный управляющий GARD, говорит, что эти атаки могут оказаться разрушительными в военных ситуациях, поскольку люди не смогут их распознать. «Мы будто бы слепы, — говорит он. — И это делает ситуацию очень опасной».
Проблемы состязательного машинного обучения также объясняют, почему Пентагон так сильно хочет работать с такими компаниями, как Google и Amazon, а также с научными институтами типа MIT. Технология развивается очень быстро, и последние прорывы происходят в лабораториях, которыми управляют компании из Кремниевой долины и лучшие университеты, а не обычные подрядчики минобороны.
Что важно, они также происходят и за пределами США, в частности, в Китае. «Я думаю, что надвигается другой мир, — говорит Канаан. — И нам придётся бороться с ним при помощи ИИ».
Гневная реакция на использование ИИ в военных целях понятна, однако она может не видеть всей картины в целом. Люди беспокоятся по поводу умных роботов-убийц, однако, возможно, что нас раньше настигнет риск алгоритмического тумана войны — через который не смогут ничего увидеть даже самые умные машины.
