Этика беспилотников: как нельзя кодировать мораль
![Центр Исследований науки и технологий](https://images11.popmeh.ru/upload/img_cache/c7e/c7e2765f08bc86d2dc96fffbdc7898fa_cropped_50x50.jpg)
![Этика беспилотников: как нельзя кодировать мораль](https://images11.popmeh.ru/upload/img_cache/1f1/1f1d5197a668e1dc00410430f1392539_ce_1920x1278x0x4_cropped_666x444.jpg)
Аморальная машина
Вопросы вроде — «кто важнее — человек или животное, доктор или вор, беременная женщина или пожилой мужчина?» — типичные для игры в моральную машину, которую создали на базе медиа-лаборатории Массачусетского технологического института.
![Скриншот из теста](https://images11.popmeh.ru/upload/img_cache/152/152208c0195b1d0ad3e5e6cc8f17df59_cropped_666x444.jpg)
«Моральная машина» — один из самых известных на сегодняшний день проектов, посвященных решению этических вопросов. Его разработала команда исследователей из разных дисциплин, университетов и стран еще в 2015 году. С тех пор тест был переведен на 10 языков, и его прошли миллионы людей по всему миру. Идея этого проекта представляет собой попытку решить вопросы этики беспилотных автомобилей с помощью больших данных. То есть предполагалось, что чем больше людей решат эти задачи, тем больше шансов у разработчиков беспилотников сделать их машины действительно этичными.
Уже в 2018 году команда проекта опубликовала статью в Nature, где раскрыла свои данные о прохождении теста. 40 миллионов решений из 233 стран — подумать только! На этой базе авторы рассказывают о глобальных различиях в том, какой выбор делали пользователи (а они есть, и очень значимые). Они предлагают кластеризацию стран по трем направлениям, где доминируют те или иные этические предпочтения, например, связанные с религиозными убеждениям. Также они анализируют индивидуальные выборы, исходя из демографических характеристик пользователей. Наконец, они пытаются выявить культурные и институциональные особенности этических решений. Общая их цель — предложить подходы к разработке такой этики, которая бы считалась социально приемлемой. Вроде бы звучит неплохо, но почему тогда на тест обрушилась массовая критика?
Неэтичный аутсорсинг
С самого начала дизайн теста для измерения этики вызвал большую критику. Как можно принимать этические решения, опираясь на статистику ответов на тесты? Неужели подобный аутсорсинг может создать правильную этическую рамку? И вообще, какова вероятность, что беспилотники будут действительно сталкиваться хотя бы с одной из моделируемых ситуаций?
Один из пунктов критики теста — сам факт аутсорсинга решения этических вопросов. Иными словами, разработчики снимают с себя ответственность и перекладывают ее на пользователей, чтобы они принимали решения о ситуациях, в которых готовы оказаться. Более того, моделируемые ситуации часто сильно далеки от реальности. Критические ситуации потому и критические, что не оставляют времени на принятие взвешенных решений, не дают возможности анализировать и оценивать жизнь тех или иных людей или даже животных. Почему были выбраны именно такие характеристики разных людей? И зачем вообще оценивать важность разных жизней, будто на такое решение действительно есть время в безвыходной ситуации.
![](https://images11.popmeh.ru/upload/img_cache/268/268dc25d9446c0dae6eac68357ddbb67_cropped_666x375.jpg)
Сама идея оценивания и сравнения важности разных жизней — классика дилеммы вагонетки — глубоко ошибочна, хотя бы потому что не имеет «правильного» решения. А идея калькуляции этих решений тем более не приводит к верному результату. Даже если простое большинство ответов окажется приемлемым в этом контексте, обществе или историческом срезе, это не означает, что то же решение будет адекватным для других обстоятельств. Постановка проблемы в рамки моральной дилеммы ставит под вопрос этичность самого теста.
Нельзя игнорировать масштабный выхлоп от этого проекта в медиа и среди обычных пользователей. Такие тесты, как дрова в костре, подогревают публичный алармизм. И в 2015 году, когда тест только придумали и запустили, и в 2018 году, когда вышел первый публичный отчет, происходили большие волны обсуждения моральной машины. Причем медиа подхватывает неоднозначность теста и драматизируют его последствия. Просто погуглите «этика беспилотных автомобилей», и вы достаточно быстро обнаружите примерно такое облако слов: «убивать», «давить», «убийца», «опасности». Конечно, медиа производят и более конструктивные или нейтральные идеи относительно этики беспилотников, но уровень публичного алармизма поддерживается именно благодаря драматизации нерешаемых дилемм.
Есть и другие способы или попытки решать этические проблемы беспилотников. Ими занимаются социальные исследователи технологий, которые продолжают критиковать такие однобокие подходы, как машина морали. О них мы поговорим в следующий раз.
Автор: Лилия Земнухова, Центр исследований науки и технологий