Проблема вагонетки: в какую сторону переключишь стрелку именно ты?
А вы помните уроки обществознания в старших классах и жаркие споры вокруг загадочной категории «Проблема вагонетки»? О, да.
Trolley problem или пресловутая «Проблема вагонетки», это мысленный этический эксперимент, сформулированный в 1967 году английским философом, внучкой 22-го и 24-го президента США Гровера Кливденда, Филиппой Фут.
Вдохновение на такую моральную дилемму Флиппа Фут почерпнула в Доктрине двойного эффекта у Фомы Аквинского, которая основана на различии между тем, что человек предвидит в результате его добровольного действия и тем, что он намерен сделать. Намерение, в свою очередь, определяется двумя категориями: стремление к цели и выбор средств для достижения цели (о последних можно сожалеть, однако желать их ради цели).
Итак, решить проблему вагонетки возможно только двумя существующими вариантами— переключать стрелку или нет. Любые пространные размышления о том, что можно было бы сделать, чтобы спасти всех, в оригинальной формулировке не рассматриваются.
Соответственно, в философских течениях и учениях можно найти множество вариантов обоснования того или иного выбора. Самый простой соответствует требованиям утилитаризма, когда моральная ценность определяется полезностью (здесь имеется в виду, что смерть одного в любом случае лучше смерти пятерых, как бы ужасно это ни звучало).
Казалось бы, при чем тут транспорт, а тем более беспилотный? Сейчас расскажу.
Но, перед тем добавим в повествование немножечко хайпа.
В маленьком городке Темпе штата Аризона поздним и относительно темным вечером разверзлась печальная драма: велосипедист_ка (если угодно) переходила дорогу в четыре полосы в неположенном месте, однако делала это в рамках формальной безопасности — сойдя с велосипеда. По несчастному стечению обстоятельств и на фоне почти полной темноты она была сбита автомобилем марки Volvo от Uber, двигающимся на тот момент автономно с разрешенной скоростью 65 км/ч. Велосипедистка скончалась в больнице. Тем не менее полицейские, прибывшие на место фатального ДТП, возложили вину на пострадавшую, так как она переходила дорогу там, где это было противопоказано.
Но, следствие вели и довели до интересного факта слеш злоключительной детали — дама, которая находилась за рулем беспилотного автомобиля и несла полную ответственность за движение транспортного средства, пренебрегла своей функцией водителя и была занята просмотром очередного эпизода популярного телешоу «Голос».
Следовало бы (наверное) ожидать, что программное обеспечение, оперирующее автопилотом, в данной истории сыграет важную роль, однако и здесь пролилось море света на тёмные стороны технологического прогресса. Корпорация Uber на базе автомобиля Volvo внедрила систему экстренного торможения, но настроила её так, чтобы избегать ошибочных тревожных сигналов и как следствие ложных срабатываний и остановок. Именно этот аспект оказался роковым — компьютер не смог мгновенно распознать человека на дороге и принять неотложные меры.
А теперь давайте представим более социально-будоражащий сценарий, в котором беспилотный автомобиль уже успешно распознал присутствие человека на дороге, однако предотвратить столкновение возможно лишь за счёт решительного манёвра, в результате которого машина, с пассажиром в салоне, конечно же, была бы вынуждена резко отклониться от проложенного маршрута для столкновения с деревом. Такая ситуация ставит перед алгоритмом сложнейший этический выбор: кем жертвовать — пассажиром или пешеходом?
Однако этот криво поставленный вопрос не имеет однозначного ответа. С точки зрения автомобильных компаний, пассажир в этой дилемме, безусловно, должен находиться в приоритете. Но в реальности, моральные и этические нюансы придают этому выбору сложность и многозначность. Что, если пешеходом окажется мать троих детей, а водителем– преступник? Как оценить, кого стоит спасать — двух «обычных» прохожих или одного спортсмена, служащего флагманом национальной сборной, или же выдающегося ученого, награжденного высшей научной наградой — Нобелевской премией?
Итак, спекулирование вопросами вроде — «кто важнее — человек или животное, доктор или вор, беременная женщина или пожилой мужчина?» — типичные для игры в Моральную машину, которую создали на базе медиа-лаборатории Массачусетского технологического института.
«Моральная машина» — это один из выдающихся проектов, призванных вникнуть в нюансы морали и этики, и уже давно покоривший сердца школьных психологов. Её авторы — группа ученых и исследователей разных наук и университетов, соединивших усилия еще в 2015 году. С момента своего зарождения этот проект пересек информационные границы и языковые барьеры, привлекая миллионы участников, живущих на разных континентах.
Основная идея этого проекта заключается в стремлении ответить на сложные вопросы, связанные с этикой автономного транспорта, с помощью технологии больших данных. Основная гипотеза заключается в том, что чем больше людей будут принимать участие в решении дилемм от «Моральной машины», тем больше вероятность, что создатели беспилотных автомобилей смогут сделать их более соответствующими высоким стандартам этики и морали, опираясь на данные от настоящих пользователей.
В ходе экспериментов было выявлено множество культурных различий, касающихся этических предпочтений. Например, в Латинской Америке большинство участников склонялись к тому, чтобы приоритет отдавался спасению жизни женщин в ущерб мужчинам. В то время как в восточных культурах, представителями которой являются Китай, Корея, Япония и некоторые исламские страны, решения о спасении чаще принимались в пользу пожилых, а не молодых людей.
По своей сути, данный тест представляет собой попытку людей представить ситуацию, в которой программное обеспечение автономных автомобилей должно принимать морально сложные решения о том, кого спасать в случае неизбежной аварии. Вместе с тем, сама идея, что машины могут решать, кто должен погибнуть при критических обстоятельствах, вызывает в обществе противоречивые эмоции и оправданные опасения. Однако в реальной жизни такие ситуации встречаются крайне редко, поэтому такие вопросы практически не стоят перед разработчиками. Сами компании-производители беспилотных автомобилей и работающие с ними программисты предпочли бы, чтобы эти этические вопросы решались законодателем с учетом интересов всех участников дорожного движения. Что логично — подходы к сценариям поведения беспилотных авто на дороге, по-хорошему, должны быть едиными (хотя бы в рамках одной страны).
А теперь откроем форточку, станет (оправданно) душно. Один из ключевых аспектов критики «Моральной машины» заключается в перекладывании ответственности за решение сложных моральных вопросов на плечи обычных пользователей. По сути, это означает, что вопросы этики и морали делегируются массам, позволяя им решать, в какие мрачные ситуации они готовы ввязаться. Но есть и ещё один аспект — моделируемые сценарии, представленные в тесте, противоречат гипотетическому поведению людей в особо опасных ситуациях. Ведь критические ситуации на то и критические — они не оставляют времени на раздумья и понимание, кто кем работает, кто сколько родил и кто сколько отсидел, а также на оценку, чья жизнь ценнее (ответ: котиков и собачек, люди — так себе). И вообще, зачем пытаться оценивать жизнь живых существ в столь серьезные моменты, будто в критической ситуации у человека действительно останется время на подобные рассуждения.
Но нельзя забывать о масштабном внимании, которое этот проект привлёк со стороны СМИ и обычных пользователей. Эти тесты, словно дрова, подкидываются в пламя публичного алармизма, вызывая чрезмерные беспокойства о событиях, которые пока существуют только в теории. Начиная с момента запуска в 2015 году и заканчивая первым публичным отчётом в 2018 году, «Моральная Машина» вызывала огромное количество обсуждений и споров. СМИ не случайно берут на вооружение неоднозначные и очень двоякие (троякие, ага) аспекты теста и многократно усиливают их драматизм. Если прогуглить «этика беспилотных автомобилей» помимо нейтральных обзоров, можно обязательно наткнуться на такие словосочетания, как «убивать», «давить», «убийца», «опасности», «этика» и «психология». Конечно, в публикациях также присутствуют более конструктивные и нейтральные точки зрения на этические аспекты беспилотных автомобилей, однако уровень общественной тревоги, весьма успешно поддерживаемый медиа, исходит именно от драматизации этих неразрешимых дилемм.
Итак, к конструктиву. В последние несколько лет инженеры, занимающиеся разработкой автономных автомобилей, неустанно задают себе вопросы о том, каким образом беспилотные автомобили должны справляться с этическими вызовами, которые возникают, если такие машины сталкиваются с неожиданными дорожными ситуациями. Например, что делать беспилотному автомобилю, когда на его полосу внезапно и агрессивно выезжает велосипедист: поменять полосу движения или пойти на риск столкновения с велосипедистом? Эти вопросы, даже в отношении весьма гипотетических ситуаций, вероятность которых крайне мала, весьма оправданы, ведь государство/законодатель не отвечают на них напрямую.
Поэтому предположу гипотезу: ответ на такие этические вопросы лежит прямо перед нами — он встроен в некий «общественный договор», который уже существует между водителями и участниками дорожного движения и (более мене) описан в правилах дорожного движения, а иногда и в судебных решениях (прецеденты, судебные толкования).
«Окей, как наши правила дорожного движения, которые не предусматривают беспилотные авто, могут помочь в определении этического поведения для автономных автомобилей?» — могли бы спросить вы, но спросила моя мама. Все очень прозаично, я, как юрист могу сказать: «Всегда соблюдайте закон». Можно задуматься, и моя мама задумалась. Может, вы тоже задумались, а может напишете «баян» в комментариях. Неисповедимы пути, как говорится, российского нормотворчества и применима ли эта политика к беспилотному вождению? И когда, если вообще когда-либо, для автономного автомобиля этично нарушать ПДД?
Если углубиться в правовой аспект важности соблюдения правил дорожного движения можно обнаружить, что помимо соблюдения Правил дорожного движения, для полного понимания происходящего существуют судебные решения и официальные разъяснения органов власти, которые помогают уточнить общественный договор, складывающийся на протяжении столетия пользования автомобилями. Сущность или ядро «общественного договора» заключается в выполнении обязанности соблюдать интересы других участников дорожного движения, следуя правилам дорожного движения, за исключением ровно тех случаев, когда нарушение ПДД необходимо для предотвращения столкновения. Иными словами, там, где нарушение закона может показаться разумным с этической точки зрения и будет необходимо для избежания столкновения, без вовлечения в ситуацию сторонних лиц, найдется и правовое обоснование такого нарушения.
С точки зрения человеко-ориентированного искусственного интеллекта (а каким он еще должен быть, собственно говоря?), это ключевой момент: мы хотим, чтобы программное обеспечение, отвечающее за автономное вождение в итоге, было подотчетно людям. У общества и государства уже есть механизм, позволяющий привлекать к ответственности (гражданской, уголовной и т.д.), и он заключается в обеспечении, охране, исполнении и соблюдении Правил дорожного движения. Однако, основной принцип, заключающийся в том, что беспилотные авто должны следовать закону пока не полностью принят в автомобильной индустрии и вызывает дискуссии. Некоторые производители/разработчики говорят о «человекоподобном» вождении, считая, что если другие водители нарушают правила, то и беспилотные автомобили должны также нарушать их или хотя бы иметь такую возможность. Вместе с тем, правовых оснований для подобных действий, ни для автономных транспортных средств, ни для компаний, разрабатывающих их, нет.
Таким образом, для сохранения поведения беспилотного автомобиля в рамках и этики и права, единственным обоснованием для нарушения Правил дорожного движения таким автомобилем должна быть необходимость предотвращения столкновения. И оказывается, закон в значительной мере подтверждает этот принцип. Например, если нет встречного движения и высокоавтоматизированное транспортное средство пересекает двойную сплошную линию для предотвращения столкновения с велосипедистом, который повёл себя на дороге некорректно, машина может нарушить ПДД. Но это нарушение оправдано законом, так как оно сохраняет обязанность соблюдать интересы иных участников дорожного движения.
И, все-таки какие этические проблемы должны решить разработчики ПО для автономных автомобилей? (см. как, ну что же мы можем спихнуть на разработчиков?)
Сегодня разработчики автономных автомобилей сталкиваются с этическими дилеммами, которые берут свое начало в момент использования людьми технологий искусственного интеллекта при вождении транспортных средств. Эти дилеммы приобретают свою значимость в ситуациях, когда автомобиль физически не может соблюсти свои обязательства как перед участниками дорожного движения, так и перед своими пассажирами.
Долгое время человечество спорит о том, кто должен быть жертвой в случае моральных коллизий, когда, например, велосипедист пересекает дорогу перед беспилотным автомобилем, а встречный поток полон прохожих. Но это примитивное утилитарное рассмотрение проблемы несёт в себе ошибку: оно утверждает, что машина должна судить о стоимости человеческих жизней.
Сегодня же разработчики автономных автомобилей отошли от такого утилитарного рассмотрения. Они утверждают, что их цель не в том, чтобы размышлять над «проблемой вагонетки», решая, кого выбрать, а в стремлении создать автомобили, которые будут действовать максимально безопасно. Этому способствует методология RSS (Responsibility-Sensitive Safety — безопасность с учетом ответственности) — попытка установить правила, которые обеспечат безопасное расстояние между автономным автомобилем и другими участниками движения, чтобы избежать столкновений.
Однако, RSS не решает проблему выбора, которая встает в ситуации неизбежного столкновения (ну хоть с кем-то): беспилотник якобы должен принять хоть какое-то решение. Это может быть как осознанное самостоятельное действие, так и реакция, берущая свое начало из запрограммированных правил. Несмотря на утверждения отрасли о том, что она не намерена решать «проблему вагонетки», вопрос о том, как автономный автомобиль будет вести себя в ситуациях этических дилемм, остается открытым.
В итоге, каким сценариям поведения следует научить автономный автомобиль для наименьшего вреда в ситуациях, в которых столкновение неизбежно? Можно ли сделать так, чтобы беспилотник всегда соблюдал закон и учитывал интересы всех участников движения? Было бы неплохо, ведь в этом случае столкновения происходили бы только в ситуациях, когда другой (живой) участник дорожного движения нарушает правила, или из-за непредвиденных обстоятельств, таких как падающее дерево или яма на дороге.
Однако предположим, что тот самый другой участник движения нарушает правила, например, проезжает на красный свет или подрезает наш обученный беспилотник. В этой ситуации высокоавтоматизированное транспортное средство обязано все равно соблюдать интересы нарушителя и предпринимать меры, чтобы избежать столкновения, сохраняя при этом свою обязанность по отношению к другим участникам дорожного движения. Важно отметить, что такое решение не оценивает стоимость чьей-либо жизни, а сосредотачивается на выполнении обязанности соблюдать интересы других людей.
Такое поведение соответствует существующему тому самому «общественному договору», согласно которому водители презюмируют, что, соблюдая Правила дорожного движения и выполняя свои обязанности перед другими, они смогут безопасно перемещаться по дороге. Так почему же стало нормой предполагать, что автономному автомобилю можно разрешить избегать столкновения с велосипедистом, возникшим не по вине беспилотного автомобиля, даже если это требует внезапного перестроения на встречную полосу и столкновения с другим автомобилем, двигающимся по правилам? Это решение — причинять вред постороннему человеку, который не имеет отношения к ситуации, трудно оправдать как с моральной, правовой так и с практической точек зрения.
В любой дорожной ситуации существует множество неизвестных факторов. Мы не можем предсказать действия всех участников движения и исход конкретных событий. Поэтому создание системы, способной мгновенно производить утилитарные вычисления, вызывает сомнения как с этической, так и с практической точек зрения. Если бы автопроизводитель решил разработать автономный автомобиль, который жертвовал бы одной жизнью, чтобы спасти пять, его могло бы ждать серьезное нравственное порицание и легально обоснованное правовое, так как это не соответствует общественному договору, который не оправдывает такое утилитарное мышление.
Поможет ли такой подход, когда автомобиль следует ПДД и учитывает интересы всех участников дорожного движения, при этом НЕ вовлекая в дорожные конфликты/коллизии невиновные стороны, повысить уровень общественного доверия к беспилотным авто?
В последнее время весьма распространены суждения о том, что автономные автомобили прибегают к этическому краудсорсингу и принимают решения, основанные на человеческих ценностях (а они, как мы знаем, не очень). Неудивительно, что это вызывает беспокойство у людей — людям не нравятся автомобили, которые обучаются человеческим паттернам поведения за рулем — грубым и агрессивным. Особенно волнуют те случаи, когда автомобиль может пожертвовать своим пассажирам в попытке спасти бОльшее количество жизней. Но давайте рассмотрим этот вопрос более детально.
Если беспилотные автомобили запрограммированы так, чтобы они всегда соблюдали свои обязательства перед всеми участниками дорожного движения, то это означает, что общественность может быть спокойна: если люди сами соблюдают ПДД, то и нет повода беспокоиться о безопасности при встрече с беспилотными автомобилями. Более того, даже если водители нарушат свои обязательства перед беспилотником, он все равно будет действовать с учетом всех своих возможностей, чтобы избежать столкновения. Это должно успокоить общественность, так как означает, что беспилотные автомобили не ведут расчетов, и не оценивают человеческую жизнь на основе какой-то утилитарной формулы. А столкновений по вине невнимательных, агрессивных и неаккуратных водителей избежать сложно, даже если беспилотный транспорт будет пытаться как-то «разрешить» такие дорожные ситуации.
В итоге, как подход к решению «проблемы вагонетки», описанный выше, может повлиять на будущее развитие беспилотных автомобилей? Я думаю, что симбиоз работы юристов, инженеров и социологов приближается к тому моменту, когда мы, как потребители, сможем получить внятную корреляцию закона, общественных норм и технических требований, которые можно воплотить в компьютерном коде. Теперь нужно сформулировать четкий набор технических требований, которые помогут перевести наш общественный договор в понимаемый машинами язык. Это доказывает, что при разборе основных деталей ответственности беспилотных автомобилей в разрезе обеспечения безопасности других участников дорожного движения, все сводится к нескольким простым правилам: соблюдение безопасной дистанции и умеренной скорости движения. В этом смысле решение, предложенное в статье, напоминает систему RSS, которая позволяет устанавливать определенные параметры безопасности для каждого автомобиля.
Спасибо, что дочитали до конца!
