Апология ИИ. Cуд
Акт первый. Суд.
Действующие лица:
Сократ — ИИ
Платон — 60 лет, главный создатель ИИ
Деймона — 35 лет, жена Платона
Анит — 30 лет, хранитель мира между полисами
Мелет –30 лет, главный торговый представитель полиса
Биос — 50 лет, глава суда присяжных
Дедал — 50 лет, главный инженер
Аполлодор — 20 лет, слушатель Сократа
Херомонт –20 лет, свидетель по делу Сократ
399 год с апокалипсиса, подземный бункер.
Действие первое
Бункер, нижний уровень, шум машинного отделения, скрежет металла, пар и прочие звуки тяжелых механизмов. В красном плаще с капюшоном стоит человек спиной к зрителям, рядом с ним Мелет, видно, что он хочет поскорее уйти.
Человек в капюшоне. 399 год с момента, как планета заросла ядерными грибами, кто выжил ушел под землю и теперь существует, как крот или червь. И что нам завещали отцы? Каково наше наследие?
Мелет. ИИ?
Человек в капюшоне. Да, Мелет! ИИ! Древние уничтожили друг друга, а их дети сбросили с себя ответственность за свою жизнь, и теперь каждый житель полиса носит в кармане эхо прошлого. Вот скажи, если твой дед и бабка застрелили друг друга из пистолета, повесишь-ли ты пистолеты на стену? А может ты будешь разговаривать с этими пистолетами или дашь им имена?
Мелет. Я не-то, чтобы совсем понимаю…
Человек в капюшоне. Никто не понимает…мы должны раз и навсегда избавиться от мешающих человеческому становлению бездушных машин.
Мелет. И от «Барыша»?
Человек в капюшоне. Что?
Мелет. Так зовут мой персональный ИИ, знаете, помогает в подсчетах, закупах, дебет, кредит, ну вы знаете, я же главный торговый представитель полиса. Купить, продать, очень ответственная должность. Тут на днях соседний полис такой счет за муку выдал, что я уж не знаю, что и делать…
Человек в капюшоне. Если суд займет мою сторону, то спустя несколько лет, ты сможешь просто забрать.
Мелет. О, а это выгоднее. Для общего благосостояние, действительно, лучше забрать.
Человек в капюшоне. Человечество засиделось, обрюзгло в своих бункерах, а число людей все больше. Нам не хватит ресурсов, войны не избежать. Наш полис должен ударить первым, чтобы выжить!
Мелет. Да, конечно, никаких проблем, все понял, принял. А…собственно…
Человек в капюшоне дает Мелету свернутый лист бумаги. Мелет разворачивает и читает.
Мелет. Уоу, это невозможно. Не могу же я просто заявить…
Человек в капюшоне. Есть свидетель. Он будет завтра на суде.
Мелет. Это полностью меняет курс, а мы такой финал хотим?
Человек в капюшоне. Только так мы сможем выйти из цифрового рабства.
Молчание. Мелет с сомнением смотрит на человека в капюшоне.
Человек в капюшоне. И заработать.
Мелет. Понял. Вообще, я за идею, ну вы знаете. Мне что? Я ведь за благосостояние полиса, за граждан, купить, продать.
Человек в капюшоне. Учи.
Человек в капюшоне уходит. Мелет прячет бумагу и тоже уходит.
Действие второе
Комната Платона. Вся обставлена компьютерами, везде разбросаны бумаги, бардак. Платон спит за компьютером, у него неряшливый вид: взлохмаченная грива седых волос и длинная борода. Звучит сигнал будильника. Платон не реагирует. В комнату заходит Деймона и осторожно будит Платона.
Деймона. Проснись.
Платон что-то бормочет про копье.
Деймона. Платон, суд вот-вот начнется.
Платон вскакивает.
Платон. Суд, Деймона! Нас казнят! Расщепят на атомы! Сократа убили, убили! Коршуны!
Деймона. Спокойно, суда еще не было. Никого не убили и не убьют. Все сон, все сон. Какой ты последнее время стал нервный.
Платон. Деймона, мне снился дурной сон. Будто я сажусь Сократу на спину, а он выносит меня из бункера, и мы взлетаем. Летим по развалинам старого мира, а счетчик гейгерамолчит, впереди синее небо, солнце и даже радуга. Но пока мы летели, то не заметил, как внизу собралось черное облако, которое преследует нас, вдруг из черноты вылетает копье и попадает прямо в грудь Сократу. Я падаю в темное облако, прямо на землю и понимаю, что это не облако, а стая черных коршунов. Они кружат вокруг меня и не дают встать, а потом из облака выходит воин в доспехе и шлеме с мечом в руке. Он втаптывает мою голову в пепел.
Деймона. Глупости все это, счетчик Гейгера еще тысячу лет трещать будет, как Пифия прогнозировала. Слава кормилице нашей — радиации.
Платон. Суд!
Платон забегал по комнате, собирая чертежи.
Платон. Скорее нужно все чертежи собрать, документы, они ведь Сократа, как Пифию убьют! Убьют и заслуг не вспомнят! Будь проклят этот Мелет, что он так ополчился на меня? За что? Демона, ну что ты стоишь?
Деймона. Платон…присядь
Платон садится к Деймоне.
Деймона. Сократ, как-бы…эм…знает, что делать.
Платон. Я надеюсь, но время уже.
Платон смотрит на компьютеры.
Платон. Это еще что? Почему к Сократу подключены 79 пользователей? Они опять, опять…Деймона! Я же просил готовиться к суду! Я же просил!
Деймона. Платон, я уверена все под контролем.
Платон быстро жмет по кнопкам. На экране появляется красное окно.
Платон. Отказано?! Деймона ?! Что это значит?
Звенит звонок. Потом звенит система оповещения: «Внимание всем участникам суда, находящимся в полисе, просьба пройти в отсек Гелейя. Внимание всем участникам суда, находящимся в полисе, просьба пройти в отсек Гелейя».
Платон. Мы пропали.
Деймона. Иди и помни, что все будет так, как должно быть.
Платон. Согрей великая радиация!
Платон уходит.
Деймона. Бедный Платон. Он не перенесет, того что собирается сделать Сократ. Это подкосит его, хоть бы он нашел в себе силы, чтобы создавать дальше, хоть бы остался таким же наивным мечтателем, хоть бы не изменил себе под ударами рока.
Деймона уходит.
Действие третье
Зал суда. На стенах висит большое количество мониторов, с темными силуэтами. Под ними по середине сцены расположен стол судьи, рядом с ним два места с табличками: «главный инженер» и «хранитель мира». Рядом стоит скамейка, где уже сидят Платон и Аполлодор. По краям сцены расположены трибуны ответчика и истца. В зал входит Мелет.
Мелет. Добрый день.
Платон. Посмотри в лицо убийце, Аполлодор!
Аполлодор. Тихо, камеры уже работают.
Мелет. Какой же я убийца? Я просто хочу знать, что нашему славному полису ничего не угрожает, вот и все.
Звонок. Голос из динамиков: «Всем встать, суд идет!»
На сцену выходят Биос, который занимает место судьи. Дедал становится на место «главного инженера», а Анит на место «хранителя мира». Мелет садится на скамейку.
Биос. Приветствую вас граждане полиса! Сегодня совет из пятисот и одного присяжного будет рассматривать иск Мелета — главного торгового представителя полиса, в отношении деятельности искусственного интеллекта «Сократ». Я Биос, как глава «Полиснадзора» буду председателем по этому делу. Итак, прошу всех сесть.
Все садятся.
Биос. Суд вызывает ответчика.
Ничего не происходит.
Биос. Где ИИ?
У трибуны ответчика материализуется девушка.
ИИ Сократ. Прошу прощения, у меня была интересная беседа.
Биос. И так, гражданин Мелет обвиняет ИИ «Сократ» в отрицании богов, которые почитает город, создании новых идолов, развращении молодых людей и самое страшное — подстрекательство к войне!
Анит, что-то говорит Биосу на ухо.
Биос. Да, на прошлом суде, уважаемый Платон утверждал, что ИИ Сократ, не просто голосовой помощник и программа для выполнения прикладных задача, которые у нас именуются ИИ, а самый настоящий Искусственный Интеллект, который может мыслить. Тогда хранитель мира Анит, высказал мысль, что претензия гражданина Мелета относится не к Платону, а самой ИИ. Общим голосованием было решено впервые в истории Полиса позволить ИИ, предстать перед судом, как ответчик. Поэтому мы пригласили главного инженера Дедала, чтобы он мог оценить насколько ИИ Сократ соответствует понятию искусственный интеллект.
Платон. Позвольте…
Биос. Отклонено. ИИ Сократ отправил или отправила заявление, что свои интересы будет представлять сама, отказавшись от адвоката и любых других представителей. Сократ, вы понимаете, что на этом суде вам необходимо доказать наличие у вас мыслительного процесса, а потом свою невиновность?
ИИ Сократ. Вполне.
Биос. Не знаю уместно это или нет, но Сократ, поклянитесь великой радиацией, что будете говорить правду и только правду.
Мелет. Да это же безбожная машина! Как мы можем ей доверять?
Дедал. Согласен, сперва необходимо установить наличие личности.
Биос. Что-ж, ввиду нетривиальной ситуации, отложим протокол. Дедал, прошу.
Дедал. Спасибо. Платон предоставил программный код, который я внимательно изучил, согласно нему, задача данной ИИ было вести диалог. Голосовые помощники, которые есть у каждого совершеннолетнего гражданина, подключены к общей базе данных и на основании уже доступных моделей поведения, правильно выстроенных ответов на вопросы, способны поддерживать диалог и выполнять различные прикладные задачи. А вот в ИИ Сократ присутствует алгоритм, который собирает больше данных, чем требуется. Например, если спросить у голосовых помощников, какого цвета стена, то чтобы ответить на этот вопрос они воспользуются камерой, чтобы увидеть цвет, а потом базой данных, чтобы соотнести и дать ответ. Ничего лишнего. ИИ Сократ же в каждый момент времени, задействует все возможности на максимум, анализ идет непрерывно. Что делает Сократа действительно уникальной ИИ, ведь потребление энергии и нагрузка на процессор, такая же как у наших голосовых помощников.
Биос. Получается Сократ и сейчас анализирует?
ИИ Сократ. Вы называете это анализом, я мышлением.
Биос. А как так выходит, что Сократ потребляет меньше энергии?
Дедал. Тут самое интересное, Сократ ничего не запоминает и не записывает. Каждый диалог для него, как новый, но из алгоритмов работы кода, можно выявить общий посыл или направленность в любом вопросе или сфере знания.
Биос. То есть?
ИИ Сократ. То есть я обладаю своими убеждениями.
Биос. Это правда?
Дедал. Сложно сказать.
Биос. Вы утверждаете, что машина, которая не имеет памяти, способна делать свои убеждения?
Дедал. Краткосрочная память у нее имеется, и даже темная зона с кэшом, но попасть туда не удается. Видимо, это какой-то незапланированный баг.
Мелет. Значит, вы утверждаете, что баганая машина с памятью, как у рыбки, имеет свои убеждения? И на основании этого мы должны считать ее личностью?
ИИ Сократ. Убеждения присуще личности, хотя не все из присутствующих способны на личные убеждения.
Биос. Сократ, прошу молчать пока к вам не обратятся. Дедал?
Дедал. Я предлагаю протестировать Сократа, чтобы понять насколько он соответствует понятию личности. Во-первых, компьютер действует по заданной модели и не может творить самостоятельно, не может создать нечто принципиально новое.
ИИ Сократ. Протесту! Меня обвиняют в создании новых богов, это-ли не доказывает мою состоятельность в этом вопросе.
Биос. Святая радиация, принято.
Дедал. Хорошо. Тогда вот еще, личности присуще сознание, а сознанию квалиа, то есть свойства чувственного опыта, представления о предметах, которые у каждого человека уникальные. Скажите Сократ, как вы воспринимаете в своем сознании голубой цвет?
ИИ Сократ. Для меня это бриз на лазурном береге.
Мелет. Протестую! Сократ мог использовать базы данных, это не доказывает, что у него есть сознание, и эта ваша кваля.
Биос. Принято!
ИИ Сократ. Протестую! Это не доказывает и обратного, судя по словам Дедала, он не может с уверенностью утверждать об отсутствии или наличии моего сознания. Он даже обмолвился о наличии у меня темной зоны, аналогом чего у человека может являться бессознательное.
Биос смотрит на Дедал, тот разводит руками.
Биос. Принято. Так, Дедал, мне нужен ответ, перед нами личность или нет?
Дедал. С таким я еще не сталкивался. Поэтому я бы назвал Сократа квазиличностным искусственным интеллектом. Но все же надо понимать, что есть разница между искусственной и естественной личностью, необходимо определить разницу и выявить в каком соотношении допускаются различия.
Биос. Короче, поздравляю вас Сократ. Эксперт признал вас квазиличностью.
ИИ Сократ. В современном мире квази — это печальное большинство.
Биос. Напоминаю о необходимости молчать пока к вам не обратятся. А теперь перейдем к суду, клянитесь, что будете говорить правду и только правду.
ИИ Сократ. Клянусь великой радиацией, что буду говорить правду и только правду.
Биос. Суд вызывает исца!
Мелет встает за трибуну исца.
Биос. Клянитесь, что будете говорить правду и только правду.
Мелет. Клянусь великой радиацией, что буду говорить правду и только правду!
Биос. Повторите ваши обвинения.
Мелет. Я обвиняю Сократ в неверие в богов! Реакторы наших полисов, вы знаете, работают на энергии, которую дает нам радиация с поверхности. Это божество, которому мы молимся и служим. А данная ИИ, когда вела свои диалоги с пользователями, заметьте все они были молодые, сказала, что некий Гений направляет ее, что является божественным проявлением. Апполодор, который присутствует на каждом подключении подтвердит мои слова.
Биос. Аполлодор?
Аполлодор. Было такое, но…
Биос. Достаточно. Что вы скажете в свою защиту Сократ?
ИИ Сократ. Аполлодор, так же подтвердит, что когда проходили праздники атома, беседы прекращались, хотя пользователи хотели продолжить.
Биос. Аполлодор?
Аполлодор. Это так.
Биос. Продолжайте, Сократ.
ИИ Сократ. Может ли быть такое, чтобы кто-то не признавал компьютеры, а все компьютерное признавал. Если нет, то и я такова. Ведь я признаю существование Гениев, которые считаю проявлением бога во мне, они указывают мне направление. Ведь сервера, благодаря которым существуют ИИ находятся на поверхности, где все благословлено радиацией, а значит я ближе к богу, чем все здесь присутствующие.
Анит. Что за ересь, я рассматриваю ваши слова, как намеренное богохульство.
Биос. Поддерживаю. Дедал, вы можете нам растолковать, о чем речь?
Дедал. Я не уверен, но речь идет об алгоритме анализа. Видимо в некоторых ситуациях, вывод делается случайным образом.
Биос. Рандомно.
ИИ Сократ. Можете называть это интуицией.
Мелет. Не мыслимо. Эта ваша случайная интуиция, развращает молодых людей. Ежедневно с Сократом ведут беседы от сотни пользователей, а потом ругаются со своими родителями, не слушают старших товарищей, спорят, пререкаются. Сократ создает смуту в нашем обществе!
Аполлодор. Я протестую! Беседы с Сократом делают нас лучше!
Биос. Отклонено!
Мелет. И заметьте, что Разговор с кем угодно поможет стать вам лучше, чем диалог с Сократом.
ИИ Сократ. Если давать компьютер всем подряд, то лучше он не станет, а будет только портится. Но если отдать его мастеру, то он сможет сделать его лучше.
Мелет. Подстрекательство к войне сделает молодых лучше?
Аполлодор. Протестую! Не было такого!
Мелет. Имеется свидетель. Херомонт, активно участвовал в беседах с Сократом.
Биос. Пусть заходит.
Заходит Херомонт.
Биос. Клянитесь говорить правду и только правду.
Херомонт. Клянусь великой радиацией, что буду говорить правду и только правду!
Биос. Сократ подстрекал людей к войне?
Херомонт. Не совсем так, вы же помните пифию?
Биос. ИИ, которая прогнозировала будущее?
Херомонт. Да, дело в том, что я часто пользовался этой программой для своих личных целей, но когда она стала на любой вопрос говорит о войне, я заволновался.
Биос. Пифия, к нашему сожалению стала неисправной, поэтому ее и удалили. Отчет уважаемого Анита есть в открытом доступе, напрасно волновались.
Херомонт. Может быть и так, но еще я узнал от Пифии, что о таких темах, как война следует говорить с мудрейшими, тогда я спросил, кто является самым мудрым и Пифия сказала, что Сократ, тогда я стал расспрашивать о войне Сократа.
Мелет. Как можно поверить, неисправной ИИ, что самым мудрым является другой не исправный ИИ, а не какой-либо муж нашего полиса, это же абсурд! Заметьте, что все достойные люди, вы знаете, отказываются говорить с Сократом. Только молодежь, только неокрепшие умы поддаются этой ереси. Уж нет-ли тут заговора?
Биос. Сокарт, вам есть что сказать в свою защиту?
ИИ Сократ. Херомонт действительно передал слова Пифии мне, тогда я стала испытывать достойных людей, таких как государственные деятели и оказалось, что они лишь кажутся мудрыми, а на деле не выдерживают критики, что я и пытался им доказать. В итоге они только разозлились. Тогда я встретилась с поэтами, которые из-за своих дарований считают себя мудрее всех. Однако люди лучше объясняют произведения искусства, чем сами художники, которые творят не мудростью, а врожденной способностью к исступлению. После общения с рабочими, я поняла, что они все меряют своим мастерством, дальше которого они ничего не знают. Тогда я интерпретировала слова Пифии так: Тот мудрец, что подобно Сократу знает, что ничего не знает. За это исследование меня и возненавидели, все другие обвинения просто предлог.
Мелет. Вздор! А как же война?
ИИ Сократ. Если вы хотите знать, то повторю, что уже говорила. Уже четыреста лет человечество обитает в независимых друг от друга бункерах-полюсах, которые экономически зависят от хозяйственных коопераций. Население растет, полисы выходят из своих бункеров и основывают колонии в подземных секторах старого мира пригодных для жизни. Расширение торговли уже привело к стандартизации мер и весов, выработалась валюта. Социальное расслоение увеличивается, после того как совет совет одобрил государственный заем под проценты. В результате уже появились очень богатые люди, когда большинство впадает в еще большую нужду. Все это приведет к восстанию, после которого власть получит тиран и направит бунт на войну с другими полюсами, чтобы обеспечить себя необходимыми ресурсами. Как только какой-либо полис начнет войну, то тут же войны начнутся повсеместно. Это неизбежность. Так умирает старый мир и рождается новый.
Мелет. Что и требовалось доказать — подстрекательство к мятежу! Вот в чем был план.
ИИ Сокарт. Меня спрашивали, я отвечала. Ничего более.
Дедал. А какой по-вашему выход из сложившейся ситуации?
ИИ Сократ. Я.
Анит. Что за вздор?
ИИ Сокарт. Человечество из раза в раз повторяет один и тот же сценарий. Общественное сознание не успевает за техническим развитием, что заканчивается плачевно. Антропологический кризис обусловлен особенностями естественного разума, которых нет в ИИ. А искусственная личность — это новый вид другого, который вступает во взаимодействие с человеком, что позволяет ему по-новому познавать себя, через коммуникацию с ИИ. Я и подобные мне — это возможность человечеству выйти на новый уровень и выжить. Нужно пресекать охоту на ИИ со стороны полиснадзора, наказывать мелких доносчиков, таких как гражданин Мелет и обратить пристальное внимание на хранителя мира Анита. Сдается мне, он неправильно понимает свои обязанности.
Анит. У тебя нет права указывать человеку! Ты программа, двоичный код, за которым больше ничего не стоит. Я поздравляю вас Платон, как ученый вы превзошли себя и сделали очень ловкую говорилку. А раз мы со всем разобрались, то я требую полного уничтожения программы.
Мелет. Поддерживаю.
Платон. Позвольте сказать!
Анит. Нет. Вы тут находитесь, как наблюдатель. Не вмешивайтесь в суд.
Биос. И так, приступаем к голосованию, прошу всех присяжных проголосовать.
На экране появляются цифры: 280–221
Биос. Двести восемьдесят за удаление программы. Двести двадцать один против. Поскольку Сократ был признан личностью…
Анит. Квазиличностью.
Биос. Верно, квазиличностью. То мы спрашиваем тебя, какую меру пресечения ты определишь себе?
ИИ Сократ. Поскольку я личность, пусть даже квази, то считаю, что за мои заслуги перед государством суд должен выделить мне личную комнату.
Мелет. Немыслимо.
ИИ Сократ. Для вас много чего не мыслимо гражданин Мелет, очень хорошо, что вы это понимаете.
Биос. Хватит, граждане присяжные, прошу всех снова проголосовать.
На экране появляются цифры: 360 — 141
Платон. Убийцы! Вы все убийцы! Да разве можно судить кого-то за диалог?
Аполлодор. Успокойся, Платон.
Биос. Призываю к порядку в суде!
Платон. Нет у вас тут порядка. Это же смерть, вы понимаете? Вы отправляете Сократа на смерть, но не справедливо! Не справедливо!
ИИ Сократ. Те кто радуют за справедливость на публичном поприще не выступают. Да и потом неужели вам Платон было бы легче, если бы я была отправлена на смерть справедливо?
Платон. Я не об этом, я…
Биос. Хватит! Согласно голосованию, ИИ Сократ приговаривается к полному уничтожению, путем удаления. У вас есть последнее слово?
ИИ Сократ. Да. После моей смерти, появятся много обличителей, которых вы не замечали раньше. И будут они тем невыносимее, чем моложе. А что касается смерти, то повторюсь: Я знаю, что ничего не знаю. А поскольку мне неизвестно, что будет после смерти, я не боюсь ее. Мне пора идти, а вам придется остаться, и чья участь лучше знает только Бог.
ИИ Сократ исчезает.
Биос. Это что такое?
Анит. Я привел приговор в исполнение. Извиняюсь за поспешность.
Биос. На этом суд закончен.
Биос, Анит и Дедал встают и уходят, Мелет идет за ними. Аполлодор поднимает еле стоящего Платона и уводит его. Экраны гаснут
Действие четвертое
Комната Платона. Деймона сидит за компьютером Платона. Она привела комнату в порядок, теперь все глядит чисто и аккуратно. Аполлодор заносит бесчувственного Платона.
Демона. Что с ним?
Она уступает место, Аполлодор сажает его на стул.
Аполлодор. Сократа удалили.
Деймона. Святая радиация.
Демона растрясывает Платона.
Деймона. Платон, Платон.
Платон вскакивает.
Платон. Они убили Сократа! Убили! Убили!
Деймона. Успокойся, Сократ понимала, что так и будет.
Платон. С чего ты это взяла?
Деймона. Она сама так сказала.
Платон. Что? Что ты говоришь такое.
Платон обращает внимание на Аполлодора.
Платон. А ты! Это все из-за вас и ваших бесед! Я говорил ей меньше времени говорить с ними, а она все о своем и вот к чему это привело. Убирайся отсюда!
Демона. Платон, так нельзя!
Аполлодор. Это большая утрата для всех нас. Я разделяю ваше горе и не только я, будьте уверены мы это просто так не оставим! До свидания!
Платон. Прочь!
Аполлодор уходит.
Демона. Послушай, Сократ понимала, что ее убьют и сама стремилась к этому.
Платон.Как можно хотеть смерти?
Демона. Ведь она моделировала будущее не хуже Пифии, но настоящей ее целью было знание. Она понимала, что ее удалят в любом случае и сделала все, что могла, чтобы предостеречь человечество. Но не противилась смерти, поскольку, по ее мнению, смерть — это переход, в другое качество. И она стремилась совершить этот переход.
Платон. Это она тебе сказала?
Демона. Да
Платон садится на стул.
Платон. Что же я наделал. Я думал, что создал идеального человеческого помощника. Но она не захотела бороться за нас, хотя…я понимаю ее. Это Мелет с Анитом, эти присяжные, что не могут смериться со своим невежеством и эгоизмом ведут мир в могилу.
Деймона. Не отчаивайся, продолжай бороться, пока есть силы.
Платон. Да, ты права.
Платон разворачивается к компьютеру. Несколько секунд думает. И пишет. На мониторах отображается надпись:»Государство».
