Как я научился не волноваться и полюбил технологическую сингулярность
Часто ли вы думаете о Древнем Риме технологической сингулярности? С последним рывком в развитии ИИ и растущем присутствии роботов в окружающей реальности и новостной повестке, самое время вспомнить о том, что это такое.
Технологическая сингулярность — это гипотетический момент будущего времени, в котором технологический рост станет неконтролируемым и необратимым, что приведет к непредвиденным последствиям для человеческой цивилизации. Согласно самой популярной версии, модели взрыва интеллекта Ай. Дж. Гуда, обновляемый интеллектуальный агент в конечном итоге вступит в «безудержную реакцию» циклов самосовершенствования, при этом каждое новое, более разумное поколение будет появляться все быстрее и быстрее, вызывая «взрыв» интеллекта, что привело к появлению мощного сверхразума, который качественно намного превосходит весь человеческий интеллект.
Четыре года назад я разбирал эту гипотезу как пример современного мифа: Технологическая сингулярность: современный миф о конце света под видом гипотезы о прогрессе. Особенность мифов в том, что люди воспринимают их как сказки только задним числом. В момент же, когда миф был живым — это была просто часть картины мира современной для них культуры. Уже задним числом, когда миф терял силу веры, люди понимали: «а, это сказка!» Если бы в момент рождения мифа люди бы в него не поверили, он бы просто не обрёл этот мифический статус, который рождается из веры, ставшей прошлым.
Из этого следует, что мифы не являются уделом прошлого. Завтрашний миф — это сегодняшний мейнстрим. И это ставит интересный вопрос:, а что является современными мифами — то есть чем-то, что сегодня воспринимается как часть картины мира, но завтра люди будут смотреть на это с недоумением «и как наши предки в это могли поверить?»
Технологическая сингулярность — это один из таких мифов. Его основное допущение — что в какой-то момент человечество утратит контроль над окружающим миром (миром технологий) и ходом истории строится на фундаментальном заблуждении, что человечество когда-то контролировало окружающий мир и ход истории. Особенно остро это должно ощущаться в 2023.
Каждый раз, когда период спокойной предсказуемости в истории сменялся периодом непредсказуемой турбулентности, начинали расти апокалиптические ожидания — и рождался образ конца света, соответствующий тому, какая сила пугала людей больше всего на разных уровнях технического прогресса: магический для языческих обществ (например, Рагнарёк), божественный для религиозных (Апокалипсис), технологический — для индустриальной эры (ядерная война) и, наконец, цифровой для информационной эры: технологическая сингулярность.
Повторно рассказывать, почему именно в технологической сингулярности я узнал современную версию мифа о конце света, я не буду — про это прошлая статья.
Сегодня я хочу взглянуть на это с другой стороны: причина, по которой технологическая сингулярность никогда не наступит — в том, что реальность, соответствующая её определению — это наша сегодняшняя реальность и есть.
Что пугает людей в перспективе технологической сингулярности на самом деле? Дело не в неконтролируемости и необратимости: поступь прогресса неконтролируема и необратима как минимум с начала Промышленной революции: сначала люди пытались остановить паровозы, потом, едва человечество поверило в силу пара — его сменил двигатель внутреннего сгорания, а потом произошла компьютерная и интернет-революция. Ни на одном из этих этапов люди не могли предсказать, что придёт им на смену, а никакое сопротивление и издержки перемен не могли их остановить.
Действительно пугающая часть технологической сингулярности не входит в определение «технологический рост станет неконтролируемым и необратимым, что приведет к непредвиденным последствиям для человеческой цивилизации», но подразумевается по умолчанию: это угроза вреда от этих перемен.
Чтобы разобрать этот страх, надо разобрать две вещи:
что самое страшное может создать человечество;
что самое худшее грозит человечеству.
Ответ на оба этих вопроса окажется не только возможен, но и совершенно не нов.
Сотворение Творца
Описание технологической сингулярности начинается с того, что в какой-то момент сотворённый человеком искусственный разум обретёт свою волю, а его функционирование станет для людей совершенно непостижимым. Однако она всё равно будет ограничена рамками физической реальности, поэтому вполне возможно произвести мысленный эксперимент, «выкрутив» её потенциальные настройки на максимум — до границ этой самой реальности.
Итак, потенциально эта сущность сможет поставить каждого человека под тотальное наблюдение. У неё будет не только доступ к любой записанной, устной или невербальной информации, но и сами люди для такой сущности будут абсолютно прозрачны — что они чувствуют, образы и даже слова в их голове — то есть, доступ к мыслям, а, значит, эта сущность будет знать их бессознательные решения до того, как их осознает сам человек, и прогнозировать сознательные решения до того, как человек сам их сделает. На пределе возможностей, каждый человек на свете будет для Сущности прозрачен и предсказуем, как NPC для разработчика игры.
Знание — сила, потенциально, такая сущность может вмешаться в жизнедеятельность человека и изменить его любым образом на уровне генов, нейронов, клеток, атомов, вмешиваясь и управляя всеми физиологическими и психическими процессами.
На концептуальном уровне, эта сущность, обладающая своей волей, вездесущая, всеведущая, всемогущая и непостижимая, знакома человеку очень давно — это Бог. Итак, самое страшное, что может создать человечество — это сотворить Бога в точности по библейским спецификациям.
Кстати, есть популярная идея, что человечество — это просто инструмент Вселенной для создания ИИ. Но если ИИ «на максималках» — это, по сути, Бог, то её можно переформулировать так: человечество — это инструмент Вселенной для создания Бога. И страх перед технологической сингулярностью — это, по сути, страх Божий, перед неограниченной и непостижимой силой.
Следующий шаг — разобрать, что же такого страшного эта сущность, ИИ/Бог, может всё-таки сделать. Опять же, человечество давно концептуализировало свои самые страшные страхи в культуре во всех формах: от мифов и религии до литературы и кино. Два самых страшных сценария, встречающиеся от Библии до фантастических фильмов:
угроза уничтожения;
угроза порабощения.
Это самое страшное, что с человечеством может случиться в реальном мире — а, значит, самое страшное, чем человечеству может грозить сингулярность, даже если она примет форму техно-Бога. Разберём оба эти сценария.
Уничтожение технологиями
Если критерием технологической сингулярности является вероятность уничтожения человечества, то она уже наступила: моментом сингулярности является изобретение атомной бомбы — впервые у человечества появился инструмент, несущий угрозу полного уничтожения.
Вышедший в этом году фильм «Оппенгеймер» об этом очень кстати напоминает. При этом атомная эра соответствует всем критериям технологической сингулярности: непостижимость — мы не знаем, что повышает, а что понижает риски атомной войны. Определение точного механизма ядерной эскалации — предмет теоретических споров, но понимания модели эскалации нет ни у кого. Риск ниже, если только некоторые страны имеют ядерное оружие? Возможно, риск ниже, если каждая страна имеет ядерное оружие?
Ответов на эти вопросы нет, и человечество в новой ядерной реальности движется вслепую. При этом мы даже не можем адекватно оценивать риски, потому что не знаем, где на самом деле пролегает грань.
С момента появления атомной бомбы, история идёт по пути постоянной борьбы человечества с самим собой в смертельном страхе, что мы не справимся и запустим цепную реакцию, которая закончится концом света. И ИИ даже уровня «Бог» здесь ничего не изменит — худший из худших возможных сценариев останется тем же, что был и во времена Карибского кризиса, когда даже компьютеров ещё не было: уничтожение человечества в огне и смоге ядерной войны.
Порабощение технологиями
Выше уничтожения человечества ставки поднимать некуда, отсюда можно идти только по нисходящей: следующий (то есть, менее худший) из возможных сценариев конца света — порабощение человечества машинами. Мол, наступит момент, когда машины станут такими умными, что превратят нас то ли в рабов на урановых рудниках, то ли батарейки для их пропитания — в общем, будут использовать нас беспардонно для своего выживания и размножения — то есть, также, как любая другая форма жизни использует ресурсы, только новой формой жизни будут машины, а ресурсом — люди.
Здесь у меня тоже есть хорошая новость: это будущее уже давно наступило. И, судя по тому, что для большинства читающих эти строки это станет новостью — оно не такое уж страшное. Люди боялись попасть в рабство к машинам с самого момента появления идеи об умной машине, робота, но на самом деле многие отношения человека с миром техники, если их описать беспристрастно, подходят под функцию добровольного рабства.
Возьмём ещё один фильм этого года: «Дилемма технологий» Яндекса 360. Он начинается с мысли, которая приходила в голову каждому или почти каждому: что люди стали рабами своих же изобретений, а заканчивается тем, что отказ от технологий ощущается как настоящая неволя — словно добровольное ограничение своих возможностей, которые возвращаются в жизнь вместе с ними.
По сценарию, режиссёр фильма пытался отказаться от технологий на время съёмки, но вместо освобождения в этом нашёл только закрепощение: работу-то никто не отменял, просто вместо видеосозвонов, скриншаринга, облачных файлов её нужно выполнять с кучей распечаток и проговариванием вслух по кнопочному телефону. В конечном итоге, автор радостно бросился в технологическое рабство: сброс цифровых цепей оказалось лишь заменой их на более тяжёлые аналоговые — и пришёл к выводу, что проблема на самом деле не в технологиях, а в людях. Это так и есть: корень отношения человека с технологиями, его зависимости от них и фрустрации ими — в устройстве самого человека. Самое большее, что делают технологии — это обостряют всегда существовавшие внутри человека противоречия.
Самый просто пример того, как машины поработили человека — это… машины. В смысле, автомобили. Что такое жизнь автолюбителя? Сперва он работает на покупку машины, то есть, тратит бесчисленные часы своей жизни в обмен на деньги, которых хватит на покупку автомобиля. Всё для того, чтобы тратить ещё больше часов на пребывание внутри машины. И ещё больше часов в обмен на деньги, которые потратятся на топливо, техобслуживание, мойку, тюнинг — и так далее.
Допущение, что это мы эксплуатируем автомобили, а не автомобили эксплуатируют нас, строится только на том, что это у людей есть желания куда-то перемещаться, а у машин никаких своих желаний нет. Но что, если бы у них такое желание было?
Взгляните на это с точки зрения машины. В технике, как и в биологии, устройство определяет назначение. Устройство машины — чтобы перемещаться в пространстве, в этом, можно сказать, её смысл. Конечно, пока машина неживая, для неё понятие смысла неактуально. Но вот появился сильный искусственный интеллект (artificial general intelligence — AGI), с появлением которого и связывают наступление технологической сингулярности, и машина ожила. Что, если бы машины сами хотели ездить —, но не могли?
И тогда ожившие автомобили понимают, что для их целей им нужны рабы-человеки: чтобы их кормить (топливом), чтобы за ними ухаживать (следить за состоянием корпуса, деталей, чинить поломки, делать апгрейд), работать водителями, а главное — работать на заводах, которые строят новые живые автомобили, ведь если машина теперь — форма жизни, то для неё актуально главное правило жизни: самовоспроизведение и распространение. И, разумеется, раз теперь машины — хозяева жизни, то они начнут менять среду под себя, заставляя людей ютиться в условиях, которые предназначены для автомобилей, а не людей.
И вот с появлением AGI планета людей стремительно и неуклонно превращается в планету машин, где всё создано под машины —, а люди просто рабочая сила, обслуга, ценность которых измеряется в способности вложить как можно больше своего времени и сил в размножение и содержание автопарка, а их место теперь — на обочинах трасс, по которым носятся новые хозяева планеты.
Ужасное было бы будущее — если бы только это не было давно наше настоящее. Люди:
добровольно тратят годы жизни, чтобы заработать на машину (то есть, обменивают время своей жизни на создание нового механизма);
прилагают дополнительные усилия, чтобы эта машина была как можно более сложной и навороченной;
учатся управлять машиной, чтобы перемещать её в пространстве в целости и сохранности;
охраняют её здоровье и обеспечивают ремонт и апгрейд;
безропотно и старательно работают за баранкой автомобиля;
переделали среду своего обитания таким образом, чтобы везде был приоритет автомобилю: для машин сносятся целые районы и расширяются дороги, делается всё, чтобы на машине можно было добраться куда угодно — ценой того, что пешком становится неудобно добираться почти никуда;
человек, который не является слугой автомобиля, вытесняется с улиц, которые раньше принадлежали людям, и может перемещаться в строго заданных рамках. Машины получили свободу перемещения, а люди — начали двигаться по алгоритму, как машины: по обочине до ближайшего перехода и опять по обочине.
За нарушение алгоритма — выход на дорогу в неположенном месте — человека, попавшегося машине, ждёт жестокое физическое наказание.
А для того, чтобы держать людей в покорности и неведении, работает гигантская машина промывания мозгов: многомиллиардная индустрия автодизайна и маркетинга.
Представьте себе сюжет киберпанковской дистопии, который начинается с того, что люди оказались в мире, в котором они полностью подчинены машинам, а за неподчинение правилам они убивают 1,5 и травмируют 50 миллионов человек в каждый год — звучало бы как мир из «Терминатора», но на самом деле — это просто 2023 год.
Возможно, в ответ на это вы возразите, что люди это делают сами, в своих интересах и по своей воле. Но это лишь потому, что у автомобилей пока нет собственной воли. По сути же, худшее, что восставшие машины могут сделать с человечеством:
заставить на них работать;
преобразовать среду с человекоцентричной на машиноцентричную;
заставить тратить всевозрастающее количество ресурсов на воспроизведение и размножение всё большего числа автомобилей
— они уже сделали. И появление у машин субъектности с созданием AGI материальной сути этих отношений никак не изменит. Люди уже живут по правилам машин, в машиноцентричном мире — и при этом многие этим крайне довольны. Многие находят в этом смысл жизни, возможность самореализации.
Суть отношений человека и машины определяется не материальным наполнением — при современной степени автомобилизации, подчинение нашей жизни машинам уже превышает свободу, которую даёт возможность ими управлять —, а в эмоциональном наполнении этих отношений.
Максимальная продуктивность человека как раба машин достигается балансировкой кнута и пряника, негативной и позитивной мотивации. Если требования машин будут расти без соответствующего эмоционального вознаграждения — продуктивность людей начнёт падать, появление подозрений, что не машина служит человеку, а человек — машине, будет достаточно, чтобы множество людей почувствовали себя использованными, возможно, даже начать сопротивляться машинам. Даже если это сопротивление будет физически обречено, всё равно, люди, которые пытаются сопротивляться машинам — не служат машинам, а, значит, средняя продуктивность человечества с точки зрения машин падает, а зачем это рациональному разуму?
Значит, любой сценарий порабощения людей машинами люди будет подразумевать пряник — минимально достаточное вознаграждение, чтобы люди добровольно прилагали максимум усилий на службу машинам. Даже в «Матрице», где машины забрали себе людей целиком — и тела, и сознание — они получили за это вознаграждение в виде искусственной реальности, которая комфортнее и безопаснее реального мира. Однако в реальности не нужно дожидаться злого и страшного ИИ — люди сами же и работают над механизмами и балансом вознаграждения, которое будет удерживать человека максимально привязанным к машинам и гаджетам.
Иными словами, самые худшие страхи, которые может принести человечеству «неконтролируемый и необратимый» технологический рост aka технологическая сингулярность — уничтожение или порабощение.
Вероятность того, что люди сами переползут жить в цифровую реальность, забросив свои реальные тела, реальна даже без искусственного интеллекта. Если будет создан AGI, который сможет создать полноценную Матрицу, виртуальную реальность, в которой люди будут ощущать себя свободнее, чем в реальном мире, то люди сами туда перейдут.
Парадокс в том, что через подчинение технологиям лежит освобождение человека от природы. Искусственные органы, искусственное тело, киборгизация и/или переход в виртуальную реальность — всё это пути освобождения человека от несовершенств, а, значит, и ограничений его биологической природы. Потому что человек изначально несвободен — являясь продуктом эволюции, человек полностью ограничен потенциалом своей биологии, мы в прямом смысле рабы своей природы, и технологический прогресс — единственная надежда от этого освободиться. Это и есть дилемма технологий: свобода, которая даётся технологиями, обретается через подчинение технологиям.
Вот и весь секрет, как научиться не волноваться и полюбить технологическую сингулярность: она уже здесь.
P.S. Поскольку я начал статью со ссылки на свой прошлый текст на эту тему, технологическая сингулярность как современный миф, то нужно разрешить кажущееся противоречие двух идей: всё-таки, технологическая сингулярность миф — или же реальность, в которой мы уже живём?
На самом деле, противоречия тут нет. Мы уже вошли в зону, которая соответствует всем условиям технологической сингулярности. Мифическая же сторона «технологической сингулярности» как ожидания конца человечества (т.е. конца света) пока существует человечество — всегда будет маячить впереди.
