Вы, конечно, шутите, мистер Нейман! Страшная сказка о серой слизи
Под конец работы над моей последней сентябрьской публикацией «Неизбежность, незаменимость и туманные перспективы пилотируемой космонавтики» я даже полагал, что она может получиться упаднической. Тем не менее, активное обсуждение (83 комментария) явно приглашает к продолжению этой темы, куда более футуристичному и тревожному. Дело в том, что организованное освоение ближайшего космоса при помощи умных зондов предполагает огромную избыточность в количестве этих зондов. Например, при потенциальных поисках первичной чёрной дыры на задворках Солнечной системы многие зонды придётся просто швырять в пустоту, чтобы «нащупать» интересующий нас объект. Очевидно, чтобы живучесть таких автономных зондов была чуть выше проектной, они должны каким-то образом самозалечиваться (самозалечивающаяся электроника уже существует), а также реплицировать себя в потенциально неограниченных количествах. Здесь мы подходим к теме полноценных зондов фон Неймана и пресловутой «серой слизи».
Репликаторы и ассемблеры
Зонды фон Неймана — характерный пример гипотетического расширения чисто математической модели, предложенной в конце 1940-х годов. Джон фон Нейман и Станислав Улам познакомились в ходе реализации «Манхэттенского проекта», а после войны оба интересовались теорией клеточных автоматов. Клеточный автомат — это простая программа, предназначенная для самовоспроизведения во множестве копий. Самым известным симулятором клеточных автоматов является игра «Жизнь», изобретённая Джоном Конвеем в 1970 году. В ней клеточные автоматы разной формы размножаются, вытесняют друг друга и завоевывают жизненное пространство по законам дарвиновской эволюции. Более поздняя «аппаратная» версия такого робота рассмотрена в книге Эрика Дрекслера «Машины создания. Грядущая эра нанотехнологий», вышедшей в 1986 году. В русском переводе этой книги такие машины называются «ассемблерами», а по основной функции такую машину также удобно называть «репликатором». Позже в научной фантастике закрепился термин «машина фон Неймана», , а в контексте беспилотных исследований и колонизации космоса — «зонд фон Неймана». Зонд фон Неймана одновременно является репликатором, так как может в неограниченном количестве воспроизводить собственные копии, а также ассемблером, поскольку подходит для конструирования чего угодно — от микрочипов до военных космических кораблей.
Итак, репликатор — это автономный робот, способный (запрограммированный) собирать собственные копии из окружающего вещества. Однако это наиболее примитивная и бесполезная функция репликатора, которая сразу же сталкивается с естественным ограничением: репликатор может работать, лишь пока обладает достаточной энергией для саморепликации и материалом, из которого может наращивать «рой». Допустим, если в состав репликатора входят редкие металлы, кремний, медь или обычный пластик — естественно, он не может производить себя из песка или из воздуха. Поэтому такие машины могут наращивать свой «рой» только в период бесперебойной ресурсной подпитки. Более того, сложно представить, какой должна быть вычислительная быть вычислительная мощность отдельной единицы «роя», чтобы такие репликаторы могли делать «что угодно» и сравниться в функциональности хотя бы с современным 3D-принтером. Скорее всего, ранние «поколения» репликаторов могли бы воспроизводить только сами себя. Но, если придерживаться концепции «зонда фон Неймана», то есть, самовоспроизводящегося космического корабля (пусть даже миниатюрного), то обычного самокопирования недостаточно. Вероятно, такой репликатор должен «уметь»:
Добывать материалы для производства себе подобных, а также определять, есть ли поблизости нужные материалы в нужном количестве;
Ремонтировать сам себя и/или другие зонды в составе «роя»;
Выключать или перерабатывать/уничтожать неисправные экземпляры;
Принимать решение о необходимости синтезировать новый экземпляр робота;
4а. Решение о сборке нового робота может подразумевать как единичную операцию (для восстановления необходимого «минимума» особей в рое), так и массовое размножение — например, для выполнения более масштабных задач или для для заблаговременного пополнения роя с учётом вероятных близких больших потерь.
Ранее я писал на Хабре про «тёмные фабрики» (так называются практически полностью автоматизированные производства, в работе которых человек участвует лишь удалённо, либо вахтовым методом), но вплоть до настоящего времени не удаётся предложить коммерчески выгодный процесс, при котором роботы конструировали бы сами себя. Кроме того, автономная самосборка ассемблеров, по-видимому, могла бы идти без нарушения второго закона термодинамики (т.е., уменьшать, а не увеличивать общую энтропию) лишь при активном потреблении энергии извне.
Всё это сближает потенциальный рой роботов-ассемблеров с живой материей и биологической популяцией, , а значит, оставляет серьёзную возможность, что рой мог бы эволюционировать (или вырождаться) по законам дарвиновского «выживания наиболее приспособленных». В этом такой рой удивительно сближается с тучами металлических «мушек», одолевших сухопутную биологическую жизнь в романе Станислава Лема «Непобедимый». Сценарий «Непобедимого», вероятно, возможен лишь при катастрофическом выходе популяции из-под контроля, но для зарождения популяции необходим либо разумный инженер, либо сильный искусственный интеллект (Artificial General Intelligence). Давайте прикинем, на что в принципе должны быть способны единицы роя, чтобы элементарно поддерживать размеры популяции, а тем более — выполнять полезную работу.
Продолжая аналогию с «Жизнью» Конвея, предположим, что ассемблеры должны быть в состоянии собирать стереотипные экземпляры самих себя, а также экземпляры с вариациями. Вариации нужны для того, чтобы оборудовать инфраструктуру для добычи ресурсов, среду обитания (например, укрытия, а при нахождении в космосе — миниатюрный аналог сферы Дайсона. Если отдельные машины оставались бы микроскопическими, то эта «сфера» могла бы напоминать такую колонию одноклеточных, как вольвокс). Важнейшая функция зондов фон Неймана могла бы заключаться в подготовке баз или экосистем на потенциально жизнепригодных планетах, куда вслед за зондами могла бы направиться пилотируемая экспедиция.
Этика и восстание машин
Обрисованная выше диспозиция, по-видимому, однозначно свидетельствует, что полезный рой фон неймановских машин должен обладать отлаженным, пусть и ограниченным искусственным интеллектом. С одной стороны, рой должен выполнять ту работу, для которой создан, с другой — заботиться о собственном сохранении, координации и при необходимости — пополнении рядов. В случае с фон неймановскими космическими зондами вся эта деятельность должна быть организована как целиком автономная, и при этом не привести к неповиновению роботов. Притом, что «четыре закона робототехники» являются чисто литературным приёмом, а не условиями ТЗ, машинная этика применительно к машинам фон Неймана, должна запрещать, как минимум:
Намеренное причинение вреда людям
Намеренную агрессию по отношению к машинам и механизмам с целью завладеть их энергией или материалами для приумножения роя
Быстрое неконтролируемое размножение сверх заданного максимума
Теломеры для роботов
С учётом нынешних темпов развития робототехники, искусственного интеллекта, а также с учётом указанных параллелей между роем репликаторов и клеточной культурой, мы не можем выпускать такие аппараты в дикую природу и тем более — в космос, не будучи уверенными, что сможем остановить их пролиферацию. В 2022 году Алекс Эллери, возглавляющий кафедру космической робототехники на факультете машиностроения и аэрокосмической инженерии в Карлтонском университете (Оттава) опубликовал в астробиологическом журнале статью «Curbing the fruitfulness of self-replicating machines» (Ограничение плодовитости самовоспроизводящихся машин). В ней он аргументирует, что зонды, которые могли бы распространиться по всей галактике Млечный Путь, определённо должны быть поколенческими — то есть, размножаться в пути. Чтобы эта функция работала, но не вызвала нежелательных последствий, Эллери предлагает вводить для роботов-репликаторов репродуктивный предел, аналогичный пределу Хейфлика. Этот феномен был открыт в 1961 году Леонардом Хейфликом (род. 1928), обнаружившим, что человеческая клетка начинает проявлять признаки старения примерно после 50 делений, а после 52 делений, как правило, умирает. У некоторых соматических клеток предел Хейфлика достигает 70 и даже 72 делений, а у стволовых клеток крови — 82. Именно бесконтрольное деление сверх предела Хейфлика — это эволюционная адаптация раковых клеток, приводящая к разрастанию опухолей. В 1951 году была получена уникальная клеточная линия HeLa, взятая у Генриетты Лакс, вскоре умершей от рака шейки матки. Клетки HeLa считаются бессмертными и продолжают активно делиться по сей день, поскольку выделяют теломеразу — фермент, наращивающий теломеры.
Теломеры — это кончики хромосом, укорачивающиеся после каждой итерации клеточного деления. По форме теломеры напоминают кончики шнурков от обуви. Как только такой кончик сотрется, ДНК также размочалится и придёт в негодность. После того, как теломер укорачивается до эволюционно выработанного предела, включается апоптоз (запрограммированная смерть клетки).
Эллери проводит аналогию с теломерами и апоптозом и предполагает, что зонды фон Неймана должны оснащаться «запоминающими модулями», которые будут функционально подобны как ДНК, так и теломерам. Такие модули могут представлять собой объёмную совокупность намагниченных запоминающих ячеек, в каждой из которых в двоичном коде записаны «генетические инструкции». В ходе репликации «родительская» машина скопирует эти инструкции во все «дочерние» машины, и цифровые теломеры в следующем поколении укоротятся.
В данном случае теломеры могут быть реализованы как физическая линия ячеек памяти, подаваемая в тот массив памяти, который затем потребуется читать. Количество ячеек в этой линейке соответствует пределу Хейфлика (в каждом поколении укорачивается).
Если же такой апоптоз в некоторой «клеточной линии» ассемблеров собьётся, то популяция роботов начнёт неконтролируемо расти — возможно, не очень быстро. Но растущая популяция будет нуждаться в постоянном притоке ресурсов, возможно, довольно экзотических (например, в редкоземельных металлах). Можно себе представить, что в таком случае «взбунтовавшийся» рой мог бы атаковать другие рои репликаторов, технику, содержащую нужные вещества в нужной концентрации, а также целые астероиды или планеты. Именно на фоне таких опасений Дрекслер в вышеупомянутой книге впервые предложил концепцию «серой слизи» (gray goo) — технологической катастрофы, при которой роботы-репликаторы превращают в себя всё доступное неорганическое и органическое вещество. Сценарий «серой слизи» попадает в рамки возможного при выполнении ещё, как минимум, двух условий, дополнительно к бесконтрольному размножению роя. Вот они:
1) Единицы роя должны быть наноразмерными молекулярными машинами (наноботами)
2) Основа роя должна быть углеродной (возможно, графеновой) или кремниевой
Липкая серая масса
Итак, теоретически возможно фатальное сочетание искусственного интеллекта, генной инженерии, реализованной/воспроизведённой на небиологическом носителе, и искусственного интеллекта, при котором молекулярные машины-репликаторы стали бы пролиферировать как мелкоклеточный рак. Если автономные наноботы состояли бы преимущественно из углерода и его соединений, то могли бы с минимальными затратами энергии наращивать популяцию, перерабатывая биомассу и запасы ископаемого топлива. Такой рой наноботов мы далее будем называть «серой слизью», а переработку вещества в увеличивающуюся массу роя — «экофагией». Вот как сформулировал данную проблему сам Дрекслер в своей книге (перевод Михаила Свердлова):
Ранние компьютеры, построенные на транзисторах, вскоре обошли самые лучшие компьютеры на электронных лампах, потому что они были сделаны из устройств более высокого уровня. По той же причине, ранние репликаторы, построенные на ассемблерах, могли бы обойти самые совершенные из современных организмов. «Растения» с «листьями» не более эффективными, чем сегодняшние солнечные элементы, могли бы выиграть конкуренцию у настоящих растений, наводняя биосферу несъедобной листвой. Однако, всеядные «бактерии» могли бы выиграть конкуренцию у настоящих бактерий: они могли бы распространиться как летящая пыльца, стремительно размножаясь и сведя биосферу в пыль за считанные дни. Опасные репликаторы могли бы легко быть слишком жесткими, маленькими и быстро распространяющимися, чтобы их остановить — по крайней мере если мы не сделаем никаких приготовлений. У нас достаточно проблем с контролем над вирусами и фруктовыми мушками.
Среди знатоков нанотехнологии эта угроза стала известна как «проблема серой липкой массы». Хотя массы бесконтрольных репликаторов не обязательно должны быть серыми или липкими, термин «серая липкая» подчеркивает, что репликаторов, способных уничтожить жизнь, может быть меньше в шприце, чем одного вида травяных жучков. Они могли бы быть «высшими» в эволюционном смысле, но это не обязательно сделало бы их ценными. Мы научились любить мир богатым живыми тварями, идеями, и разнообразием, так что не причины ценить серую массу только за то, что она может распространяться. Действительно, если мы предотвратим ее размножение, тем самым мы докажем наше эволюционное превосходство.
Угроза серой липкой массы делает одну вещь совершенно очевидной: мы не можем себе позволить определенные виды случайностей с размножающимися ассемблерами.
Безусловно, с бионической точки зрения модель бактериальной культуры — наиболее удобный образец, по которому можно создать рой наноботов, реализовав в нём, в частности, горизонтальный перенос генов и чувство кворума. Модель бактериальной культуры тем более привлекательна, если рой наноботов создаётся как оружие (массового поражения) и должен распространяться как эпидемия. По некоторым причинам (среди которых — обеспечение электропроводимости), затрагиваемым в этой статье, такой рой мог бы быть основан на жидком металле и, кстати, как раз напоминал бы серые биоплёнки. Но с химической точки зрения углерод выигрывает у металлов, так как из него можно формировать и длинные цепочки, и кольца. В кольцах наподобие бензольных и ароматических удобно хранить энергию, высвобождаемую при разрыве кольца.
Химия серой слизи
В той трактовке нанотехнологий, где базовым элементом для их развития полагается углерод, ключевая роль отводится алмазоподобным кристаллическим решёткам. Главный минерал этого класса, встречающийся в природе — адамантан C10H16. Подобные вещества не только отличаются высокой прочностью, но и, подобно фуллеренам, могут служить «клетками», в которых заключались бы атомы других элементов или даже мельчайшие вычислительные машины. Другим важным материалом мог бы быть оксид алюминия Al2O3, образующий лёгкие и самозалечивающиеся антикоррозионные плёнки. Для Наконец, для работы с адамантанами был бы незаменим карбид титана TiC. Это чрезвычайно крепкая металлокерамика (9–9,5 по шкале Мооса) с температурой плавления 3160 °C. Ни один из этих элементов кроме углерода не присутствует в биомассе в «промышленных количествах». Вероятно, наноботы должны быть ориентированы, прежде всего, на переработку литосферы (и залежей нефти), а лишь потом — живой материи. Однако при неконтролируемом размножении фон неймановского роя на Земле биомасса, скорее всего была бы для него лакомым ресурсом в силу высокого содержания углерода и лёгкости его извлечения.
Конструктор фон Неймана: жизненно важные функции
При всей маловероятности скатывания нанотехнологий в форму серой слизи, можно предположить, что для реализации такого сценария должны совпасть следующие факторы:
Наличие источника бесперебойной энергии: вероятно, в таком качестве подошла бы обычная химическая энергия углерода, но, согласно некоторым исследованиям, наноботы могли бы питаться магнитными полями. Солнечная энергия в данном случае не подойдёт из-за неизбежных перебоев с нею, а атомная — из-за быстрого отягощения роботов продуктами распада. Пока мы не в состоянии создать микро- или нанобатарею, или вообще достаточно компактное или универсальное хранилище энергии. Возможно, этот фактор — один из ключевых, пока отделяющих нас от создания серой слизи.
Локомоция: роботы в составе роя должны быть крайне мобильны (стремительны), так как они будут постоянно испытывать дефицит энергии, сближаясь в этом с насекомыми и мелкими теплокровными, а также быстро расходовать доступный «питательный материал». Вероятно, в рое возможна специализация — расслоение на «фуражиров», «ремесленников» и «нервную систему» роя. Не менее интересный сценарий — разделение функций по образцу клеток крови: эритроциты (носители энергии и генетического материала), лейкоциты (боевое/иммунное крыло) и тромбоциты (ремонтники/уборщики/могильщики). Вероятно, рой должен хорошо уметь летать, плавать и защищать свой периметр.
Химический анализ: по вышеописанным причинам рой должен максимально оперативно анализировать окружающее вещество, возможно, по следовым количествам или даже по спектру пламени.
Геология и геологоразведка: рою придётся активно забуриваться в грунт и твёрдые породы, желательно не теряя при этом связи между группами наноботов и не неся потери. Переплавка и перегонка также должны происходить in situ при поддержании нужных температур и давления (вероятно, очень высоких).
Производство и ремонт: получение сплавов, пластика и микросхем буквально «на лету»
Сборка деталей: в данном отношении рой, вероятно, должен работать по аналогии с распределённым 3D-принтером с чёткой специализацией особей, каждый вид которых наиболее приспособлен к работе со своим классом молекул (органика, сплавы, кристаллы)
Хранение жизненно важной информации: здесь мы подходим к вышеупомянутому «феномену ДНК». Нанобот должен, как минимум, содержать «чертежи самого себя», «чертежи других классов наноботов», так как эти наноботы, возможно, придётся собирать или ремонтировать, «алгоритм кворумного чувства», «алгоритмы роевого поведения», «данные о субординации», «данные об окружающей среде и способах ее адаптации под нужды роя».
Принятие решений и, возможно, высшая нервная деятельность: эти функции связаны с обеспечением размножения, выживания и распространения популяции, а также с реагированием на непредвиденные вызовы. Эти функции нужны, в том числе, для конкуренции с другими машинами и для сдерживания энтропии, но именно они вряд ли могут сформироваться спонтанно — за их базовую реализацию отвечают создатели роя.
Заключение
Несмотря на кажущуюся умозрительность, я отнёс бы такой сценарий всего лишь к первому классу невозможностей по классификации Митио Каку. В этой статье я стремился показать, насколько опасны могут быть мутации и самопроизвольный запуск естественного отбора в рое роботов-ассемблеров. Как и в биологической эволюции, в большинстве своём такие мутации должны оказаться бесполезными или патологическими, но, учитывая неуловимость отдельных наномашин, такие мутации будет очень сложно выявить и купировать. С интересом жду реакции Хабра на изложенные соображения, надеюсь, что немного поспособствовал популяризации идей Дрекслера. Тема не исчерпана, и я надеюсь к ней вернуться, если дискуссия будет к тому располагать.
