[Перевод] Землю унаследуют роботы?

gn_4ckcvskmkclztv_1ch2kr9zk.jpeg Говорят, обещанного три года ждут. Вот и я в комментарии к статьеvmb обещала перевести главу из книги Zero Day, но пока собиралась — всю книгу уже перевели. Так что выкладываю тут перевод статьи Марвина Л. Мински о будущем и развитии человека. За наводку на статьи Мински спасибо MagisterLudi

(Scientific American, Oct, 1994 with some minor revisions)

Введение


«Кто рано ложится и рано встает, здоровье, богатство и ум наживет» — Бен Франклин.


Все хотят мудрости и богатства. К сожалению, здоровье нас подводит до того, как мы успеваем достичь их. В будущем для продления продолжительности жизни, развития умственных способностей нужно будет заменить тело и мозг. Но сначала нужно понять как дарвиновская эволюция привела нас туда, где мы есть. Затем представить каким образом замена изношенных частей тела может решить большую часть проблем со здоровьем. Затем придумать стратегию увеличения мозга для обретения мудрости. В конце концов мы сможем полностью заменить мозг — с помощью нанотехнологий. Как только мы избавимся от ограничений, наложенных биологией, мы сможем выбирать продолжительность жизни — вплоть до бессмертия — наряду с другими невообразимыми возможностями.

В таком будущем достижение богатства — больше не проблема, проблема — в контроле. Конечно, подобные изменения трудно представить, и многие исследователи спорят возможен ли такой прогресс — особенно в области искусственного интеллекта. Но науки, необходимые для принятия этих изменений, уже находятся в процессе становления, и настало время подумать о том, каким будет этот новый мир.

Здоровье и продолжительность жизни


Такое будущее не может быть реализовано путем улучшения биологии. Мы узнали о здоровье и его поддержании относительно недавно. Сейчас есть сотни лекарств от различных болезней и недугов. Но не похоже, что мы достигли максимума продолжительности жизни. Франклин прожил 84 года и никто, не считая мифы и легенды, не прожил в два раза больше. Согласно оценкам Роя Уолфорда, профессора патологии Медицинской школы UCLA, средняя продолжительность жизни человека в Древнем Риме составляла около 22 лет; около 50 — в развитых странах в начале 20-го века и сейчас составляет примерно 75 лет. Но похоже каждая кривая обрывается на 115 годах. Улучшение ситуации в сфере охраны здоровья за все это время не повлияло на этот максимум.

zjqc03setypxfhv3pbzh5fdeesm.gif

Почему продолжительность жизни ограничена? Ответ прост: естественный отбор отдает предпочтение генам потомства. Их количество растет экспоненциально с ростом количества поколений — таким образом преимущество у видов с ранним началом репродуктивного цикла. Эволюция обычно не благоприятствует генам, удлиняющим жизнь больше того времени, которое взрослые должны заботиться о своих детях. И может даже способствовать потомству, которому не нужно конкурировать с живыми родителями. Такая конкуренция может способствовать накоплению генов, которые вызывают смерть.

Например, после нереста средиземноморский осьминог (О. Хуммельлинки) быстро прекращает есть и умирает от голода. Если удалить определенную железу осьминог продолжает есть и живет в два раза дольше. Многие другие животные запрограммированы на смерть после прекращения размножения. Исключение составляют долгоживущие животные, такие как мы и слоны, чье потомство так много узнает от социальной передачи накопленных знаний.

Люди самые долгоживущие теплокровные. Как давление отбора могло привести к нашему нынешнему долголетию, вдвое большему, чем у других приматов? Это связано с мудростью! Из всех млекопитающих наши младенцы наименее приспособлены к выживанию. Возможно нам нужны не только родители, но и бабушки с дедушками, чтобы заботиться и передавать знания.

Но даже с этими знаниями трудно избежать смерти. Некоторые случаи связаны с инфекциями. Наша иммунная система разработала универсальные способы борьбы с большинством инфекций. К сожалению, иммунная система может принять разные части организма за захватчика. Подобная слепота с ее стороны ведет к таким заболеваниям как диабет, рассеянный склероз, ревматоидный артрит и другим.

Мы можем получить тяжелые травмы. Несчастные случаи, нарушение диеты, отравление, жар, радиация и другие воздействия могут изменять или деформировать молекулы внутри клеток. Некоторые ошибки исправляются путем замены дефектных молекул. Но при слишком медленной скорости восстановления ошибки накапливаются. Например, когда хрусталик глаза теряет эластичность мы теряем способность фокусироваться и нуждаемся в бифокальных очках — одном из изобретений Франклина.

Основные причины смерти — наследственные. Это гены ответственные за сердечно-сосудистые заболевания и рак — две основные причины смертности, а также множество других расстройств, таких как кистозный фиброз и серповидноклеточная анемия. Новые технологии должны быть в состоянии предотвратить подобные нарушения, заменив гены.

Хуже всего то, что мы страдаем от недостатков, присущих нашей генетической системе. Связь между генами и клетками опосредована, нет чертежей по которым гены строят или восстанавливают наше тело. Как только мы узнаем о генах больше, мы сможем исправить или отложить наступление возрастных изменений.

Скорее всего старение неизбежно для всех организмов. Конечно, некоторые виды рыб, черепах и омаров не показывают признаков старения с возрастом, они умирают от внешних причин — нападения хищников или голода. Тем не менее у нас нет записей о животных старше 200 лет, но это не значит, что таких животных не может быть. Уолфорд и другие ученые считают, что особым образом разработанная диета, ограниченная по калориям, может значительно увеличить продолжительность жизни, но увы не предотвратить смерть.

Биологический износ


Как только мы узнаем о генах больше, мы сможем исправить или отложить наступление возрастных изменений. Но даже если бы было лекарство от каждого заболевания, все равно пришлось бы решать проблему «изнашивания». Нормальное функционирование клетки вклюает в себя тысячи химических процессов, в каждом из которых иногда происходят ошибки. Тело использует множество методов коррекции ошибок, но ошибки происхоят множеством различных способов, так что ни одна низкоуровневая система не может исправить их все.

Проблема в том, что наши генетические системы не были рассчитаны на долгосрочное обслуживание. Связь между генами и клетками чрезвычайно косвенна; нет чертежей или карт по которым гены строят или восстанавливают тело. Чтобы восстановить дефекты в больших масштабах, организму понадобится какой-то каталог, в котором указываются, какие типы клеток должны быть там расположены. В компьютерных программах легко создать такую ​​избыточность. Многие компьютеры поддерживают резервные копии своих наиболее важных «системных» программ и регулярно проверяют их целостность. Однако никакие животные не эволюционировали как схемы, по-видимому, потому, что такие алгоритмы не могут поддерживаться естественным отбором. Проблема в том, что исправление ошибок затем прекратит мутацию, что в конечном итоге замедлит темпы эволюции потомков животного настолько, что они не смогут адаптироваться к изменениям среды.

Можем ли мы жить несколько веков, просто изменив некоторое количество генов? В конце концов, мы теперь отличаемся от наших эволюционных родственников, горилл и шимпанзе всего несколькими тысячами генов — и все же мы живем почти в два раза дольше. Если предположить, что только небольшая часть этих новых генов вызвала увеличение продолжительности жизни, то, возможно, было задействовано не более сотни таких генов. Тем не менее, даже если бы это оказалось правдой, то не гарантировало бы, что мы могли бы получить еще один век жизни, изменив еще сто генов. Возможно, нам нужно будет изменить лишь некоторые — или, возможно, гораздо больше.

Ограничения человеческой мудрости


Думаю еще до того, как наши тела износятся, мы столкнемся с ограничениями нашего мозга. Как вид, мы, похоже, достигли плато в нашем интеллектуальном развитии. Нет никаких признаков того, что мы становимся умнее. Был ли Альберт Эйнштейн лучшим ученым, чем Ньютон или Архимед? Превосходит ли какой-нибудь драматург последних лет Шекспира или Еврипида? Мы многому научились за две тысячи лет, но до сих пор не превзошли античную мудрость, что заставляет меня подозревать, что мы не добились большого прогресса. Мы до сих пор не знаем, как бороться с конфликтами между целями отдельных людей и глобальными интересами. Мы так плохи в принятии важных решений, что постоянно в чем-то неуверены.

Почему наша мудрость настолько ограничена? Это потому, что у нас нет времени учиться или у нас недостаточно возможностей? Или потому, что, как в популярном мифе, мы используем лишь часть нашего мозга? Может ли помочь улучшение образования? Конечно, но только до определенного момента. Даже наши лучшие вундеркинды учатся не более чем в два раза быстрее, чем все остальные. Мы так долго учимся, потому что наш мозг ужасно медлителен. Это, безусловно, даст больше времени, но только долголетия недостаточно. Мозг, как и другие конечные вещи, должен достичь определенных пределов того, чему он может научиться. Мы не знаем, каковы эти ограничения; возможно, наш мозг может продолжать учиться еще несколько веков. Однако в конечном итоге нам нужно будет увеличить его потенциал.

Чем больше мы узнаем о мозге, тем больше сможем его улучшить. Каждый мозг имеет сотни специализированных частей. Мы знаем лишь немного о том, что делает каждая из них, но как только мы узнаем, как работает какая-либо часть, исследователи попытаются разработать способы расширения её возможностей. Они также узнают совершенно новые способности, которые биология никогда не предоставляла. По мере накопления этих знаний мы попытаемся связать их с мозгом — возможно, через миллионы микроскопических электродов, вставленных в большой нервный пучок, называемый мозолистым телом — самую большую шину данных в мозге. С дальнейшими достижениями, любая часть мозга будет доступна для прикрепления новых аксессуаров. В конце концов, мы найдем способы заменить каждую часть тела и мозга — и, таким образом, устранить все те недостатки, которые делают нашу жизнь такой краткой.

Излишне говорить, что при этом мы будем превращаться в машины.

Означает ли это, что машины нас заменят? Я не чувствую, что есть смысл говорить о «нас» и о «них». Я разделяю мнение Ханса Моравека из Университета Карнеги-Меллона, который предлагает считать эти будущие умные машины нашими собственными «разумными детьми».

Раньше мы, как правило, считали себя конечным продуктом эволюции, но наша эволюция не прекратилась. В самом деле, мы сейчас развиваемся быстрее, хотя и не обычным дарвиновским способом. Настало время начать думать о нашем новом формирующемся облике. Теперь мы можем проектировать системы на основе новых видов «искусственного отбора», которые могут использовать планы и цели, а также наследование приобретенных характеристик. Для эволюционистов потребовалось столетие, чтобы научиться избегать таких идей — биологи называют их «телеологическими» и «ламаркианскими», —, но теперь нам, возможно, придется изменить эти правила!

Замена мозга


Почти все знания, которые мы накапливаем, воплощены в различных сетях внутри нашего мозга. Эти сети состоят из огромного количества крошечных нервных клеток и еще большего числа небольших структур, называемых синапсами, которые контролируют то, как сигналы переходят от одной нервной клетки к другой. Для замены мозга, нам нужно будет узнать о том, как каждый из синапсов относится к двум клеткам, которые он соединяет. Мы также должны узнать, как каждая из этих структур реагирует на различные электрические поля, гормоны, нейротрансмиттеры, питательные вещества и другие химические вещества, которые при этом задействованы. Ваш мозг содержит триллионы синапсов, поэтому это непростая задача.

К счастью, нам не нужно знать все детально. Если бы это было так, наш мозг не смог бы работать. В биологических организмах, как правило, каждая система эволюционировала, чтобы быть нечувствительной к большинству деталей относительно того, что происходит в небольших подсистемах, от которых она зависит. Поэтому, чтобы скопировать функциональный мозг, должно быть достаточно воспроизвести только необходимую функцию каждой части, чтобы произвести ее важные воздействия на другие части.

Предположим, что мы хотели скопировать машину, например, мозг, содержащий триллион компонентов. Сегодня мы не смогли бы сделать такую ​​вещь (даже если бы обладали необходимыми знаниями), если бы нам приходилось составлять каждый компонент отдельно. Однако, если бы у нас было миллион строительных машин, каждая из которых могла бы построить тысячу частей в секунду, задача бы заняла всего несколько минут. В последующие десятилетия новые машины сделают это возможным. Большинство современных производств основаны на формовании сыпучих материалов. Напротив, область деятельности под названием «нанотехнология» нацелена на сбор материалов и машин путем размещения каждого атома и молекулы именно там, где мы этого хотим.

С помощью таких методов мы могли бы сделать абсолютно одинаковые части — и, таким образом, избежать случайности, которая мешает традиционным машинам. Сегодня, например, когда мы пытаемся травить очень мелкие схемы, размеры проводов меняются настолько, что мы не можем предсказать их электрические свойства. Однако, если мы сможем точно определить каждый атом, то эти провода будут неразличимы. Это приведет к появлению новых видов материалов, которые современные технологии не могут сделать; мы могли бы наделить их огромной силой или новыми квантовыми свойствами. Эти продукты, в свою очередь, приведут к тому, что компьютеры будут такими же маленькими, как синапсы, имея беспрецедентную скорость и эффективность.

Как только мы сможем использовать эти методы для создания универсальной сборочной машины, которая работает в атомных масштабах, дальнейший прогресс должен стать быстрее. Если на такую ​​машину понадобилась одна неделя, чтобы сделать копию её самой, тогда мы могли бы иметь миллиард экземпляров менее чем за год.

Эти устройства преобразуют наш мир. Например, мы могли бы запрограммировать их для изготовления эффективных устройств сбора солнечной энергии и применять к близлежащим поверхностям для получения энергии. Таким образом, мы можем выращивать поля микрозаводов во многом также, как мы сейчас выращиваем деревья. В таком будущем у нас будет мало проблем с достижением богатства, сложность будет в том, чтобы научиться управлять им. В частности, мы всегда должны быть осторожны, когда имеем дело с вещами (такими как мы сами), которые могут воспроизводить себя.

Пределы человеческой памяти


Если мы хотим рассмотреть возможность увеличения мозга, нужно понять сколько человек знает сегодня. Томас К. Ландауэр из Bell Communications Research рассмотрел множество экспериментов, в ходе которых людей просили прочитать текст, посмотреть на фотографии и послушать слова, предложения, короткие фрагменты музыки и бессмысленные слоги. Затем их протестировали различными способами, чтобы узнать, как много они помнят. Ни в одной из этих ситуаций люди не могли научиться, а затем запомнить, больше чем примерно 2 бита в секунду в течение любого промежутка времени. Если бы вы могли поддерживать эту скорость в течение двенадцати часов каждый день в течение 100 лет, общая сумма составила бы около трех миллиардов бит — меньше, чем то, что мы можем хранить сегодня на обычном 5-дюймовом компакт-диске. Примерно через десять лет эта сумма соответствовала бы одному компьютерному чипу.

Хотя эти эксперименты не очень напоминают то, что мы делаем в реальной жизни, у нас нет никаких убедительных доказательств того, что люди могут учиться быстрее. Несмотря на популярные легенды о людях с «фотографической памятью», никто, кажется, не освоил, слово в слово, содержание всего-то ста книг — или одной крупной энциклопедии. Полные произведения Шекспира составляют около 130 миллионов бит. Предел Ландауэра подразумевает, что человеку потребуется не менее четырех лет, чтобы запомнить их. У нас нет обоснованных оценок того, сколько информации нам требуется для выполнения таких навыков, как живопись или катание на лыжах, но я не вижу причин, по которым эти действия не должны быть одинаково ограниченными.

Считается, что мозг содержит порядка сотни триллионов синапсов, что оставляет достаточно места для нескольких миллиардов бит воспроизводимых воспоминаний. Когда-нибудь будет возможно построить хранилище для такого объема размером с горошину, используя нанотехнологии.

Будущее интеллекта


Как только мы узнаем, что нам нужно сделать, наши нанотехнологии должны позволить нам создавать замену органов и мозга, которые не будут ограничены в работе темпом «реального времени». События в компьютерных чипах уже происходят в миллионы раз быстрее, чем в клетках мозга. Следовательно, мы могли бы спроектировать наших «мыслящих детей» в миллионы раз быстрее, чем мы. Для такого существа полминуты будут годом, а каждый час — целой человеческой жизнью.

Но могут ли такие машины существовать? Многие мыслители твердо утверждают, что у машин никогда не будет таких мыслей, как у нас, потому что, независимо от того, как мы их построим, у них всегда будет недостаток жизненно важного ингредиента. Они называют эту сущность различными именами — такими, как чувство, сознание, дух или душа. Философы пишут целые книги, чтобы доказать, что из-за этого недостатка машины никогда не смогут чувствовать или понимать то, что делают люди. Однако каждое доказательство в каждой из этих книг является ошибочным, предполагая, так или иначе, то, что оно пытается доказать — существование какой-то магической искры, которая не имеет обнаружимых свойств.

Я нетерпим к подобным аргументами. Мы не должны искать какую-либо пропущенную часть. Человеческая мысль имеет много составляющих, и каждой машине, которую мы когда-либо строили, не хватает десятков или сотен из них! Сравните то, что сегодня делают компьютеры с тем, что мы называем «мышлением». Ясно, что человеческое мышление гораздо более гибкое, находчивое и адаптируемое. Когда в современной компьютерной программе происходит ошибка, машина либо остановится, либо произведет какие-то неправильные или бесполезные результаты. Когда человек думает, все постоянно идет не так, как надо, но это редко нас огорчает. Вместо этого мы просто пытаемся сделать что-то еще. Мы рассматриваем нашу проблему с другой точки зрения и переходим к другой стратегии. Человеческий ум работает по-разному. Что дает нам такую возможность?

На моем столе лежит учебник о мозге. Его указатель состоит из примерно 6000 строк, которые относятся к сотням специализированных структур. Если вы случайно повредите некоторые из них, вы можете потерять способность помнить имена животных. Другая травма может оставить вас не в состоянии строить какие-либо планы дальнейших действий. Еще один вид нарушения может привести к тому, что вы будете внезапно произносить ругательства из-за повреждения области, которая обычно подвергает цензуре подобные выражения. Из тысяч подобных фактов мы знаем, что мозг содержит разнообразные механизмы.

Таким образом, знания представлены в различных формах, которые хранятся в разных областях мозга, и используются различными процессами. Каковы эти представления? Насчет мозга мы пока не знаем. Однако в области искусственного интеллекта исследователи нашли несколько полезных способов представления знаний, каждый из которых лучше подходит для одних целей, чем для других. Самые популярные используют наборы правил «If-Then». Другие системы используют структуры, называемые «фреймами», которые напоминают заполненные формы. Еще одни программы используют сети или схемы, которые напоминают древовидные скрипты. Некоторые системы хранят знания в языковых предложениях или в выражениях математической логики. Программист запускает любую новую программу, пытаясь решить, какое представление лучше всего выполнит задачу. Как правило, компьютерная программа использует только одно представление, и если ей это не удается, система ломается. Этот недостаток оправдывает мнение о том, что компьютеры на самом деле не понимают, что делают.

Но что значит понимать? Многие философы заявили, что понимание (или смысл, или сознание) должно быть основной, элементарной способностью, которой обладает только живой ум. Мне кажется это «зависть к физике», то есть они ревностно относятся к тому, насколько хорошо физика объяснила так много всего несколькими законами. Физики поступили очень умно, отвергая все объяснения, которые кажутся слишком сложными, и вместо этого ища простые. Однако этот метод не работает, когда мы имеем дело со всей сложностью мозга. Вот краткое изложение того, что я сказал о понимании в моей книге «Общество разума». «Если вы понимаете что-то только одним способом, тогда вы действительно не понимаете ничего вообще. Это происходит потому, что, если что-то пойдет не так, вы зацикливаетесь на мысли, которая просто засела в вашем сознании. Что-то принимает значение для нас, тогда, когда мы связываем его со всем тем, что мы знаем. Поэтому, когда кто-то «зубрит», мы говорим, что он в действительности не понимает. Однако, если у вас есть несколько разных подходов тогда, когда один подход терпит неудачу, вы можете попробовать другой. Конечно, создание слишком большого количества неразборчивых связей превратит ум в кашу. Но хорошо связанные подходы позволяют вам мыслить, рассматривая вещи со многих точек зрения, пока не найдете тот, который работает. Вот что понимается под мышлением!»

Я думаю, что эта гибкость объясняет, почему мышление просто для нас и сложно для компьютеров на данный момент. В «Обществе разума» я предполагаю, что мозг редко использует только один подход. Вместо этого он всегда запускает несколько сценариев параллельно, так что ему всегда доступны несколько точек зрения. Кроме того, каждая система контролируется другими, более высокоуровневыми, которые отслеживают их производительность и при необходимости переформулируют задачи. Поскольку каждая часть и процесс в мозге могут иметь недостатки, можно надеяться найти другие части, которые пытаются обнаружить и исправить такие ошибки.

Чтобы эффективно мыслить, нужно несколько процессов, которые помогут описать, предсказать, объяснить, абстрагироваться и спланировать то, что ваш ум должен делать дальше. Причина, по которой можно так эффективно думать, заключается не в том, что мы одарены таинственными блестящими талантами, а потому, что мы используем общества агентств, которые работают сообща, чтобы не попасть в тупик. Как только мы узнаем, как работают эти общества, мы также сможем поместить их в компьютеры. Затем, если одна процедура в программе ошибается, другая может предложить альтернативный подход. Если бы вы видели, что машина так поступает, наверняка предположили бы, что это сознательно.

Неудачи этики


Эта статья говорит о наших правах иметь детей, менять наши гены и умереть, если мы этого хотим. Ни одна популярная этическая система, будь она гуманистической или религиозной, не показала себя способной противостоять вызовам, которые уже стоят перед нами. Сколько людей должно быть на Земле? Какими должны быть люди? Как мы должны делить доступное пространство? Понятно, что мы должны изменить наши представления о том, сколько иметь детей. Зачатие происходит случайно. Однако когда-нибудь дети могут быть «составлены» в соответствии с определенными желаниями. Кроме того, при проектировании нового мозга, его не нужно начинать с нуля, имея так мало знаний о мире как младенцы. Какие вещи должны знать наши разумные дети? Сколько их мы должны иметь — и кто определяет их черты?

Традиционные системы этической мысли сосредоточены в основном на индивидах, как будто они были единственной ценностью. Очевидно, что мы должны также учитывать права и роли более масштабных существ, таких как супер-люди, то, что называется культурами, и великие, растущие системы, называемые науками, которые помогают понять другие вещи. Сколько таких сущностей нам нужно? Какие виды нам больше всего нужны? Слкдует быть осторожными с теми, кто замер в определенной форме и сопротивляется дальнейшему росту. Некоторые будущие варианты никогда не заметить: представьте схему, которая могла бы рассмотреть как ваш, так и мой разум, а затем скомпилировать новый объединенный ум, основанный на нашем совместном опыте.

Независимо от того, что может принести будущее, мы уже меняем правила, создавшие нас. Хотя большинство из нас будет бояться перемен, другие наверняка захотят избежать нынешних ограничений. Когда я решил написать эту статью, я пробовал эти идеи в нескольких группах и отвечал на опросы. Я был поражен, обнаружив, что, по крайней мере, три четверти аудитории, казалось, чувствовали, что наша продолжительность жизни уже слишком велика. «Зачем кому-то жить пятьсот лет? Разве это не скучно? Что, если вы переживете всех своих друзей? Что делать со всем этим временем?» — спрашивали меня. Казалось, они в тайне опасались, что не заслуживают так долго жить. Я нахожу это довольно тревожным, что так много людей смирились со смертью. Разве не опасны те, кто чувствует, что им нечего терять?

Мои друзья-учёные не проявили таких опасений. «Есть так много того, что я хочу узнать, и так много проблем, которые я хочу решить, что и столетий не хватит», — сказали они. Конечно, бессмертие казалось бы непривлекательным, если бы означало бесконечную немощь, слабость и зависимость от других, но мы предполагаем состояние совершенного здоровья. Некоторые люди выражали серьезную озабоченность — что старики должны умереть, потому что молодым нужно развивать свои собственные идеи. Однако, если правда, что мы приближаемся к нашим интеллектуальным пределам, то такой ответ плох. Мы будем отрезаны от идей в океанах мудрости за пределами нашего понимания.

Наследуют ли роботы на землю? Да, но они будут нашими детьми. Мы обязаны своим разумом жизни и смерти всех существ, которые когда-либо были вовлечены в борьбу под названием Эволюция. Наша задача — увидеть, что все это не закончится напрасно.

Дальнейшее чтение

Longevity, Senescence, and the Genome, Caleb E. Finch; Univ of Chicago Press, 1994
MAXIMUM LIFE SPAN.1983. Roy L. Walford. W.W. Norton and Company,
THE SOCIETY OF MIND, Marvin Minsky. Simon and Schuster,
MIND CHILDREN Hans Moravec, Harvard University Press, 1988.
NANOSYSTEMS, K. Eric Drexler. John Wiley & Sons, 1992.
THE TURING OPTION, Marvin Minsky and Harry Harrison. Warner Books, 1992.

КДПВ отсюда, Yokohama kaidashi kikou.

© Habrahabr.ru