Философия, логика и поэтика нейросетей. Заметки об Уоррене Маккаллоке и Уолтере Питтсе06.12.2024 15:15

Введение

История искусственных нейронных сетей начинается с попытки понять самый сложный известный нам объект во Вселенной — человеческий мозг. В начале 40-х годов XX века философ и поэт Уоррен Маккалок, вундеркинд-математик Уолтер Питтс и отец кибернетики Норберт Винер заложили теоретические основы того, что впоследствии станет одной из самых перспективных областей искусственного интеллекта. Их прозрение было революционным: мышление можно представить как процесс обработки информации, а нейроны — как логические элементы, выполняющие простые вычисления. Эта идея, соединившая биологию, математику и философию, открыла новый путь к пониманию работы мозга и создала предпосылки для разработки искусственных систем, способных к обучению. Решающий шаг сделали Маккалок и Питтс в 1943 году, опубликовав работу «Логическое исчисление идей, присущих нервной активности», в которой математически доказали, что сети из простых нейронов способны выполнять любые логические операции. Эта публикация заложила фундамент теории нейронных сетей и оказала глубокое влияние на развитие информационных технологий, вдохновив Джона фон Неймана на создание архитектуры современных компьютеров.

Principia Mathematica

В 1935 году юный Уолтер Питтс в детройтской районной библиотеке наткнулся на трехтомник Уайтхеда и Рассела Principia Mathematica, зачитался и провел там неотлучно три дня, пока не прочел всё. В тексте томов он обнаружил ошибки и написал об этом письмо самому Бертрану Расселу. Тот впечатлился порывом юноши и пригласил его в аспирантуру. Но Питтс не мог принять такое предложение: Кембридж в Британии, Детройт — в Мичигане, а мальчику всего двенадцать лет. Однако спустя три года, когда Питтс узнал, что Рассел намерен посетить Чикагский университет, он попросту сбежал из дома, отправился в Иллинойс и более никогда не видел свою семью.

Отмотаем назад. В 1923 году Уолтер Питтс только родился, а двадцатипятилетний Уоррен Маккалок уже читал Principia Mathematica. В отличие от детройтского самоучки, Маккалок происходил не от истопника, а из богатой семьи юристов, врачей и теологов, обучался в Нью-Джерси и Пенсильвании, углублял познания по философии и психологии в Йельском университете. В 1923 году он едва не получил докторскую степень по нейрофизиологии. Однако Маккалок был скорее философом, чем практиком, и сильнее всего стремился понять, что означает знание вообще, а не в частностях. В то время Зигмунд Фрейд только что опубликовал работу «Я и Оно», и психоанализ австрийца был суперпопулярен. Но это было не совсем то знание о знании, которое было необходимо Маккалоку; он не верил Фрейду и был убежден, что за нормальные и патологические процессы в мозге отвечают лишь электрохимические процессы в нейронах. Спустя много лет он напишет по этому поводу следующее:

В психологии нейронная сеть знакома и понятна, если при анализе психических явлений добраться до минимально значимых единиц, «психонов», каждый из которых не больше и не меньше одного нейрона. Коль скоро активность «квантована», психические явления носят семиотический характер, то есть описываются языком символов, в котором принцип «всё или ничего» соответствует двузначности «да — нет». Поэтому в психологии (умозрительной, поведенческой, физиологической) процесс всегда описывается двоичной логикой.

Уоррен Маккаллок, «Воплощения разума»

Начав с разных ступеней социальной лестницы, причем с разницей 25 лет, Маккалок и Питтс обрекли себя на совместную жизнь и работу и даже умерли в один год, правда от разных причин. Они словно сошли с противоположных страниц одной книги — два непохожих героя, чей союз казался невозможным. Маккалок — сорокадвухлетний философ и поэт с большой бородой и острым взором мудреца, деятельный лишь в часы бессонных ночей, питавшийся, казалось, лишь мороженым и виски; нескладный гигант с серыми глазами, в которых горело неукротимое пламя буйного интеллекта. Питтс — невысокий и хрупкий восемнадцатилетний юноша с чеховским лбом мыслителя и близорукими глазами книгочея, беглец и бродяга, нашептывавший свои сокровенные тайны пустым университетским аудиториям. Первый — успешный, признанный ученый, второй — призрак школярства на заднем академическом дворе. Маккалок беспрестанно курил и философствовал, а Питтс украдкой бегал на лекции, урывая там желанные крохи знаний, как нищий — милостыню.

Их судьбы переплелись в тот момент, когда Джером Леттвин, случайный гений этой нашей истории, свел ее героев друг с другом. И в первые же минуты знакомства между ними пробежала искра, и в ответ вспыхнул священный огонь интеллектуального братства: их объединил гений общих грез — Готфрид Лейбниц, мыслитель XVII столетия, пытавшийся создать «алфавит человеческой мысли» и мечтавший превратить несовершенный внешний мир в идеальный внутренний, этакую библиотеку разума, в которой что ни буква — то концепция, что ни слово — то откровение.

Маккалок объяснил Питтсу, что пытается создать модель человеческого мозга на основе логики Лейбница, и вдохновила его на это уже знакомая нам Principia Mathematica, в которой Уайтхед и Рассел пытались показать, что математику можно целиком построить с нуля, используя лишь бесспорную базовую логику. Их строительным блоком стало утверждение — простейшее высказывание, которое бывает либо истинным, либо ложным. С ним они производили фундаментальные логические операции — конъюнкцию (сочетание, «и»), дизъюнкцию (разделение, «или») и отрицание (изъятие, «не»), чтобы связать утверждения в сложные сети. Из простых утверждений вырастала сложность.

Подход натолкнул Маккалока на размышления о нейронах. Он знал, что каждый из них срабатывает как спусковой механизм только после достижения определенного порогового электрического потенциала: клетке нужно набрать достаточное возбуждение через синаптические контакты, и только тогда она испустит собственный импульс вовне. Маккалоку пришло в голову, что эта система двоична: нейрон либо срабатывает, либо нет. Стало очевидным, что сигнал нейрона — это утверждение, и каждая из нервных клеток работает как логический вентиль с несколькими входами (отростками-дендритами) и одним выходом (отростком-аксоном). Изменяя порог срабатывания, можно заставить вентиль выполнять все три функции: «и», «или» и «не».

Статья британца Алана Тьюринга подобно молнии священного откровения осветила внутренний мир Маккалока. Тьюринг доказал возможность создания машины, способной вычислять любую функцию за конечное число шагов, и Маккалок узрел в этом едва ли не доказательство бытия божия: мозг есть не что иное, как совершенная логическая машина, где нейронные сети плетут кружева вычислений с мастерством именитых математиков. Нейроны в его воображении становились живыми философами, которые способны, как настоящие маэстро, выстраивать симфонические цепи хитросплетения мыслей. Подобно тому, как в Principia Mathematica простые утверждения рождали всю сверхсложность математической вселенной, так и нейроны, соединяясь друг с другом посредством логических нитей-отростков, могли ткать интеллектуальные кружева формируемого ими сознания.

Я даже не заметил, как сильно привязался к этому Маккалоку, и где-то написал, что, возможно, через сто лет его станут считать величайшим философом XX века наряду с Бертраном Расселом и ему подобными.

Марвин Минский

Когда Маккалок развернул свой свиток научного видения, юный Питтс мгновенно уловил магическую вибрацию его мысли. Числа и функции гармонично объединялись в общей симфонии, математически точные и кристально чистые, как линии классической архитектуры и цвета готического витража. Очарованный интеллектуальным сродством с молодым гением, Маккалок пригласил его в свой дом в Хинсдейле, где кипела суетная, но интересная богемная жизнь. Дом был подобен храму свободомыслия: чикагские интеллектуалы и литераторы торопили друг друга, обмениваясь впечатлениями о революционной поэзии и радикальных мечтах. Патефон надрывался балладами испанских повстанцев, воздух полнился неукротимым духом познания. И лишь когда домашний очаг окутывала ночная тишь, а жена и трое детей Маккалока погружались в царство грез, два рыцаря познания — маститый ученый и юный чародей математической мысли — совершали свой священный ночной ритуал. Над стаканами недешевого виски, в тишине ночи наперегонки друг с другом они силились раскрыть великий шифр головного мозга, начиная с загадки крошечного нейрона — микрокосма человеческого интеллекта.

Поэтика познания

Маккалок и Леттвин занимались стихосложением, причем весьма профессионально, и регулярно публиковали свои опусы. Питтс был поэтом в душе и по временам делился с ними своими виршами.

Random remarks are traced by little boys
In wet cement; synapses in the brain
Die off; renewing uplift glyphs mountain
And valley in peneplane; the mouth rounds noise
To consonants in truisms: Thus expands law
Cankering the anoetic anonymous.
«If any love magic, he is most impious:
Him I cut off, who turn his world to straw,
Making him know Me.» So speaks the nomothete
Concealed in crystals, contracting myosin,
Imprisoning man by close-packing in his own kind.
We, therefore, exalt entropy and heat,
Fist-fight for room, trade place, momentum, spin,
Successful enough if life is undesigned.

С помощью нейросети создал песню на стихи Уолтера Питтса, которые автор назвал «Объемы информации» (наша версия — «Случайные заметки»).

Еще до появления в его жизни Питтса, Маккалок столкнулся с интересным парадоксом: нейронные цепи иногда замыкались в цепочки, в которых выходной импульс последнего нейрона становился входным для первого; нейронная последовательность, словно магический змей Уроборос, кусала себя за собственный хвост. Маккалок пытался создать модель этого явления, но с точки зрения чистой логики формирование таких петель становилось парадоксом, когда следствие превращалось в предпосылку, а возникший эффект — в причину его возникновения. Маккалок маркировал во временной последовательности каждую связь меткой времени, так что если первый нейрон срабатывал в момент t, то следующий — в момент t+1 и так далее. Но когда цепи замыкались, t+1 внезапно оказывался стоящим перед t.

Решение проблемы предложил Питтс. Он применил модульную математику и показал, что парадокс с t+1, наступающим ранее t, на самом деле не парадокс, поскольку при циклических изменениях модуля понятия «раньше» и «позже» утрачивают смысл. Таким образом, время исключалось из уравнения. В самом деле, если бы некто увидел молнию в небе, его глаза отправили бы сигнал в мозг через цепь нейронов. Начиная с любого нейрона в этой цепи можно было бы проследить сигнал и установить время возникновения молнии. А если эта цепь сформировала петлю? Тогда информация о молнии просто вращается по кругу и теряет связь с реальным событием, то есть превращается, по словам Маккалока, в событие, оторванное от времени, или, иными словами, становится содержимым памяти.

Общая теория нейронных сетей распространяется и на случаи нестационарной активности, при которых нужно установить условия стабильности, то есть существования точки равновесия, и определить функции изменения возбуждения по времени. Есть и обратная задача: при наличии заранее заданных параметров активности во времени построить нейронную сеть, обладающую характерной матричной структурой. Наконец, следует определить архитектуру нейронных кластеров как систем с особой топологией, эквивалентной по характеристикам классической сети.

Уолтер Питтс, «Линейная теория нейронных сетей»

Когда последняя формула улеглась в систему расчетов Питтса, стало ясно, что они с Маккалоком создали нечто большее, чем просто научную модель — родилась первая версия карты сознания, первое следствие применение математических инструментов к раскрытию тайн человеческого разума. Механистическая симфония подтверждала природу мозга как биологического вычислителя.

Соединяя простые двоичные нейроны в причудливые цепи и петли, словно композитор, создающий сложную мелодию, они открыли важнейшую истину: мозг способен реализовать любую логическую операцию, постигать все, что могло быть усвоено машиной Тьюринга. В уроборических петлях, которые бесконечно скручиваются, подобно змее, кусающей собственный хвост, таилось откровение о сути мыслительного процесса. С помощью петель познания мозг обретал способность к абстракции, усвоению и последующему преобразованию информации, создавая целые комплексы идей, многослойные динамические иерархии мысли, структуру того, что мы так просто называем «мышлением».

В статье «Логическое представление идей, присущих нервной деятельности», опубликованной в «Бюллетене математической биофизики», Маккалок и Питтс представили свое революционное видение проблемы. Их модель, изящная, простая и потому гениальная, была лишь основой будущего понимания, но она доказала принципиальную возможность постижения разума с помощью математического аппарата. По этому поводу на встрече со студентами был сформулирован итог:

Впервые в истории науки мы узнаём, как мы познаём.

Уоррен Маккалок

Это прозвучало, как манифест новой эпохи в науке, когда мистика уступает место логике и человеческое мышление обретает математическую точность. Более не нужно призывать оккультизм, тщетно мудрствовать, выстраивая фрейдистские построения и погружаться в коллизии противостояния эго и самоидентичности. Сознание становилось ясным и четким, как математическое выражение, чистым и незамутненным, как хрусталь.

В Маккалоке Питтс обрел не просто покровителя — он нашел святилище души, интеллектуальное убежище, которого был лишен всю свою предшествующую жизнь. Маккалок стал для него другом, отцом, проводником в мир высокой науки. Хотя годы, проведенные в Хинсдейле, были короткими, этот дом навсегда остался для Питтса единственным истинным домом, местом, где его впервые по-настоящему приняли и поняли. Маккалок тоже был очарован юным гением. В Питтсе он нашел больше, чем просто ученика — он обрел родственную душу, интеллектуального сообщника, чей математический дар мог превращать его туманные, наполовину сформированные идеи философа в простые, но стройные научные конструкции. «О, если бы он всегда был со мной!» — писал Маккалок, и в этих словах были и отеческая любовь, и восхищение коллеги, и наслаждение редким интеллектуальным сходством.

Алтарь Норберта Винера

Питтс вскоре произвел сильное впечатление и на математика и философа Норберта Винера, отца кибернетики. В 1943 году Джереми Леттвин привел юного гения в святая святых Массачусетского технологического института (МТИ) — кабинет Винера. И произошло невероятное: вместо формальной церемонии Винер сразу ввел Питтса в ритуал научного творчества. Не тратя времени на представления и разъяснения, он подвел Питтса к «математическому алтарю» — огромной черной доске, покрытой начертанными мелом доказательствами. И началось их сотрудничество: Винер работал и работал, а Питтс, как истинный компаньон, время от времени предлагал замечательные идеи. Уже после второй исписанной доски стало ясно, что Винер обрел не только ассистента, помощника, коллегу, но и истинного единомышленника. Позже он напишет о Питтсе:

Это самый сильный молодой ученый, которого я когда-либо встречал… Я был бы крайне удивлен, если бы он не стал одним из двух-трех важнейших деятелей своего поколения — не только в Америке, но и во всем мире.

Норберт Винер

Впечатление, которое Питтс произвел на Винера, было столь глубоким, что тот пообещал ему докторскую степень по математике в МТИ невзирая на отсутствие у соискателя даже среднего образования (обстоятельство категорически неприемлемое в академической среде), и это предложение было поистине судьбоносным для Питтса. К осени 1943 года он обосновался в Кембридже, получил статус «особого студента» МТИ и проходил обучение под началом одного из величайших умов своего времени.

Винер стремился направить талант Питтса на создание более достоверной модели мозга. Хотя исследование Питтса и Маккалока было революционным, оно не вызвало соответствующего отклика среди «мозговедов». Причиной тому были сложность использованной логики и избыточная схематичность модели, не отражавшей всю многогранность работы живого мозга. Однако Винер сумел оценить значимость их работы и понимал, что более реалистичная модель способна произвести настоящий переворот в науке. Он предвидел, что воплощение нейронных сетей Питтса в искусственных машинах могло бы проложить путь к революции в кибернетике, о которой он столько мечтал.

Приступив к работе в МТИ, Питтс пришел к важному умозаключению: хотя генетика и определяет основные нейронные структуры, она не может организовать триллионы синаптических связей в мозге — такой объем информации попросту нельзя закодировать ДНК (даже при справедливости правила «один ген — много признаков»). Он выдвинул гипотезу, что изначально мозг располагает лишь базовым набором случайных межнейронных связей в виде простейших сетей. Они обладают состоянием с высокой вероятностью трансформации и минимальным информационным наполнением (этот тезис остается предметом дискуссий и сегодня). Посредством изменения нейронных порогов со временем хаос может преобразоваться в порядок. Для проверки гипотезы он обратился к статистической механике. Винер поддерживал это направление, осознавая, что если такую модель удастся воплотить в машине, то она приобретет способность к обучению.

В июне 1945 года Джон фон Нейман создал «Первый черновик отчета о EDVAC», в котором было впервые описано устройство современного компьютера — двоичной вычислительной машины. Предшественник ENIAC, располагавшийся на площади более 160 квадратных метров, больше напоминал гигантский калькулятор. Хотя его и можно было перепрограммировать, процесс этот был крайне трудоемким: нескольким операторам требовались недели на переподключение разных блоков. Фон Нейман пришел к мысли, что эти переподключения могут быть излишними. Если представить каждую конфигурацию переключателей и проводов в абстрактном виде и закодировать ее, то такие программы можно загружать в компьютер наравне с данными. Это без необходимости физической перенастройки превратило бы машину в универсальный вычислитель Тьюринга. Для реализации этой идеи фон Нейман предложил взять за основу нейронные сети Питтса и Маккалока. Вместо нейронов он планировал использовать вакуумные трубки в качестве логических вентилей, что позволило бы выполнять любые вычисления. Новшеством стала потребность в памяти для хранения программ и данных. И здесь пригодились разработанные Питтсом петли. Опираясь на модульную математику Питтса, ученый писал:

Элемент, стимулирующий сам себя, способен удерживать стимул бесконечно.

Джон фон Нейман

Детально описав архитектуру нового вычислительного устройства, фон Нейман сделал в своем труде единственную научную ссылку на «Логическое исчисление» Уоррена Маккалока и Уолтера Питтса.

В 1952 году Джерри Уизнер, заместитель директора Электронной лаборатории МТИ, предложил Маккалоку возглавить новый проект по изучению мозга. Тот с радостью принял предложение, предвкушая возобновление работы с Питтсом, и без колебаний сменил должность профессора и просторный дом в Хинсдейле на позицию научного сотрудника и скромное жилье в Кембридже. Проект ставил амбициозную цель: используя весь арсенал теории информации, нейрофизиологии, статистической механики и вычислительной техники, раскрыть тайну возникновения разума в мозге. К Маккалоку и Питтсу присоединились наш давний знакомый Джереми Леттвин и молодой нейробиолог Патрик Уолл. На двери их лаборатории появилась табличка: «Экспериментальная эпистемология».

Уоррен Маккаллок еще не раз воспользовался своим поэтическим даром, и уже в последний год жизни, как бы суммируя прожитое, написал (авторская орфография и пунктуация сохранены):

farewell sweet morrows, hopes deferred and all
crisp years fat earnest in defect of youth
indian summers quicken to keen fall
as brisk october blazons times no ruth
from me great days are gone and after none
array the ardour that i scarce compress
in temperance terrible charged i abide
the desperate victor of my last race run
wanting bold challenge to life«s dread excess
to fire that frenzy I must else wise hide
i cry no quarter of my age and call
on coming wits to prove the truth
of my start venture into fates cold hall
where thoughts at hazard cast the die for sooth

Мы решили положить его на музыку при помощи нейросети и даже сделали некое подобие видеоклипа, назвав композицию Cast the Die for Sooth («Чтобы успокоиться, брось жребий»).

Итог и следствия

Маккалок и Питтс заложили фундаментальные основы кибернетики и искусственного интеллекта. Их работы способствовали радикальному повороту от фрейдистского психоанализа к механистическому пониманию мыслительных процессов. Они доказали вычислительную природу мозга и определили ментальную деятельность как процесс обработки информации. Продемонстрировав принципы вычислений, они вдохновили специалистов на создание архитектуры современных компьютеров. Благодаря их исследованиям нейронауки, психиатрия, компьютерные дисциплины, математическая логика и искусственный интеллект слились, воплощая идею, впервые высказанную Лейбницем:

Человек, машина, число, разум используют информацию как универсальную валюту.

Однако это достижение имело свою цену: символическая абстракция, делая мир прозрачным, окутывала мозг непроницаемой завесой. Когда всё сводилось к информации, управляемой логикой, конкретные механизмы теряли значение — универсальность вычислений достигалась ценой отказа от онтологического измерения. Фон Нейман осознал эту проблему первым. В письме к Винеру он предвосхитил грядущий раскол между искусственным интеллектом и нейронаукой:

После осмысления фундаментального вклада Тьюринга в сочетании с работами Маккалока и Питтса ситуация становится сложнее, чем прежде. Эти исследователи показали, что любой процесс может быть реализован соответствующим механизмом, в частности нейронным, причем каждый механизм может быть универсальным. Обращая этот аргумент, можно сказать: никакое знание не дает представления о работе нейронного механизма без микроскопического, цитологического исследования.

Джон фон Нейман

Именно эта универсальность сделала невозможным создание практической модели мозга, что привело к отвержению и последующему забвению многих начинаний Маккалока и Питтса. Эксперименты показали ограниченность чисто логического, сфокусированного исключительно на мозге подхода к пониманию мышления. Природа выбрала неопределенность жизни, а не строгость логики. Но ни Маккалок, ни Питтс не могли знать, что их идеи положат начало эпохе распределенных вычислений, нейросетям, машинному обучению, а равно и тому, что при написании материала о них будет использовано всё упомянутое.

При создании материала использованы генеративные возможности нейросетей:

Полный текст статьи читайте на iXBT