Всё, что вы хотели знать о перцептронах Розенблатта, но боялись спросить
Вы, наверно, знаете, что перцептрон Розенблатта, изобретённый в середине XX-го века, стал прообразом современных нейронных сетей. Однако многое из того, что известно нам о нём и его создателе, не соответствует действительности. В продолжение серии статей об историческом развитии искусственного интеллекта попробуем разобраться, что является искажением фактов в рассказах об одном из основоположников машинного обучения, и почему он — действительно важная фигура в истории ИИ.
Фрэнк Розенблатт. Источник фото
Начнём издалека: в 1943-м году появилась модель Мак-Каллока-Питтса, и это стало поворотной точкой в истории искусственных нейронных сетей. Уже на заре развития этого направления в нём выделились два подхода — монотипический и генотипический (так окрестил их герой нашего поста, Фрэнк Розенблатт). В монотипическом подходе параметры нейронов задаются изначально и топология сети полностью фиксирована, а в генотипическом они задаются только частично. Таким образом, при использовании генотипического подхода мы проектируем не одну конкретную сеть, а задаём множество возможных сетей. Отсюда следует важное отличие генотипического подхода — наличие механизма обучения, предназначенного для выбора конкретных параметров сети. На первых порах генотипистам мешало сильное влияние символьной логики. Так вышло из-за того, что изучение сознания 30–40-е проходило в рамках этой парадигмы. Данные нейрофизиологии свидетельствовали в пользу того, что информация в мозге передаётся с помощью коротких импульсов (спайков), поэтому для Мак-Каллока с Питтсом было естественно считать мозг цифровой машиной, оперирующей нулями и единицами. Кроме того, Питтс как ученик Рассела и Карнапа, ещё до того, как стал заниматься нейронными сетями, был поклонником символьной логики. Об этом можно узнать больше из нашей предыдущей статьи.
В работах Мак-Каллока и Питтса вы не найдёте исследований методов обучения нейросетей. Им удалось лишь сформулировать концепцию нейронных сетей и доказать её право на существование (по-английски это называется «proof-of-concept»). Более того, они даже не потрудились формально доказать, что их модель тьюринг-полная: в их кругу это считалось само собой разумеющимся. Но проблема обучения сетей активно обсуждалась в кибернетических кругах, и первый подход к ней совершили ученики Мак-Каллока. В полной же мере она была проанализирована именно нашим героем.
На чьих плечах стоял Розенблатт
Конечно, нейросеть вполне можно использовать и без обучения, «сконструировав» её вручную. Однако человеческий мозг способен к самообучению, и соблазн получить машины, обладающие тем же свойством, был весьма велик. Поэтому неудивительно, что сразу после появления сетей Мак-Каллока и Питтса начались первые «подходы к снаряду». В 1948 году два ученика Мак-Каллока, Анатоль Рапопорт и Альфонсо Шимбел из Чикагского университета, описали семейство статистически организованных сетей. Они рассматривали различные параметры нейрона и его компонентов в качестве случайных величин с некоторыми вероятностными распределениями. Из них они вывели общее уравнение для расчёта вероятности того, что нейрон в указанном месте сработает в определённое время.
В 1949 вышла работа Дональда Хебба, в которой сформулирован известный сегодня под названием «хеббовского обучения» принцип:»Когда аксон клетки A находится достаточно близко, чтобы возбудить клетку B, и многократно или постоянно принимает участие в её срабатывании, в одной или обеих клетках происходит некоторый процесс роста или метаболические изменения, таким образом, что эффективность A, как одной из клеток, возбуждающих B, растёт». Вопреки распространённому заблуждению, Хебб не был первооткрывателем этой идеи, в той или иной мере она встречается у Торндайка и Павлова, однако именно Хебб сформулировал её в явном виде и познакомил с ней исследователей в области искусственных нейронных сетей. Часто этот принцип афористично формулируют как «нейроны, которые возбуждаются вместе, связываются вместе» [Neurons that fire together, wire together]. Хеббовский принцип оказался пригодным для того, чтобы на базе его сформировать практический алгоритм обучения нейросетей, что и не преминули сделать Бельмонт Фарли и Уэсли Кларк. Они начали учить хеббовские сети на цифровой машине MTC (Memory Test Computer). Но их работы остались не замечены научным сообществом.
Марвин Минский тоже работал в этом направлении. В 1951 году он, вместе с Джорджем Миллером и Дином Эдмондсом, осуществил проект под названием SNARС (стохастический нейронный аналоговый калькулятор с подкреплением), в рамках которого «электронная крыса» бегала по электронному лабиринту и пыталась отыскать выход. Машина, моделирующая поведение крысы, представляла собой случайное соединение 40 искусственных нейронов, каждый на базе шести электроламп и двигателя. Кстати, их машина была, вероятно, первой самообучающейся электронной системой. Первую электромеханическую самообучающуюся машину годом раньше создал Клод Шеннон в рамках проекта «Тесей»; также при рассмотрении самообучающихся систем часто забывают о «Гомеостате» У. Росса Эшби. В основе этой системы лежали жидкостные реостаты.
Розенблатт вслед за этими учёными собрал и систематизировал разрозненные усилия по разработке архитектур и алгоритмов обучения.
Перцептрон Розенблатта во всей красе
Свою исследовательскую работу Розенблатт вёл в Авиационной лаборатории Корнельского университета. В январе 1957-го года секция Розенблатта опубликовала первый отчёт по проекту «Перцептрон: воспринимающий и распознающий автомат», где впервые введено определение этой штуковины. При этом подчеркивается, что система основана на вероятностных, а не на детерминистских принципах.
Что конкретно представляет собой описанный там перцептрон? Это система, состоящая из трёх слоёв элементов: S (сенсорного), A (ассоциативного) и R (реагирующего). При этом обучаемые веса есть только между двумя последними слоями нейронов (A → R) подвергаются коррекции в процессе обучения. Слой синаптических связей S → A также содержит веса, но они не меняются в процессе обучения, их можно только конфигурировать вручную. Их значения могут быть равны либо »1», либо »−1», что соответствует возбуждающему синапсу и тормозящему синапсам. Также могли существовать абсолютно тормозящие синапсы, то есть такие, веса которых можно было принять равными минус бесконечности. По всей видимости, это рудимент модели Мак-Каллока и Питтса.
Нейрон перцептрона отличается от нейрона Мак-Каллока и Питтса тем, что у него появились веса синапсов — числовые значения.
Перцептрон Розенблатта. Входной (сенсорный), скрытый (ассоциативный) и выходной (реагирующий) слои нейронов.
Небольшое отступление: любую задачу классификации с произвольным числом классов можно свести к решению одной или нескольких задач, в которых число классов равно двум. Например, если у нас есть задача распознавания на картинке котиков, собак и енотов, то мы можем представить её в виде совокупности двух задач: задачи по отличению котиков от всех прочих животных и задачи по отличению собак от енотов. В свою очередь, задачу с двумя классами можно легко представить в графической форме. Для этого нужно взять n-мерное евклидово пространство, где n — количество факторов, задействованных в задаче (то есть при одном факторе это будет числовая прямая, при двух факторах — плоскость, при трёх — трёхмерное пространство и т.д.), и отобразить в нём известные нам прецеденты (элементы обучающей выборки) в виде точек двух цветов (скажем, голубых и зелёных). В случае задачи с двумя факторами мы получим множество голубых и зелёных точек на плоскости. Если зелёные точки можно отделить от голубых, проведя на плоскости некоторую прямую (для большего числа факторов — проведя в пространстве некую гиперплоскость), то множества голубых и зелёных точек называют линейно разделимыми.
Так вот, линейный классификатор — это способ решения задач классификации, когда решение принимается на основании линейного оператора над входными данными. Линейный классификатор способен решать задачи с линейно разделимыми прецедентами.
Важной заслугой Розенблатта было то, что он доказал сходимость перцептрона. Метод коррекции ошибки, предложенный учёным, гарантировал, что параметры перцептрона, необходимые для решения задачи, будут найдены за конечное количество шагов обучения, независимо от начального значения синаптических весов и последовательности поступления элементов обучающей выборки.
Первая версия перцептрона была смоделирована при помощи компьютера IBM 704.
Обучившись, программа Розенблатта была способна успешно распознавать различные геометрические фигуры (круги, квадраты, треугольники). Затем была создана и аппаратная версия перцептрона — первый в мире нейрокомпьютер «Mark I Perceptron». (кстати, эта работа дала начало новому направлению в вычислительной технике — нейроморфной инженерии). Это была здоровенная махина, состоящая из множества элементов, издававших треск. Каждый элемент представлял собой соединение электромотора и потенциометра. Электромоторы были нужны для поворота ручек потенциометров (переменных резисторов). Поворот ручки приводил к изменению электрического сопротивления потенциометра. По воспоминаниям Бернарда Уидроу (это профессор Стэнфордского университета, занимавшийся нейронными сетями в 1960-х), ездившего к Розенблатту в гости, всё работало довольно плохо. Впрочем, поскольку сам Уидроу был разработчиком альтернативной аппаратной реализации искусственной нейронной сети, основанной на принципах электрохимии (ADALINE), его можно заподозрить в необъективности. Так или иначе, Розенблатт смог на таких «дурацких» элементах построить работающее устройство. Он и команда его коллег из SRI (Stanford Research Institute) опробовали перцептрон на некоторых прикладных задачах, например на задаче распознавания написанных от руки печатных букв, условных обозначений на картах, а также танков на данных аэрофотосъемки.
«Mark I Perceptron» был оснащён коммутационной панелью. Соединяя гнёзда панели проводами, можно было программировать входной слой перцептрона. Входные данные поступали в машину при помощи модуля ввода, для этого входное изображение подсвечивалось мощным источником света и проецировалось на матрицу размером 20×20, состоящую из фотоэлементов на основе сульфида кадмия. Несложно заметить, что перцептрон Mark I был фотоперцептроном, то есть, перцептроном, предназначенным для работы с визуальными данными.
Вопреки распространённому мнению, «Mark I Perceptron» не был в строгом смысле однослойной сетью, хотя не был и вполне многослойной. Под однослойным перцептроном обычно понимают такой, у которого два слоя нейронов — входной и выходной, и нет промежуточного ассоциативного слоя (А-слоя). Иными словами, у него один слой синаптических связей с настраиваемыми коэффициентами — между нейронами входного слоя и нейронами выходного слоя. А у «Mark I Perceptron» было два конфигурируемых слоя коэффициентов. Хотя один из них и конфигурировался вручную.
В литературе иногда допускают неточность, употребляя словосочетание «альфа-перцептрон» в значении «Mark I Perceptron». В действительности же альфа-перцептроном назывался такой перцептрон, обучение которого выполнялось по так называемой альфа-стратегии. «Mark I» в этом смысле действительно был альфа-перцептроном, но отнюдь не синонимичен ему.
В 1963 году у Розенблатта появилась ещё одна аппаратная разработка — устройство «Тобермори», названное в честь литературного персонажа — кота, который научился говорить. Бытуют слухи, что у Розенблатта был и кот с таким именем. Технически «Тобермори» представлял собой фоноперцептрон, то есть такой, который работает со звуковыми данными. Информация поступала с магнитной ленты, микрофона и некоторых других устройств. Вообще Розенблатт рассматривал перцептрон как систему, которая потенциально может анализировать любые данные. Он, например, задумывался и о радиоперцептронах. Розенблатт мечтал, что когда-нибудь его машина сможет и опознать предмет, и назвать его вслух.
Розенблатт не изучал многослойные сети?
Бытует заблуждение, что, якобы, Розенблатт не изучал многослойные сети, и что все рассмотренные им перцептроны были однослойными. Но это не так, Розенблатт активно изучал многослойные сети. В книге «Принципы нейродинамики: Перцептроны и теория механизмов мозга», выпущенной в 1961-м году, он сначала описывает «трёхслойные системы с переменными S—A связями», прежде чем перейти к описанию многослойных перцептронов и перцептронов с перекрёстными связями. Он рассмотрел и перцептроны без А-слоя, и перцептроны с одним ассоциативным слоем, и с двумя, и так далее, и даже придумал свой алгоритм обучения глубоких нейронных сетей, не похожий на метод градиентного спуска, хотя и названный методом обратного распространения ошибки.
Перцептроны Розенблатта отличались лишь в некоторых деталях от нейронных сетей, предложенных ранее Фарли и Кларком, а также рядом британских исследователей, таких как Реймонд Бёрл, Уилфред Тейлор и Альберт Аттли. Вклад Розенблатта заключался в развитии математического аппарата теории нейронных сетей, а также в обширных экспериментальных исследованиях в этой области. Именно Розенблатт, стремясь подчеркнуть особую важность связей между нейронами, изобрёл термин «коннекционизм», используемый сегодня для обозначения подхода в области искусственного интеллекта (а также когнитивистики, нейробиологии, психологии и философии сознания), в рамках которого мыслительные или поведенческие явления моделируются при помощи процессов, происходящих в сетях, состоящих из связанных между собой простых элементов (введённое позже более общее понятие «параллельная распределённая обработка» отражает тот факт, что в искусственных нейронных сетях и подобных им моделях большое количество относительно простых процессоров работает параллельно, и то, что сети хранят информацию распределённым образом).
Розенблатт разделил нейронные сети на простые двухслойные (один слой для ввода, а второй для вывода) и многослойные сети (с одним или несколькими промежуточными слоями). Он обобщил тип обучающей процедуры, использованной Фарли и Кларком при обучении двухслойных сетей, таким образом, чтобы её можно было применять и к многослойным сетям.
Эта процедура была позаимствована из работ Бельмонта Фарли и Уэсли Кларка и модифицирована так, чтобы её можно было применять и к многослойным сетям. Кроме того, Розенблатт показывает, что многослойные сети не обязательно сходятся при использовании детерминистских алгоритмов обучения, поэтому при обучении таких систем необходимо задействовать стохастические, то есть включающие в себя элемент случайности, алгоритмы.
Заблуждение, что Розенблатт не рассматривал многослойные сети, закралось в литературу после того, как Дэвид Эверетт Румельхарт, человек, который «переоткрыл» перцептроны, описав их в своих трудах, каким-то образом умудрился не заметить, что у перцептрона «Mark I» в рецептивном слое есть веса, и что Розенблатт изучал многослойные сети. Судя по тому, что он также утверждал, что многие описанные в «Принципах нейродинамики» вещи он изобрел самостоятельно, он толком не читал поздние работы Розенблатта, ограничившись лишь ранними статьями.
С именем Румельхарта связан ренессанс нейронных сетей. Со своим коллегой Доном Норманом он издал серию книг «Explorations in Cognition»; из его с Джеймсом Макклелландом, не без влияния Джеффри Хинтона, работ выросло всё современное глубокое обучение. Поэтому его заблуждение в отношении исследований Розенблатта были воспроизведены многократно.
Критика Минского и Пейперта
Минский и Пейперт в ответ на исследования Розенблатта написали целую книгу под названием «Перцептроны». Как мы уже знаем, для Минского тема была отнюдь не нова, нейросетевым моделям была посвящена его диссертация. Однако ограничения, о которых он и Пейперт пишут в своей книге, относятся лишь к отдельным архитектурам, и то только в применении к некоторым классам задач. В книге авторы показывают, что перцептрон с единственным ассоциативным слоем не может вычислять некоторые предикаты, если по крайней мере один из нейронов в А-слое не связан ненулевым весом с каждым из входных нейронов.
Тут необходимо пояснение: Розенблатт был хорошо знаком с работами Дэвида Хьюбела и Торстена Визеля, которые описывают исследования зрительной коры кошек. Эти исследования показали, что сигнал из зрительного нерва на первом шаге поступает строго в первичную зрительную кору, и только через неё попадает в остальные части мозга. Под впечатлением от этой работы, Розенблатт решил, что для решения многих задач можно создавать локально связанные искусственные нейронные сети, где в первых слоях нейроны будут связаны друг с другом только внутри небольших групп. Выходы этих локальных групп будут объединяться в следующих слоях сетки. В таких архитектурах должно быть значительно меньше параметров, чем в полносвязных сетях, и за счет этого их можно будет эффективнее обучать, считал он.
В будущем развитие этого подхода привело к появлению свёрточных нейронных сетей. Но Минский подвергал сомнению целесообразность такого подхода. Он изобрёл два примера, которые, как ему казалось, ставят под сомнение жизнеспособность идеи локально связанных сетей. Этими примерами стало вычисление предикатов чётности и замкнутости. Минский считал свои аргументы настолько удачными, что решил вынести их визуализацию на обложку своей книги.
Издательство »MIT Press», год издания 2017
Если присмотреться, можно заметить, что сверху на обложке спираль состоит из одной «загогулины», а снизу — из двух.
В приведённом им примере задачи для фотоперцептрона — две спирали (см. ниже). Если посмотреть на них внимательно, то окажется, что одна из них замкнутая, а вторая состоит из двух сегментов. Он утверждал, что локально связанный перцептрон не может научиться отличать единый контур от состоящего из двух частей. Для этого, говорил он, нужно, чтобы хотя бы один нейрон второго слоя был связан абсолютно со всеми нейронами первого слоя.
Вторая задача, с которой не справляется локально связанный перцептрон, касается чётности (дано изображение, на котором размещено множество точек, и нужно определить, чётное их количество или нечётное). На основании этих двух примеров Минский сделал вывод, что если нейронные сети всё равно нужно делать полносвязными, то они ничем не лучше, чем другие распознающие модели того времени.
Один из членов команды Розенблатта, математик Артур Блок, дал остроумный ответ на «Перцептроны».»А вы сами-то, когда смотрите на этот контур, можете с одного взгляда сказать, он замкнутый или нет? » — так можно передать его посыл, адресованный авторам критики. Конечно нет, человек не способен за несколько секунд увидеть различия у этих двух спиралей. Розенблатт бы обрадовался такому ответу, так как всегда считал, что его модели должны быть максимально приближены к своим биологическим прототипам. Точно также и с предикатом чётности: если на листе бумаги изображено достаточно много точек, человек не сможет с первого взгляда определить, чётное их количество или нет. Для этого точки придётся пересчитать.»То, что перцептронисты брали как временную опору, Минский и Пейперт интерпретируют как конечную структуру», — продолжает Блок. К сожалению, этот ответ был опубликован уже после смерти Розенблатта, в 70-ых.
Некоторым читавшим Минского и Пейперта кажется, что эти двое критиковали не столько целый перцептрон, сколько отдельный нейрон.»Я думаю, что большая часть сказанного в книге относится к единичному нейрону», — вспоминает Бернард Уидроу. И это похоже на правду: единичный искусственный нейрон может вычислять только небольшое число логических предикатов, и среди них нет предиката чётности или замкнутости. Минскому и Пейперту часто приписывают утверждение, что нейронные сети не способны выполнять операцию XOR («исключающее или», частный случай предиката чётности), хотя они такого никогда не утверждали. Действительно, один нейрон в принципе не может выполнить операцию XOR, да и однослойная сеть этого не может.
Есть мнение, что книга Минского и Пейперта каким-то образом поколебала научные позиции Розенблатта. Миф заходит дальше и повествует, что из-за неё Розенблатт потерял финансирование и в некоторых интерпретациях чуть ли не утопился от горя (такая шекспировская драма!). На самом деле это не так: книга вовсе не ставит крест на перцептронах. Такой цели не преследовали ни Минский, ни Пейперт. В книге обсуждаются и анализируется некоторые ограничения перцептронов, но не более.
Урезание бюджета также никак не связано с книгой «Перцептроны», а связано с конкретными изменениями в американском законодательстве. Дело в том, что в 1957-ом году, после того, как Советский союз запустил первый искусственный спутник Земли, у американских учёных начался «праздник»: военные деньги стали вкладывать в перспективные исследования. Для курирования проектов была даже создана специальная организация, которая потом превратилась в DARPA. В это время проекты Розенблатта получили финансирование от Управления военно-морских исследований.
«Пир духа» продолжался до второй половины 60-ых годов, пока не вызвал тревогу у бюджетного комитета:»Как так, военные деньги тратятся на фундаментальные исследования, которые не имеют четко определенных прикладных результатов для военной области! ». С подачи Майкла Мэнсфилда, сенатора-демократа от штата Монтана и лидера сенатского большинства в 1957—1961 была принята «Поправка Мэнсфилда 1969 года», которая привела к резкому сокращению расходов на фундаментальные исследования. Именно она ударила по Розенблатту и его команде: фоноперцептрон «Тобермори», над которым он в то время трудился, не имел прямых военных применений в обозримом горизонте планирования. При этом, Розенблатт продолжал получать финансирование от университета, которое позволяло ему продолжать работу, хотя и не такими быстрыми темпами.
Книга Минского и Пейперта стала важна потом, во время второй весны искусственного интеллекта, а тогда, в начале 60-х, книга не сделала никакого шума. Уидроу так описал свои впечатления от прочтения книги:
«Боже мой, какой пасквиль! <...> Я чувствовал, что они достаточно узко определили, что такое перцептрон, что они смогли доказать, что он практически ничего не мог сделать. <...> Мы уже перестали работать над нейронными сетями. Насколько я знал, никто не работал над нейронными сетями, когда вышла эта книга. Я не мог понять, в чём смысл этого, какого чёрта они это сделали. Но я знаю, сколько нужно времени, чтобы написать книгу. Я подумал, что они, должно быть, решили написать эту книгу очень давно, чтобы нанести удар по данной области, сделать всё возможное, чтобы понатыкать булавок в воздушный шар. Но к тому времени, когда книга вышла, эта область уже ушла. Никто не занимался этим».
Пикантные подробности судьбы Розенблатта
Если бы биография Розенблатта была заурядной, мы бы, наверно, не стали о ней писать. Однако она была далеко не такой! И это важно: известный социолог науки Бруно Латур писал, что открытия не делаются сами по себе, в вакууме, а научная деятельность тесно переплетена с теми случайностями, которые сопровождают учёного в повседневной жизни. И вот что это за случайности в судьбе Розенблатта. Во-первых, возможно, при жизни его родственники были более известны, чем сам Фрэнк Розенблатт младший. Его отец, Фрэнк Фердинанд Розенблатт, который не дожил несколько месяцев до рождения сына, в начале XX века был одним из руководителей еврейской благотворительной организации Joint.
Фрэнк Фердинанд был очень примечательной личностью. Он участвовал в революционном движении Российской империи, затем эмигрировал и возглавил комитет помощи евреям-беженцам Гражданской войны. Розенблатт старший собственноручно доставлял гуманитарную помощь во Владивосток, и во времена правления Колчака и Уфимской директории пытался добиться от Колчака прекращения еврейских погромов.
Брат Розенблатта был консультантом известных политиков, и благодаря его советам удалось прервать эпоху маккартизма. Сам же Розенблатт, по воспоминаниям Хелла Седжвика, одного из его аспирантов, был довольно тихим человеком, но, как ни странно, виртуозно водил спортивный автомобиль. Подобно Мак-Каллоку, он поддерживал дружеские отношения со своими учениками. Группа аспирантов и аспиранток жила в доме своего научного руководителя. По воспоминаниям одного из них, Хела Седжвика, они проводили время вместе, читали вслух стихи и прозу, вели интеллектуальные беседы. Помимо математики и психологии, Розенблатт интересовался другими направлениями науки, например он выстроил обсерваторию рядом с домом и открыл один из первых способов обнаружения экзопланет. Так же, как и Алан Тьюринг, Розенблатт был скрытым геем. Когда ему предложили вступить в «Лигу гомофилов» (Cornell Student Homophile League, основана в 1968-м), он сказал, что общество пока не готово к открытому обсуждению этой темы, видимо, помня, что случилось с его предшественником.
Академическая карьера Розенблатта была незамысловатой: после окончания Высшей школы наук в Бронксе (среднее учебное заведение с высоким уровнем преподавания) в 1946 году, Фрэнк поступил в Корнельский университет, где в 1950 году получил степень бакалавра наук, а через шесть лет — степень доктора философии с темой диссертации «Расчёт K-коэффициента и пробное применение новой техники многомерного анализа». Но на его счету были исследования, которые сегодня кажутся курьёзными. В 1966-м он присоединился к группе исследования нейробиологии и поведения, где занимался тем, что обучали крыс определённому поведению, затем умервщляли их, размалывали мозг в кашицу, вводили её в мозг других крыс и смотрели, передастся ли им выученное поведение. До этого, в 1964 году, он участвовал в исследовании, посвящённом влиянию LSD на процессы связывания серотонина в крысином мозге.
Умер Розенблатт в результате несчастного случая на водах (в английском это звучит как «boating accident»). Иными словами, он утонул. Именно этот инцидент некоторые склонны трактовать как самоубийство, хотя поводов к тому не было, и друзья учёного убеждены, что он был «не из таких».
***
Получается, что обе части мифа о перцептроне и его создателе не проходят проверку фактами. Коннекционизм не был убит Минским и Пейпертом. Денег из-за них Розенблатта не лишали. Многослойные сети Розенблатт вполне себе рассматривал. Румельхарт, от которого мы знаем о работах Розенблатта, не читал основные его работы (поздние), а читал только ранние.
Модели, созданные Розенблаттом сильно опередили время, и даже сегодня они способны эффективно решать некоторые задачи из области машинного обучения. Например, в 2001 году группа исследователей под руководством Эрнста Куссуля провела эксперименты по обучению на MNIST трёхслойных розенблаттовских перцептронов с различным количеством элементов в А-слое. Во времена Розенблатта технические возможности позволяли работать с перцептронами, содержащими в A-слое лишь до нескольких сотен элементов, а в работе Куссуля их число удалось довести до 512 000. И что вы думаете — была достигнута точность распознавания в 99,2%, что сопоставимо с лучшими моделями начала XXI века!
Заслуга Розенблатта в том, что он создал систематическую науку о нейросетях. Он вплотную приблизился к идее создания свёрточных нейронных сетей, активно искал механизмы, которые потенциально могли бы синхронизировать веса в различной части зрительного анализатора. Несмотря на некоторые установки, проистекавшие из символьного происхождения его моделей (вероятно, именно это не позволило Розенблатту открыть градиентные методы обучения нейронных сетей), наш герой сформулировал множество интересных идей, некоторые из которых не теряют актуальности и в наши дни.
Розенблатт продолжал исследования нейронных сетей до последних дней своей жизни. Из-за его внезапной кончины, работа над перцептронами продлилась всего 15 лет, но этот период стал целой эпохой в истории коннекционизма.
«Принципы нейродинамики» стали одной из основополагающих работ по теории искусственных нейронных сетей, и чтение этой книги может быть полезно всем современным исследователям в этой области.
