Фотонная искусственная нейронная сеть
В одной из предыдущих статей мы уже знакомились с одним из исследований в области нейроморфных систем. Сегодня мы снова затронем эту тему, но речь пойдет не о создании искусственной нервной клетки, а о том как эти клетки объединить в одну рабочую сеть. Ведь мозг человека это как самая сложная паутина в мире, состоящая из миллиардов пересечений и соединений нейронов. Исследователи предположили, что использование света вместо электричества сильно упростит процесс создания искусственной нейронной сети, сопоставимой по сложности с мозгом человека. Помимо громких слов, сложных расчетов и далеко не одного опыта, ученые предоставили рабочую демо-версию своего устройства. Как оно работает, в чем его особенности и что оно несет для будущего нейроморфных технологий? Ответы на все вопросы сокрыты в отчете исследователей. Осталось их найти. Поехали.
Ученые из NIST (National Institute of Standards and Technology / Национальный институт стандартов и технологий) создали чип, способный использовать световые сигналы, поскольку в нем имеется два «слоя» фотонных волноводов. Последние преобразуют потоки света в узкие полосы для передачи оптических сигналов. По словам ученых подобная разработка позволит реализовать сложные системы маршрутизации сигналов, которые можно будет расширять еще и за счет добавления дополнительных чипов.
Структура устройства
Стоит отметить, что фотонный коллектор, экспериментально описанный в исследовании, работает независимо от длины волны или временного мультиплексирования*.
Временное мультиплексирование* — передача нескольких сигналов одновременно по одному каналу.
Изображение №1
Основой структуры коллектора является 2 вертикальные интегрированные плоскости волноводов. Нижняя плоскость (P1) направлена на восток, тогда как вторая (Р2) на юг, что позволяет избежать пересечений.
Свет из P1, собранный из каждого входного узла, направляется к P2, когда начинает движение в направлении востока. Подобная маршрутизация позволяет сократить число задействованных волноводов, поскольку каждый входящий сигнал направляется с помощью звездообразного соединителя*.
Звездообразный соединитель* — устройство, принимающее входящий сигнал и распределяющее его на несколько исходящих.
Коллектор реализован из двух слоев нейронной сети с обратной связью, связанных между собой:
- 10 восходящих нейронов;
- 10 нисходящих нейронов с 100 синапсами.
На изображении 1с показана схема отдельного участка системы, описывающая структуру слоев коллектора.
Ремарка: в докладе используются сокращения, связанные с изображениями 1b и 1с, а именно Tx (передатчики первого слоя нейронов) и Sx, y (синапсы / приемники нейронов второго слоя). Таким образом, к примеру, S8,3 это синапс третьего приемника, получающего сигнал от восьмого передатчика (T8).
Такая структура сети позволяет каждому входному узлу формировать группу из 10 исходящих потоков, которые в совокупности представляют весь входной массив. Каждая группа действует подобно синапсам (приемникам) для конкретного нисходящего нейрона. Данная структурная особенность продемонстрирована на изображении 1b.
Цель коллектора состоит в том, чтобы направлять каждый вход на один синапс каждого выхода, следуя заданному паттерну распределения мощности.
Исследователи создали два варианта системы:
- равномерная — каждый исходящий синапс обеспечен мощностью одинаково;
- Гауссова — синапс из серединных нейронов восходящего слоя получает большую часть мощности, а синапсы по периферии нейронов — значительно меньше.
Для автоматической генерации шаблонов для обоих вариантов был написан скрипт, переменные которого отвечали за число нейронов и профили распределения интенсивности.
Самым важным элементом системы является, так называемое, устройство отвода и передачи, показанное на изображении 1е. Это устройство состоит из отводчика луча и межплоскостного ответвителя (далее IPC), расположенных максимально близко друг к другу. Задача устройства заключается в отводе определенной части мощности шины в перпендикулярный волновод на верхней плоскости.
Волноводы P1 и P2 адиабатически сужаются и расширяются на расстояние в 1.5 мкм (соединение красной и синей линий на изображении 1е), чтобы максимально уменьшить потери рассеяния вдоль всей своей длины.
Для уточнения, волновод P1 сужается до ширины 400 нм на расстоянии 12 мкм, а потом возвращается к исходной ширине спустя 18 мкм. Далее P1 сужается до своей минимальной ширины в 200 нм на протяжении 12 мкм. P2, в свою очередь, повторяет этот паттерн только в обратном порядке. В итоге, общая длина IPC составляет 42 мкм.
Когда сеть имеет такие габариты, крайне важно обеспечить ее внушительным динамическим диапазоном коэффициентов отвода мощности, что позволит достичь равномерного или Гауссового распределения.
Для удовлетворения подобного требования коллектор использует три соединительных зазора и переменную длину соединения, что позволяет успешно расширить диапазон распределения мощности сети.
Соединительный зазор выбирается скриптом из таблицы поиска, где собираются данные предшествующих вычислений коэффициентов отвода.
Значения трех зазоров следующие: 300 нм, 400 нм и 500 нм. А длина соединения варьируется от 2.7 мкм до 19 мкм.
Изготовление коллектора
Фотонный коллектор был изготовлен в стенах Boulder Microfabrication Facility национального института стандартов и технологий.
Внутри лаборатории: куратор «чистого помещения» Джон Нибаргер (John Nibarger) рассматривает держатель для пластины, предназначенной для инструмента осаждения напыляемых материалов для распыления благородных металлов.
Диаметр кремниевой пластины составил 77 мм.
Изображение №2: оптические снимки изготовленных образцов
Плоскость двух волноводов в образцах состоит из пленки SiN (нитрид кремния), толщиной 400 нм с межплоскостным расстоянием в 1.2 мкм и номинальной шириной 800 нм. Материал для пленки SiN депонировали при весьма низких температурах (24, 25 и 40 °C) дабы минимизировать механическое напряжение и несоответствие теплового расширения.
Пленка SiN имела показатель преломления 1.96, а показатель потерь распространения волн составил ∼5 дБ/см при длине волны λ = 1310 нм.
Со всех сторон волноводы облицованы плазменно депонированным SiO2 (диоксид кремния).
Коллектор с равномерным распределением
Как мы уже поняли, в независимости от входящей мощности на каждый подключенный выходной синапс должна приходится одинаковая часть мощности. К примеру, направив свет к входному узлу Tx, мы должны увидеть следующее распределение мощности: Sx,1 = Sx,2 = Sx,3 · · · = Sx,10.
Изображение №3b: инфракрасный снимок коллектора, на котором видно как свет появляется из исходящего узла
Дабы удовлетворить это требование коэффициент распределения составил от 0.1 до 0.5.
Изображение №4
На изображении 4а собраны измеренные показатели интенсивности, а на 4b — все ошибки. И тут мы видим, что несмотря на некоторые погрешности, большая часть синапсов демонстрирует хорошую равномерность.
В качестве образца показан уровень равномерности мощности исходящих узлов для Т8 (входной) (4с).
Ошибки в свою очередь вычисляются как отклонение каждой точки от среднего значения. На изображении 4d среднее значение было измерено из абсолютной величины ошибок в каждом ряду на изображении 4b. Совместив все данные вычислений, исследователи получили среднее значение погрешности — 0.7 дБ.
Еще одним важным параметром для изучения стала спектральная зависимость коллектора с равномерным распределением. Для этого было установлено соединение только с одним входным узлом Т8, после чего проводились наблюдения изменений в равномерности на выходе со сканированием длины волны.
Изображение №5
На изображении 5а продемонстрирована зависимость мощности от длины волны. 5b отображает все ошибки.
С графика 5с видно, что самое меньшее среднее значение ошибок равно 0.46 дБ, наблюдаемое при длине волны 1320 нм. Этот параметр не поднимается выше 1 дБ даже при полосе пропускания в 50 нм.
Коллектор с гауссовским распределением
Данный коллектор сделан таким образом, что синапсы получают мощность по принципу гауссовской огибающей.
Изображение №6
Наложение огибающей на экспериментально определенную синаптическую распределенность мощности для входного узла T8 показало отличное согласование (6с).
В остальном, измерения проводились по той же схеме, что и с предыдущим коллектором.
Изображение 6а это совокупность показателей зависимости мощности от длины волны. 6b — ошибки.
График 6d является средним значением абсолютной величины ошибок, подсчитанным с учетом всех рядов из 6b. Этот показатель составил 0.9 дБ.
Далее последовало измерение спектральной зависимости. Как и с предыдущим коллектором, участвовал в измерениях только узел T8.
Изображение №7
Зависимость мощности от длины волны представлена на изображении 7а, а ошибки на 7b.
Также из изображения 7а видно движение барицентра* огибающей в сторону синапса с наименьшим номером при увеличении длины волны.
Барицентр* — среднее арифметическое положение всех точек фигуры.
Самое меньшее значение ошибок, 0.42 дБ, наблюдалось при длине волны 1310 нм, что продемонстрировано на графике 7с.
При учете что у обоих вариантов коллектора самое малое значение ошибок наблюдается примерно при одинаковой длине волны, можно утверждать, что коэффициент отвода можно достаточно хорошо откалибровать при длине волны 1310–1320 нм.
Подведение итогов
Измерения числа ошибок и их среднего показателя в обоих вариантах коллекторов дали понять, что выходные узлы с большим номером имеют недостаток мощности, особенно если они подключены к узлам с меньшим номером. Ученые пришли к выводу, что подобное связано большим количеством пересечений этих волноводных маршрутов, а это увеличивает потери по сравнению с другими маршрутами. Помимо этого, потери распределения накапливаются вплоть до 1 дБ для самых длинных маршрутов, что воздействует на равномерность распределения мощности.
Другой тип наблюдаемых ошибок это темные и светлые синапсы, которые отчетливо видны на изображениях выше (к примеру, синапс S2,7 на изображении 6b). Подобный дефект связан скорее всего с механическим повреждением во время планаризации (удаление неровностей с поверхности пластины).
Стоит отметить, что подобные ошибки можно исправить. Для этого необходимо скорректировать коэффициент отвода таким образом, чтобы синапсы получали больше света. Подобное решение может значительно улучшить распределение мощности по коллектору.
Другими словами, самыми распространенными ошибками в данном эксперименте являются те, что вызваны случайными дефектами во время изготовления образца или во время самих экспериментальных исследованиях.
Ошибки в интенсивности могут влиять на энергоэффективность системы, при этом не затрагивая процесс обработки данных. Но это зависит и от типа самой системы.
В нейроморфных системах каждый синапс нуждается в определенном минимальном количестве фотонов, чтобы спровоцировать реакцию. Если же в сети распределения оптической мощности между нейроном и синапсом есть узлы, которые непреднамеренно получают аномально малое количество фотонов, то необходимо просто увеличить подачу света, вырабатываемого нейроном. Это позволит обеспечить поступление оптического сигнала к самым слабым соединениям.
Проведение экспериментальных измерений коллектора с гауссовским распределением лишний раз показало, что подобное устройство возможно реализовать для разной архитектуры системы ввиду высокой степени контроля над процессом распределения мощности.
Важно отметить, что система, использующая подобные коллекторы, является масштабируемой за счет добавления большего числа входных и исходных узлов. Единственно, что омрачает столь положительные результаты, это потери связанные с пересечением волноводов. Было установлено, что максимальное число пересечений на одном маршруте пропорционально квадрату числа узлов.
Потери от одного пересечения составляют 6 мдБ. Если в коллекторе имеется 22 входных и 22 исходных узла, то общий показатель потерь составит 3 дБ. Подобного можно избежать очень просто — увеличив межплоскостное пространство. Таким образом потери будут минимальны, хоть и размер чипа увеличится.
Для более подробного ознакомления с материалами исследования настоятельно рекомендую перейти по ссылке.
Эпилог
Кто-то скажет, что ученые, занимающиеся подобными исследованиями тратят время впустую. Я бы не был столь радикален. Любое знание, полученное в ходе какого-либо практического опыта или теоретического переосмысления, важно для общего блага науки и, как следствие, жизни общества. Это словно один маленький кусочек пазла, без которого общее представление о картине головоломки не изменится, однако она будет неполной.
Как сказал Георг Лихтенберг:
Самые великие вещи в мире вызваны другими, которые мы считаем ничтожными. («The greatest things in the world are brought about by other things which we count as nothing.»)
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас оформив заказ или порекомендовав знакомым, 30% скидка для пользователей Хабра на уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5–2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps от $20 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле? Только у нас 2 х Intel Dodeca-Core Xeon E5–2650v4 128GB DDR4 6×480GB SSD 1Gbps 100 ТВ от $249 в Нидерландах и США! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5–2650 v4 стоимостью 9000 евро за копейки?
