Toshiba представила нейроморфный процессор с низким энергопотреблением
Японская компания Toshiba заявила о своем вкладе в развитие Интернета вещей и анализа больших данных. На этот раз она разработала нейроморфный процессор с очень низким энергопотреблением для нейронных сетей с временной задержкой (TDNN). Эта сеть состоит из большого количества модулей, в которых используется не цифровая, а аналоговая обработка данных.
Алгоритмы глубинного обучения требуют огромного числа вычислений. Их выполняют на процессорах с высокой производительностью, которые потребляют много энергии. Однако если мы хотим, чтобы эти алгоритмы работали в Интернете вещей, различных датчиках и смартфонах, нужны энергоэффективные микросхемы, которые могут выполнять большое число операций, потребляя при этом крайне мало энергии.
В чипе Toshiba применяется аналог временного интервала и методы смешанной обработки сигналов (TDAMS). Они позволяют уменьшить размеры нейроморфного процессора. Арифметические операции вроде сложения эффективно выполняются в TDAMS при помощи задержки времени цифрового сигнала, передающего логический элемент как аналоговый сигнал. Используя эту технику, процессор для глубинного изучения конструируется всего из трех логических элементов и одноразрядной памяти с полностью пространственно развернутой архитектурой. Японская компания создала прототип микросхемы с ячейками статической памяти (SRAM), успешно распознавший рукописный текст. Расход энергии на одну операцию составил 20,6 фемтоджоулей, что эквивалентно 46 триллионам операций в секунду с 1Вт потребляемой мощности. Результат оказался в 1/6 раз лучше, чем последнее достижение, продемонстрированное на International Solid-State Circuits Conference 2016.
В компьютерной архитектуре фон Неймана большая часть энергии потребляется при перемещении данных между памятью и процессором. Наиболее эффективный альтернативный способ сокращения «пути» передачи данных заключается в том, чтобы поместить огромное количество процессоров, каждый из которых будет обрабатывать только один элемент набора данных, который находится рядом. Когда входной сигнал преобразуется в выходной, точкам хранения данных присваивается определенный вес. Именно вес является тем параметром, который будет в автоматическом режиме управлять глубинным процессом обучения. Чем ближе бочка будет к выходному сигналу, тем больше вес.
Архитектура имеет сходство с мозгом человека: сила связи между нейронами — весовой коэффициент, который встроен в синапсы (процессоры). Синаптические связи между нейронами имеют различную силу. Эта сила связи определяется выходной сигнал. Таким образом, синапс выполняет своего рода обработку. Эта архитектура привлекательна для разработчиков, но у нее есть один существенный недостаток: ее массовое производство требует большого количества арифметических схем, которые быстро становятся слишком большими.
Разумеется, это не первый нейроморфный процессор, который можно использовать в работе с искусственными нейросетями. Компании Qualcomm, IBM, Human Brain Project, KnuEdge Inc. и другие активно занимаются разработкой чипов, имитирующих работу человеческого мозга. В 2014 году компания IBM Research представила чип TrueNorth из миллиона цифровых нейронов и 256 миллионов синапсов, которые входят в состав 4096 синапсных ядер. Над этой разработкой шесть лет трудились сотрудники компании по заказу DARPA. Они не прошли даром: в 2011 году прототип состоял всего из 256 нейронов, а уже через три года насчитывал миллион. На демонстрации возможностей чип распознавал на видео с перекрестка автомобили, велосипедистов и пешеходов. Обычный ноутбук справился с этой задачей, обработав кадры в 100 раз медленнее и потребляя в 1000 раз больше энергии, чем микросхема IBM. C 2016 года чипы тестируются в Ливерморской национальной лаборатории. Исследователи пытаются выяснить, в какой области они окажутся наиболее эффективными.
Компания Qualcomm представила свой прототип процессора, имитирующего свойства человеческого мозга, на год раньше IBM — в 2013. Проект получил название Zeroth («нулевой»). Создатели заявляли, что их процессор, размещенный в смартфонах, компьютерах, роботах и других устройствах, позволит им самообучаться в процессе работы. Первые чипы должны были появиться в 2014 году, однако этого не произошло. Вместо этого компания выпустила в 2015 году одноименную распознавательно-вычислительную платформу.
Другой пример — процессор KnuPath Hermosa от KnuEdge Inc.: 256 процессорных ядер, 64 программируемых модуля DMA, 72Мбайт встроенной памяти, 34 Ватта потребляемой мощности. В составе процессора 16 двунаправленных каналов ввода-вывода, что позволяет обеспечить пропускную способность подсистемы оперативной памяти до 320Гбит/с. Сейчас компания активно работает над созданием программного обеспечения, совместимого с нейроморфным процессором. Она уже выпустила программу KnuVerse, которая умеет распознавать и идентифицировать голос. В отличие от других голосовых помощников, KnuVerse может работать в шумной обстановке. Кроме того, разработчики программы решили многие проблемы, связанные с безопасностью. Разработка увидела свет еще пять лет назад, но использовалась только военными.
Что касается практического применения нейроморфных технологий, Samsung в своих смартфонах Galaxy S7 и S7 Edge использует чип FinFET Exynos 8890. Главная его особенность заключается в ядре М1, в который встроена нейросеть.
