Память с калькулятором. Вычисления внутри DRAM становятся мейнстримом

29fsr4bmtfypolijlsxcpp5e270.jpeg

Всеобщий переход к параллельной обработке данных и кардинальное увеличение размера нейросетей привели к тому, что некоторые типы вычислений сейчас требуют очень быстрого доступа к памяти. В то же время разрыв в скорости доступа между микросхемой CPU и оперативной памятью чрезвычайно велик. Процессоры становятся всё быстрее, а скорость доступа к DRAM практически не растёт.

Оригинальная компьютерная архитектура фон Неймана не предусматривала разделение логики и памяти. Но прогресс не стоит на месте — и вот уже несколько производителей разработали интегрированные модули типа processing-in-memory (PIM). Это Samsung, SK hynix и израильский стартап NeuroBlade.
Благодаря переносу части логики в микросхемы памяти сокращается трафик между CPU и DRAM, то есть меньше данных перемещается между чипами. По некоторым оценкам, с точки зрения энергозатрат перемещение данных из памяти обходится примерно в 650 раз дороже, чем операция умножения в CPU.

cq3-i4hz7uqg1ist7ucywkpkqdq.jpeg

Конечно, вычисления в памяти — это не новая идея. Но возможно, что сейчас её время наконец-то пришло, пишет IEEE Spectrum. В прошлом году такую технологию начала внедрять Samsung. В феврале 2021 года она интегрировала вычислительные ядра в память с высокой пропускной способностью Aquabolt-XL. Это высокопроизводительная память, которую устанавливают в специализированные ускорители AI.

Новая память HBM-PIM призвана заменить обычные чипы HBM.

Например, с AI-ускорителем Xilinx Alveo технология PIM обеспечивает почти 2,5-кратный прирост производительности и снижение энергопотребления на 62% в нейросети распознавания речи.

7h3jruqiuba316f55lzqftrqd50.jpeg

Samsung планирует разработать PIM также для следующего поколения DRAM с низким энергопотреблением в мобильных устройствах. Этот стандарт будет принят JEDEC ориентировочно в I пол. 2022 года.

Существует множество способов добавить вычислительные возможности в чипы памяти. Samsung выбрала простую и эффективную конструкцию: стопка микросхем DRAM вертикально прошита «каналами сквозь кремний» (through-silicon vias, TSV). На нижнем слое лежит логическая микросхема, которая служит интерфейсом к процессору.

image-loader.svg

Кроме Samsung, технологию PIM внедряют и другие компании. Второй по величине производитель памяти SK hynix совместно с университетом Пердью ещё в 2020 году представил архитектуру специализированного AI-ускорителя Newton с ядрами вычислителей в памяти типа HBM-PIM, но компания решила не выпускать его в продажу и вместо этого заняться разработкой PIM для стандартных модулей DRAM.

Третий по величине производитель Micron утверждает, что у него нет таких продуктов, но в 2019 году купил стартап Fwdnxt с целью разработки «инноваций, которые сближают память и вычисления».

© Habrahabr.ru