Антология матричных расширений: от популярного обзора до запуска на эмуляторе
Матричные расширения в мире технологий появились лишь в 2020 году. Даже в сравнении с относительно «молодыми» темами искусственного интеллекта и квантовых вычислений это буквально «новорожденный» материал в IT-мире. И что самое интересное, матричные расширения уравняли тот разрыв в развитии, который существует между процессорными архитектурами. Свои расширения создают и Intel, и Apple, и IBM, и рабочие группы международного альянса RISC-V.
Как это ни парадаксально, по числу матричных расширений RISC-V уже обогнала все остальные архитектуры. Сейчас для нее разработаны два кастомных расширения, а два стандартных развиваются буквально у нас на глазах. Если хотите разобраться в многообещающей для высокопроизводительных вычислений теме, изучите тексты в нашей подборке. От объяснения, что такое матричные расширения и какие они бывают, мы плавно погрузимся в спецификации разработки и протестируем матричное расширение на эмуляторе.
Первое погружение: зачем вообще ускорять CPU в век ускорителей и какие матричные расширения бывают
Все довольно просто: расширения нужны для ускорения матричных операций. А последние — это основные хот-споты для приложений в сфере компьютерного зрения, AI/ML, дополненной реальности, математического моделирования и других. Спрос на вычислительные мощности для них растет так, что характеристики железа за ним не поспевает. В первую очередь требуется ускорение операций, связанных с умножением матриц.
Вы можете подумать, что матричные нагрузки — это что-то для суперкомпьютеров и мощные вычислительных кластерах. Но на самом деле мы постоянно сталкиваемся с ними на самых обычных смартфонах, когда обрабатываете фотографии или видео, на планшетах, ноутбуках и не самых мощных персональных компьютерах без видеокарт.
Что вы узнаете из текста:
Как ускоряли матричные операции на CPU до появления расширений.
Как расширения ускоряют вычисления.
Какие бывают виды матричных расширений.
Что мы знаем о существующих матричных расширениях, разработанных вендорами.
Какие показатели ускорения матричных операций демонстрируют расширения.
Читать подробнее →
Погружаемся в матричные расширения для архитектуры RISC-V
Матричные расширения для открытой архитектуры представляют особый интерес. Как минимум потому, что все наработки можно изучить и даже начать тестировать в своей работе. Чего не скажешь о проприетарных расширениях, информацию о которых найти в разы сложнее.
В конце 2023 года международный консорциум RIDC-V сформировал две рабочие группы: одна разрабатывает интегрированное матричное расширение (IME), а вторая — независимое (AME). За работой обеих можно буквально наблюдать онлайн — на GitHub соответствующих рабочих групп (IME TG и AME TG).
Несмотря на похожие дорожные карты, у этих стандартных матричных расширений свой путь. Так, они по-разному декомпозируют блоки матриц по векторным регистрам. При этом обе рабочие группы единодушны в решении о поддержке разреженных матриц. Это матрицы с преимущественно нулевыми элементами. Для разреженных матриц существуют специальные форматы хранения, чтобы не тратить память компьютера на многочисленные нули, а для операций над ними разработаны специальные алгоритмы, исключающие эти нули из вычислений.
Что вы узнаете из текста:
Почему компания T-Head выбрала независимый тип матричного расширения.
Какие варианты декомпозиции блоков матриц по векторным регистрам рассматривает рабочая группа интегрированного расширения.
Как выглядит работа с разреженными матрицами в независимом матричном расширении.
Узнать больше →
Зум на матричное расширение от T-Head
Если вы готовы погрузиться еще дальше, тут не обойтись без практики — и мы постепенно к ней подходим. В третьем тексте антологии рассмотрим под лупой независимое матричное расширение для RISC-V.
Прочитав этот текст, вы можете попробовать реализовать алгоритм с использование этого матричного расширения, соотнести эту практику с предыдущим опытом низкоуровневых оптимизаций. А самые любопытные могут написать программу для расширения, которого еще нет ни в одном процессоре, и запустить ее на эмуляторе.
Само расширение дружелюбно к «новичкам»: его ISA минималистична и подходит для первых опытом использования матричного расширения в своем коде.
Чем полезен текст:
Разберетесь в спецификации матричного расширения — последовательно, блок за блоком.
Посмотрите на реализацию поэлементного произведения блоков матрицы при помощи матричного расширения от T-Head.
Узнать больше →
Матричные расширения на практике
В заключительной статье цикла разберем пример использования матричного расширения T-Head под RISC-V для реализации алгоритма матричного умножения. Сначала кратко рассмотрим наивную скалярную реализацию и блочный вариант алгоритма. Затем реализуем аналогичный вариант с использованием матричного.
В заключение инженер поделится идеями, которые помогут в дальнейшей оптимизации матричного умножения, и полезными ссылками.
Что вы узнаете из текста:
С каким эмулятором лучше работать, чтобы протестировать матричное расширение.
Где найти тулчейн RISC-V для сборки.
Как выглядит скалярная реализация алгоритма умножения матриц.
И как реализовать матричную реализацию — чем она отличается от скалярной.
Узнать больше →
Если вас интересует конкретная тема в области матричных расширений, пишите в комментариях! Будем рады продолжить этот цикл новыми статьями.
