Моддер создал инструмент для повышения производительности ИИ на видеокартах NVIDIA GeForce RTX
- Пользователь physicsdolphin выпустил открытый nv-uefi-unlocker: он меняет регистры до загрузки драйвера при запуске с подготовленной USB-флешки.
- Инструмент поддерживает GeForce RTX 20–40; RTX 50 не поддерживается, а совместимость с GTX 16 экспериментальная.
- На мобильной RTX 4060 производительность FP16 GEMM выросла на 65%; владелец RTX 3080 LHR сообщил о приросте 28,8% в ComfyUI SDXL.
Почему это важно: Инструмент объединяет прежние методы в автоматизированное решение, совместимое с Windows.
На прошлой неделе портал Videocardz рассказал о нескольких проектах, позволяющих повысить производительность графических процессоров NVIDIA GeForce в задачах искусственного интеллекта. Эти модификации способны почти удвоить пропускную способность определенных операций с использованием тензорных ядер, однако большинство из них требуют ручной настройки и предназначены преимущественно для ОС Linux. Новый проект под названием nv-uefi-unlocker призван упростить этот процесс. Он объединяет существующие методы в единый инструмент, работающий на уровне UEFI и совместимый с Windows.
Источник: VideocardzЭта утилита с открытым исходным кодом, разработанная пользователем physicsdolphin, запускается еще до загрузки графического драйвера NVIDIA. Она вносит изменения в регистры на уровне прошивки, снимая ограничения на скорость выполнения определенных инструкций тензорных ядер. Процесс происходит автоматически при загрузке системы с подготовленного USB-накопителя, после чего управление передается операционной системе. В отличие от модификации VBIOS, этот метод не вносит необратимых изменений в прошивку видеокарты, а после полного выключения и включения питания процедуру разблокировки необходимо выполнять заново.
На данный момент проект поддерживает видеокарты серий GeForce RTX 20, RTX 30 и RTX 40, включая как настольные, так и мобильные версии. Также ведется работа над поддержкой серии GTX 16, хотя на текущем этапе совместимость остается экспериментальной. Серия GeForce RTX 50 не поддерживается, поскольку существующие методы разблокировки не работают с графическими процессорами архитектуры Blackwell.
Источник: VideocardzСуществует ряд требований: для стандартной настройки необходимо отключить функцию безопасной загрузки (Secure Boot), а для графических процессоров архитектуры Turing требуется дополнительная настройка микропрограммы GSP (GSP firmware). Далеко не все модели видеокарт и конфигурации систем прошли независимое тестирование.
— Серия RTX 20: проверено на RTX 2070 (прирост производительности в операциях FP32 GEMM составил 67–75%) и RTX 2060 SUPER. Требуется активация режима GSP firmware и перезагрузка системы.
— Серия RTX 30: полная совместимость, начиная с версии 2.1.0. Проверено на RTX 3060 Ti LHR; также имеются данные о работе с моделями RTX 3060, мобильной RTX 3070, 3080 и мобильной RTX 3080 Ti. Согласно результатам, полученным сообществом ранее, прирост производительности составляет 58–85%.
— Серия RTX 40: протестировано на мобильной RTX 4060, где производительность операций GEMM в формате FP16 выросла с 29,89 до 49,33 TFLOPS (+65%).
Однако пользователям не стоит ожидать, что этот прирост будет заметен во всех приложениях с использованием ИИ. Данные улучшения касаются прежде всего вычислительно емких задач, задействующих форматы FP16, BF16 и некоторые операции TF32. В зависимости от используемого программного обеспечения, выигрыш возможен при генерации изображений, обучении моделей и выполнении определенных задач логического вывода. Например, один из владельцев RTX 3080 LHR сообщил о повышении производительности в ComfyUI SDXL на 28,8%, что значительно меньше показателей, полученных в синтетических тестах для ядер Tensor Core.
