Умельцы обошли ограничения Nvidia и ускорили на 80% в задачах искусственного интеллекта
- Разработчик zagitta выпустил GPU Unlock для Linux: программа подменяет идентификатор карты и снимает программные ограничения драйвера.
- На RTX 3090 Ti скорость вычислений BF16 выросла с 87,5 до 157 триллионов операций в секунду, а TF32 — с 42,6 до 82,6.
- В vLLM обработка длинных текстов ускорилась на 33–36%; инструмент поддерживает серии GTX 900, GTX 1000, RTX 20 и RTX 30.
Почему это важно: В практических сценариях время ожидания первого ответа нейросети сокращается на четверть.
Потребительские видеокарты Nvidia часто обладают скрытым потенциалом, который производитель ограничивает программно, оставляя максимум для более дорогих профессиональных моделей. Энтузиасты регулярно ищут способы обойти эти искусственные барьеры и выжать из железа все, на что оно способно.
Изображение: WCCFTech
Разработчик под ником zagitta создал открытый проект под названием GPU Unlock. Его инструмент работает в операционной системе Linux и вмешивается в работу драйвера видеокарты. Программа подменяет идентификатор устройства, и система начинает думать, что перед ней не обычная потребительская карта, а дорогая профессиональная модель. Из-за этого драйвер снимает программные ограничения и открывает доступ к дополнительным вычислительным возможностям.
Эффект от такой манипуляции оказался впечатляющим. На видеокарте RTX 3090 Ti производительность в формате BF16, который активно используется в задачах искусственного интеллекта, выросла с 87,5 до 157 триллионов операций в секунду. Это прирост почти на 80%. Показатели в формате TF32 также увеличились почти вдвое: с 42,6 до 82,6 триллиона операций в секунду.
Видеокарта из пропавшей в Бразилии партии RTX 5090 на $500000 появилась на OLX примерно за $6000
Китайские умельцы переделывают игровые RTX 5090 в ускорители для ИИ
Изображение: WCCFTech
Польза заметна и в практических сценариях. При работе с движком vLLM, который применяется для запуска больших языковых моделей, скорость обработки длинных текстов выросла на 33–36%. Время ожидания первого ответа от нейросети сократилось на четверть. Правда, скорость генерации последующих слов осталась почти без изменений, так как пропускная способность памяти осталась прежней.
Сейчас инструмент поддерживает видеокарты серий GTX 900, GTX 1000, RTX 20 и RTX 30. Более новые модели RTX 40 и RTX 50 пока не поддерживаются. Работает все это исключительно на Linux, поэтому владельцам Windows, желающим попробовать метод, придется либо переходить на другую систему, либо ждать, пока энтузиасты адаптируют решение.
