Российские учёные придумали, как снизить нагрузку на дата-центры
- МФТИ разработал алгоритм HARP для сжатия нейросетей; алгоритм и обработанные с его помощью модели доступны бесплатно.
- HARP дополняет методы квантования и помогает уменьшить потери точности при сокращении объёма данных.
- Эксперт НТИ отметил, что HARP можно встроить в существующие инструменты сжатия без перестройки процессов разработки.
Почему это важно: Эффективное использование имеющегося оборудования может облегчить развитие отечественных ИИ-сервисов на фоне растущего спроса на вычислительные мощности.
Учёные Московского физико-технического института разработали алгоритм HARP, который позволяет эффективнее сжимать нейросети и снижать потребность в вычислительных ресурсах дата-центров.
Разработка и уже обработанные с её помощью модели доступны для свободного использования. Решение призвано повысить эффективность работы больших языковых моделей, которым требуются значительные мощности и высокая пропускная способность памяти.
В основе подхода лежит улучшение квантования — метода, при котором веса нейросети представляют меньшим количеством битов, сокращая объём данных. Однако чрезмерное сжатие может ухудшать точность ответов модели. Алгоритм HARP помогает уменьшить такие потери и не заменяет существующие методы квантования, а дополняет их. Разработку протестировали на моделях разного масштаба.
Эксперт НТИ по новым материалам и технологиям Евгений Вишневский отметил, что HARP можно встроить в уже используемые инструменты сжатия без необходимости перестраивать привычные процессы разработки. Для российского рынка это особенно важно на фоне растущего спроса на вычислительные мощности. Более эффективное использование имеющегося оборудования может облегчить развитие отечественных ИИ-сервисов и их внедрение в различных отраслях экономики. При этом реальное снижение нагрузки будет зависеть от характеристик моделей и условий их эксплуатации.
© iXBT
