Российские компании переходят на игровые видеокарты для внедрения LLM

Nvidia Hopper H100 GPU Logic Board
Источник: UJoy

Высокая цена профессионального оборудования для искусственного интеллекта заставляет компании искать альтернативы и оптимизировать расходы. По словам Владислава Беляева, исполнительного директора и сооснователя AutoFAQ, стандартный сервер с одной серверной видеокартой NVIDIA H100 или A100 обходится примерно в 4−4,5 млн рублей. При ограниченных бюджетах такую сумму готовы потратить немногие.

Запуск языковых моделей возможен и без GPU, однако при этом ответ от системы будет формироваться до минуты — это исключает применение в клиентском сервисе и поддержке сотрудников HR или IT, где важна скорость реакции и качество информации.

Основное назначение установки — обучение продвинутых нейросетей и разработка универсального искусственного интеллекта
Источник: X/Twitter

Для эффективной работы в корпоративных процессах рекомендуются модели с минимум 22 млрд параметров, которые требуют до 80 ГБ памяти. На российском рынке выделяют три базовых решения:

— Покупка специализированных GPU NVIDIA A100 или H100 — вариант надежен для сложных задач, но отличается предельной стоимостью.

— Использование доработанных RTX 4090 от китайских производителей: объем памяти увеличивается с 24 ГБ до 48 ГБ. Две такие карты, плюс остальная конфигурация, стоят 1−1,3 млн рублей, что гораздо доступнее серверных вариантов.

— Новая NVIDIA RTX PRO 6000 c архитектурой Blackwell, появившаяся весной 2025 года: видеопамять — 96 ГБ, производительность выше, чем у H100, и подходит для установки в обычные рабочие станции с питанием от 1200W. Одна такая карта и необходимое оборудование оцениваются в 1,2−1,8 млн рублей.

Оптимальным подходом считается постепенное расширение парка компьютеров, способных одновременно обслуживать множество запросов. Для обработки LLM каждому устройству достаточно одной Blackwell RTX PRO 6000, а для эмбеддеров подойдет обычная или модифицированная GeForce RTX 4090.

Точная подборка оборудования способна снизить стартовые траты на внедрение ИИ в 2−3 раза и обеспечить заметное увеличение скорости обработки данных, делая искусственный интеллект доступным даже компаниям среднего размера.

Поделиться

©  HI-TECH@Mail.Ru