Nvidia представила программную платформу NIM для для оперативного развертывания AI-моделей
На конференции GTC Nvidia анонсировала новую программную платформу Nvidia NIM, предназначенную для оптимизации развёртывания пользовательских и предварительно обученных моделей искусственного интеллекта в производственных средах.
Источник: NvidiaКак правило, на разработку подобных контейнеров разработчикам требуются недели, а то и месяцы, утверждает Nvidia, и это при условии, что у компании есть штат специалистов по искусственному интеллекту. С помощью NIM Nvidia стремится создать экосистему контейнеров, готовых к использованию, которые используют её оборудование в качестве базового уровня, а тщательно подобранные микросервисы — в качестве основного уровня программного обеспечения для компаний, которые хотят ускорить реализацию своих разработок в области искусственного интеллекта.
В настоящее время NIM включает поддержку моделей NVIDIA, A121, Adept, Cohere, Getty Images и Shutterstock, а также открытых моделей Google, Hugging Face, Meta, Microsoft, Mistral AI и Stability AI. Nvidia уже работает с Amazon, Google и Microsoft, чтобы сделать микросервисы NIM доступными в SageMaker, Kubernetes Engine и Azure AI. Они также будут интегрированы в такие платформы, как Deepset, LangChain и LlamaIndex.
«Мы считаем, что графический процессор Nvidia — лучшее место для моделей и что NVIDIA NIM — лучший пакет программного обеспечения, лучшая среда разработки, чтобы авторы могли сосредоточиться на разработке корпоративных приложений. Просто позвольте Nvidia выполнить работу по созданию этих моделей наиболее эффективным образом», — сказал во время пресс-конференции Манувир Дас, руководитель отдела корпоративных вычислений в Nvidia.
Nvidia будет использовать сервера Triton, TensorRT и TensorRT-LLM. Некоторые из микросервисов Nvidia, доступных через NIM, будут включать Riva для настройки речевых моделей и переводчиков, cuOpt для оптимизации маршрутизации и модель Earth-2 для моделирования погоды и климата.
Компания планирует со временем добавить дополнительные возможности, в том числе, например, сделать оператора LLM Nvidia RAG, что обещает значительно упростить создание генеративных чат-ботов, способных использовать пользовательские данные.
© iXBT
