Роботы, беспилотники и цифровые двойники: Nvidia представила новый набор ИИ-инструментов
Компания Nvidia объявила о расширении своей стратегии в области физического искусственного интеллекта (Physical AI), представив на конференциях GTC Taipei и Computex набор открытых инструментов и готовых навыков для ИИ-агентов, предназначенных для разработки роботов, автономного транспорта, промышленных цифровых двойников и систем компьютерного зрения.
Согласно стратегии компании, новые инструменты должны сократить затраты, время разработки и сложность создания физических ИИ-систем. Они доступны в составе Nvidia Agent Toolkit и позволяют автоматизировать ключевые этапы работы — от генерации данных и моделирования до обучения, оценки и развёртывания моделей.
Дженсен Хуанг заявил, что после революции в программной разработке ИИ-агенты начинают менять и физический мир.
Источник: NvidiaОдним из ключевых компонентов новой экосистемы стала модель Cosmos 3, которую в Nvidia называют фундаментальной моделью для физического ИИ. Она способна анализировать видео и текст, понимать происходящие события, прогнозировать развитие ситуации и генерировать действия для автономных систем.
Компания также представила набор готовых «навыков» (skills), которые превращают сложные процессы разработки в последовательности инструкций, понятных ИИ-агентам. Такие навыки определяют, какие инструменты необходимо использовать, какие результаты получить и как проверить их корректность.
Для безопасного запуска подобных систем компания предлагает использовать связку NemoClaw и OpenShell. Эти решения обеспечивают управление политиками безопасности и конфиденциальности как в облаке, так и на локальном оборудовании.
Фактически Nvidia пытается сделать всю свою экосистему агентно-ориентированной. Компания адаптирует библиотеки, модели и фреймворки таким образом, чтобы ИИ-агенты могли напрямую использовать их без участия человека.
Особое внимание уделяется генерации синтетических данных, которая становится всё более важной для обучения роботов и беспилотников. Среди доступных инструментов появились системы реконструкции сцен, видео-аугментации и генерации изображений производственных дефектов.
По данным Nvidia, промышленным компаниям уже удалось получить заметные результаты. Так, Pegatron сократила время обучения и внедрения моделей визуального контроля качества на 67% благодаря синтетическим данным. Delta Electronics сообщила об улучшении обнаружения дефектов пайки на 17%, а Inventec сократила затраты на сбор данных для контроля качества корпусов ноутбуков примерно на 30%.
Среди пользователей новой платформы уже названы 1X Technologies, Agility Robotics, Agile Robots, Field AI, NEURA Robotics, Universal Robots и Skild AI.
Параллельно Nvidia усиливает присутствие в медицинской робототехнике. Foxconn и Compal используют платформу Isaac for Healthcare для разработки больничных роботов. Foxconn масштабирует систему Nurabot для ухода за пациентами и представила робота Scrub Nurse Collaborative Robot, который должен помогать медицинскому персоналу в операционных.
Значительная часть анонсов была посвящена автономному транспорту. Компании Li Auto, DeepRoute.ai и Afari используют технологии Nvidia Omniverse для реконструкции дорожных сцен и моделирования поведения автомобилей. По данным компании, их системы ежедневно создают более тысячи цифровых реконструкций и свыше 300 тысяч симуляций.
Кроме того, Foxconn, VinFast, Uber и HUMAIN присоединились к экосистеме NVIDIA DRIVE Hyperion для разработки роботакси уровня SAE Level 4.
Самым заметным аппаратным анонсом стала Nvidia Isaac GR00T Reference Humanoid Robot — эталонная платформа человекоподобного робота, построенная на вычислительном модуле Jetson Thor и программной платформе Isaac GR00T.
В компании считают, что одной из главных проблем отрасли остаётся высокая стоимость создания собственных аппаратных платформ. Новый референсный робот должен предоставить исследователям и компаниям готовую основу для разработки гуманоидов без необходимости заново проектировать всю инфраструктуру.
Платформа включает системы восприятия окружающей среды, манипуляции объектами, управления движением и встроенные вычисления на базе ИИ. Архитектура остаётся модульной: разработчики смогут использовать как весь комплекс целиком, так и отдельные компоненты.
Использовать новую платформу уже планируют исследовательские группы из Ai2, ETH Zurich, Stanford Robotics Center и лаборатории Advanced Robotics and Controls Laboratory Калифорнийского университета в Сан-Диего.
По сути, Nvidia делает ставку не только на модели искусственного интеллекта, но и на инфраструктуру для их применения в реальном мире. Компания стремится занять ту же роль в робототехнике и автономных системах, которую ранее заняла на рынке генеративного ИИ, — поставщика базовой платформы, вокруг которой строится вся экосистема.
Если эта стратегия окажется успешной, то новые инструменты смогут ускорить разработку промышленных роботов, беспилотного транспорта и гуманоидных систем, одновременно укрепив позиции Nvidia в одном из самых перспективных сегментов рынка искусственного интеллекта.
© iXBT
