NVIDIA представила инструменты для робототехники в Omniverse

Недавно компания NVIDIA представила новые библиотеки NVIDIA Omniverse и модели мирового фундамента NVIDIA Cosmos, которые ускоряют разработку и внедрение робототехнических решений.

Эти библиотеки и модели, поддерживаемые новыми серверами NVIDIA RTX PRO и облаком NVIDIA DGX, позволяют разработчикам создавать физически точные цифровые двойники, захватывать и реконструировать реальный мир в симуляции, генерировать синтетические данные для обучения моделей физического ИИ и строить ИИ-агентов, которые понимают физический мир.

Запуск Omniverse инструментов для робототехники от NVIDIA с новыми библиотеками, моделями Cosmos физического ИИ и инфраструктурой вычислений ИИ

• NVIDIA открывает новые возможности в мире робототехники с новыми библиотеками Omniverse, моделями Cosmos физического ИИ и инфраструктурой вычислений ИИ
• 11 августа 2025 года
• NVIDIA открывает новые возможности в мире робототехники с новыми библиотеками Omniverse, моделями Cosmos физического ИИ и инфраструктурой вычислений ИИ
• Новые библиотеки NVIDIA Omniverse NuRec для 3D Gaussian Splatting позволяют масштабировать реконструкцию мира
• Новые модели NVIDIA Cosmos обеспечивают генерацию мира и пространственное мышление
• Новые серверы NVIDIA RTX PRO Blackwell и облако NVIDIA DGX позволяют разработчикам запускать самые требовательные симуляции в любом месте
• Лидеры физического ИИ, такие как Amazon Devices & Services, Boston Dynamics, Figure AI и Hexagon, используют симуляцию и генерацию синтетических данных

«Компьютерная графика и ИИ объединяются, чтобы кардинально изменить робототехнику», — говорит Рев Лебаредиан, вице-президент Omniverse и технологий симуляции в NVIDIA. «Объединив ИИ-мышление с масштабируемой, физически точной симуляцией, мы предоставляем разработчикам возможность создавать роботов и автономные транспортные средства завтрашнего дня, которые изменят триллионные индустрии.»

Новые библиотеки NVIDIA Omniverse продвигают приложения для композиции мира

Новые наборы инструментов разработки программного обеспечения (SDK) и библиотеки NVIDIA Omniverse теперь доступны для создания и развертывания приложений симуляции промышленных ИИ и робототехники.

• Новые SDK Omniverse вводят интероперабельность данных между MuJoCo (MJCF) и Universal Scene Description (OpenUSD), позволяя более 250 000 разработчиков робототехники MJCF беспрепятственно симулировать роботов на различных платформах.
• Новые библиотеки Omniverse NuRec и модели ИИ вводят Omniverse RTX для трассировки лучей 3D Gaussian Splatting, технику рендеринга, которая позволяет разработчикам захватывать, реконструировать и симулировать реальный мир в 3D, используя данные сенсоров.
• NVIDIA Isaac Sim 5.0 и NVIDIA Isaac Lab 2.2 — открытые фреймворки для симуляции и обучения роботов теперь доступны на GitHub. Isaac Sim теперь включает в себя нейронное рендеринг NuRec и новые схемы роботов и сенсоров на основе OpenUSD, которые помогают разработчикам роботов закрывать разрыв между симуляцией и реальностью.

Рендеринг Omniverse NuRec теперь интегрирован в CARLA, ведущий открытый симулятор, которым пользуются более 150 000 разработчиков. Лидер инструментов для автономных автомобилей (AV) Foretellix интегрирует NuRec, NVIDIA Omniverse Sensor RTX и Cosmos Transfer для улучшения своей масштабируемой генерации синтетических данных с физически точными сценариями. Движок данных Voxel51 для визуального и мультимодального ИИ, FiftyOne, поддерживает NuRec для упрощения подготовки данных для реконструкций. FiftyOne используется такими клиентами, как Ford и Porsche.

Boston Dynamics, Figure AI, Hexagon, RAI Institute, Lightwheel и Skild AI используют библиотеки Omniverse, Isaac Sim и Isaac Lab для ускорения своего развития в области ИИ робототехники, в то время как Amazon Devices & Services применяет их для создания нового решения в производстве.

Cosmos продвигает генерацию миров для робототехники

Модели Cosmos WFM, скачанные более 2 миллионов раз, позволяют разработчикам в большом масштабе генерировать разнообразные данные для обучения роботов, используя текстовые, графические и видео подсказки. Новые модели, анонсированные на SIGGRAPH, обеспечивают значительные улучшения в скорости генерации синтетических данных, точности, поддержке языков и управлении:

• Cosmos Transfer-2, который скоро выйдет, упрощает работу с подсказками и ускоряет фотореалистичную генерацию синтетических данных из 3D-сцен симуляции или пространственных управляющих входных данных, таких как глубина, сегментация, края и карты высокой четкости.
• Упрощенная версия Cosmos Transfer сокращает процесс дистилляции с 70 шагов до одного, так что разработчики могут запускать модель на серверах NVIDIA RTX PRO с беспрецедентной скоростью.

Lightwheel, Moon Surgical и Skild AI используют Cosmos Transfer для ускорения обучения физического ИИ, моделируя разнообразные условия в большом масштабе.

Cosmos Reason прорывается в понимание мира

С момента появления модели CLIP от OpenAI, модели зрительно-языкового восприятия (VLM) преобразовали задачи компьютерного зрения, такие как распознавание объектов и образов. Однако они до сих пор не могли решать многошаговые задачи или справляться с неопределенностью и новыми ситуациями.

NVIDIA Cosmos Reason — новая открытая, настраиваемая модель рассуждений VLM с параметрами в 7 миллиардов для физического ИИ и робототехники, позволяет роботам и агентам зрительного ИИ рассуждать как люди, используя предшествующие знания, физическое понимание и здравый смысл, чтобы понимать и действовать в реальном мире.

Cosmos Reason может использоваться в приложениях для робототехники и физического ИИ, включая:

• Курирование и аннотирование данных, что позволяет разработчикам автоматизировать высококачественное курирование и аннотирование обширных, разнообразных обучающих наборов данных.
• Планирование и рассуждение роботов, выступая в роли мозга для обдуманного, методичного принятия решений в модели действия зрительно-языкового восприятия роботов (VLA). Cosmos Reason позволяет роботам интерпретировать окружение и, получив сложные команды, разбивать их на задачи и выполнять их, пользуясь здравым смыслом, даже в незнакомых условиях.
• Агенты видеоаналитики ИИ, построенные на платформе NVIDIA Blueprint для поиска и суммаризации видео, которые могут извлекать ценные инсайты и выполнять анализ первопричин на огромных объемах видеоданных.

Команды робототехники и NVIDIA DRIVE используют Cosmos Reason для курирования и фильтрации данных, аннотирования и постобучения VLA. Uber использует его для аннотирования и добавления подписей к данным обучения AV.

Magna разрабатывает с использованием Cosmos Reason в рамках своей платформы City Delivery — полностью автономного, низко затратного решения для мгновенной доставки — чтобы помочь транспортным средствам быстрее адаптироваться к новым городам. Cosmos Reason добавляет понимание мира к долгосрочному планировщику траекторий транспортных средств. VAST Data, Milestone Systems и Linker Vision внедряют Cosmos Reason для автоматизации мониторинга дорожного движения, улучшения безопасности и повышения точности визуальных инспекций в городах и промышленных условиях.

Новая инфраструктура ИИ NVIDIA поддерживает рабочие нагрузки робототехники в любом месте

Чтобы разработчики могли в полной мере воспользоваться этими передовыми технологиями и программными библиотеками, NVIDIA объявила об инфраструктуре ИИ, предназначенной для самых требовательных рабочих нагрузок.

• Серверы NVIDIA RTX PRO Blackwell предлагают единый архитектурный подход для каждой задачи разработки роботов, включая обучение, генерацию синтетических данных, обучение роботов и симуляцию.
• Облако NVIDIA DGX, доступное на Microsoft Azure Marketplace, теперь предлагает разработчикам Omniverse полностью управляемую платформу для упрощения потоковой передачи приложений на основе OpenUSD и NVIDIA RTX в облаке, минимизируя оркестрацию и управление инфраструктурой. Accenture и Hexagon входят в число первых лидеров отрасли, которые приняли платформу.

Ускорение экосистемы разработчиков

Чтобы помочь разработчикам робототехники и физического ИИ продвинуть внедрение 3D и симуляционных технологий, NVIDIA также анонсировала:

• Учебный план и сертификацию OpenUSD, которые удовлетворяют спрос на экспертные знания в области USD, при поддержке членов AOUSD, таких как Adobe, Amazon Robotics, Ansys, Autodesk, Pixar, PTC, Rockwell Automation, SideFX, Siemens, TCS и Trimble, а также лидеров отрасли, таких как Hexagon.
• Открытое сотрудничество с Lightwheel для интеграции фреймворков обучения и оценки политик роботов в NVIDIA Isaac Lab, с возможностями параллельного обучения с подкреплением, эталонами и активами, готовыми к симуляции, для манипуляции роботом и передвижения.