NVIDIA Omniverse-开发下一代基于物理的 AI 应用程序-简单体验与介绍

平台概览

NVIDIA Omniverse是一个由NVIDIA推出的包含API、SDK和服务的平台，旨在使开发者能够将OpenUSD、NVIDIA RTX渲染技术和生成式物理AI集成到工业和机器人用例的现有软件工具和仿真工作流中。以下是对它的详细介绍：

• 核心技术
  • OpenUSD支持：Omniverse全面支持OpenUSD这一开源标准，用于聚合和处理3D场景数据。通过Omniverse Nucleus Server（数据库和协作引擎），能实现OpenUSD数据的实时交换，让多个用户在不同的3D应用中协同工作，共享和修改虚拟世界的表示。
  • RTX渲染技术：集成NVIDIA RTX渲染技术，可实现基于物理特性的实时渲染，能够为用户提供高逼真度的视觉效果，使数字孪生、虚拟场景等更加真实可信。
  • 生成式物理AI：平台融合了生成式物理AI，例如NVIDIA Cosmos基础世界模型，可根据文本和图像提示生成物理感知型视频世界状态，用于物理AI开发，还能通过自动域随机化和基于群体的训练（PBT）等功能，简化自主机器人开发中的复杂机器人训练。
• 功能组件
  • API：Omniverse API允许开发者将OpenUSD数据互操作性和基于NVIDIA RTX物理特性的实时渲染直接集成到自己的应用、工作流和服务中，从而全面提升软件产品组合的性能。
  • SDK：Omniverse Kit SDK是一个用于使用Python或C++从头构建基于OpenUSD的应用程序和服务的框架，它提供了与渲染、物理、OpenUSD等工具的便捷集成，开发者可以专注于特定领域的功能开发。
  • 服务：如Omniverse Cloud是一个平台即服务，支持以简单且可扩展的方式部署流式工业数字化和物理AI仿真应用，帮助企业实现整个工业生命周期的数字化。
• 应用领域
  • 工业数字化：可用于构建工业数字孪生，如在智能制造业中，使用数字孪生设计、测试和优化新一代智能工厂和数据中心；在智慧城市领域，构建和测试AI智能体，用于监控和优化城市运营。
  • 机器人开发：能通过生成式AI加速合成数据生成，仅通过少量人类演示，就能以指数级规模生成用于模仿学习的合成操作运动数据，还可在数字孪生中测试适用于工业自动化的多机器人集群。
  • 产品设计与仿真：将实时可视化和分析集成到3D工作流中，实现产品的实时计算机辅助工程，如为交互式流体仿真构建数字孪生，帮助企业在产品设计阶段进行更高效的仿真和优化。
    

OpenUSD介绍

OpenUSD（通用场景描述）是由皮克斯开创、并联合 Adobe、苹果、Autodesk、NVIDIA 等巨头成立 OpenUSD 联盟共同推动的开放生态系统，它绝非单一文件格式，而是连接 3D 工具、数据与工作流的核心框架。其以分层合成引擎、非破坏性工作流、HYDRA 渲染架构等核心技术为支撑，允许不同团队实时协作编辑场景的不同部分 —— 如建模与打光可同步进行且互不干扰，还能通过实例化、变体等功能高效管理大规模复杂数据集。如今，它已从影视动画领域延伸至更广阔的天地：宝马用其构建虚拟工厂实现实时协作，睿甄创新借助它一周生成 20 万张合成图像提升 AI 模型准确率，孪界科技则靠其无缝更新数字孪生项目中的 CAD 与 BIM 数据，而苹果更将其作为 VisionOS 与空间计算应用的核心技术。在生成式 AI 与元宇宙加速发展的当下，OpenUSD 正以其极强的互操作性与可扩展性，成为连接数字内容创作、工业仿真、机器人训练等跨领域需求的 “3D 通用语言”。

OpenUSD的安装

目前来说其安装很简单：

pip install usd-core  ##python==3.10为例

from pxr import Usd, UsdGeom# 创建一个新的USD阶段
stage = Usd.Stage.CreateNew('HelloWorld.usda')# 在根路径下创建一个Xform（变换）节点作为父节点
xformPrim = UsdGeom.Xform.Define(stage, '/hello')# 在Xform节点下创建一个球体
spherePrim = UsdGeom.Sphere.Define(stage, '/hello/world')# 保存USD文件
stage.GetRootLayer().Save()

利用如图代码新建一个.usda文件

usdview HelloWorld.usda  ##可视化

NVIDIA Omniverse与OpenUSD联系

NVIDIA Omniverse 是深度基于 OpenUSD 构建的规模化 3D 应用开发与运营平台，OpenUSD 既是其实现数据互操作性与协同能力的核心底层框架，也是连接各类工具、服务与场景的 “通用语言”。Omniverse 不仅原生支持 OpenUSD 的层叠合成、资产实例化等核心特性，更通过一系列技术扩展将其能力从内容创作延伸至工业级场景：其推出的 Omniverse OpenUSD Exchange SDK 2.0 构建了统一的 3D 数据工作流，可将物理特性直接集成到 USD 格式的机器人模型中，而 SimReady 材质库则以 USD 格式提供数千种物理精确的材质资产，支持视觉与非视觉传感器仿真需求。同时，Omniverse 借助 RTX 渲染技术与生成式 AI 能力，让 OpenUSD 成为物理 AI 工作流的基础 —— 从通过 NuRec 库将真实世界传感器数据转化为 USD 仿真环境，到在 Isaac Sim 中基于 USD 标准化机器人与传感器架构，再到与 Google DeepMind 合作实现 MJCF 与 USD 格式的互转，Omniverse 持续丰富 OpenUSD 的生态与应用边界，使其从跨工具数据交换标准升级为驱动数字孪生、机器人开发、工业仿真等领域的核心技术底座。

NVIDIA Omniverse 为城市构建数字孪生，通常包括需求分析与规划、环境搭建、模型准备与导入、场景搭建与编辑、仿真与可视化、集成与测试、部署与协作以及维护与迭代等步骤。具体如下：
需求分析与规划：明确构建城市数字孪生的目标，如用于城市交通管理、能源优化等。梳理团队成员角色与分工，确定所需的 3D 软件和数据接口，同时评估硬件环境，推荐使用搭载 NVIDIA RTX 显卡、至少 16GB 内存的工作站，建议 32GB 以上以获得更佳体验。
1.环境搭建：访问 NVIDIA 官网，下载并安装 Omniverse Launcher，注册并登录 NVIDIA 账号。通过 Launcher 安装 Omniverse Create、View、Code 等核心应用，并按需安装与 Blender、Maya 等软件的连接器插件，实现数据互通。若需要团队协作和2.资产管理，可配置 Nucleus 服务器，支持本地或云端部署。
模型准备与导入：在主流 3D 建模软件中完成城市模型的初步建模，如利用航拍、卫星或地图数据创建城市的地形、建筑等模型，然后导出为 USD 格式或通过连接器直接同步至 Omniverse，检查模型结构、材质和贴图，确保兼容性和完整性。
场景搭建与编辑：利用 Omniverse Create 等工具进行城市场景的搭建，包括添加道路、桥梁、绿化等元素，进行灯光设置、物理属性调整等。Omniverse 支持多用户实时协作编辑，所有更改即时同步至团队成员。
仿真与可视化：应用物理仿真功能，如模拟城市交通流量、能源消耗等，也可添加动画、AI 驱动的场景变化等。利用 RTX 实时渲染技术，获得高保真的视觉效果，实现对城市运行状态的实时可视化展示。
3.集成与测试：通过 API 或 SDK，将 Omniverse 构建的城市数字孪生场景与外部仿真、自动化系统集成，实现数据双向流动。在多场景、多工况下进行功能与性能测试，确保数字孪生系统的稳定可靠。
4.部署与协作：可根据需求选择本地部署或云端部署，如 AWS、Azure 等，支持远程访问与协作。利用 Nucleus 服务器进行资产管理与权限分配，便于大规模团队协作。
维护与迭代：根据城市的实际变化和项目需求的更新，不断优化数字孪生场景、模型和工作流程，利用 Omniverse 社区和官方文档，获取最新功能与技术支持。
在构建过程中，还可结合 NVIDIA 的其他技术和工具，如利用 Omniverse Replicator 生成带注释的合成数据，用于训练和优化 AI 模型，借助 Cosmos、NeMo 和 Metropolis 等平台，加速在物理精确的城市数字孪生中开发和测试 AI 智能体，以实现对城市运营的监控和优化