开发者如何用前沿 AI 智能体与 NVIDIA Omniverse 将创意变为仿真应用

完整中文导读

NVIDIA 开发者用 GPT-6 Astra、Claude Fable 5 等前沿模型驱动 Omniverse 库，通过自然语言指令构建仿真应用。案例包括仓库人形机器人模拟器、基于旧金山 Market Street 的自动驾驶测试环境 Zero to Alpamayo，以及用约三天时间从零创建两个数字孪生并改进两个已有孪生。

中文整理

作者 / 来源：NVIDIA Writers · 原文时间：2026年10月9日 05:06（北京时间）

原作者信息要点

NVIDIA Writers 发布文章，介绍开发者如何结合前沿 AI 模型与 NVIDIA Omniverse 库，把仿真想法变成可运行应用。文中称开发者通过自然语言指令指挥 AI 智能体，审阅结果并引导修改；Omniverse 库提供 GPU 加速的物理、渲染与传感器仿真能力。

文中提到的前沿 AI 模型包括 GPT-6 Astra，并称可查看 NVIDIA 团队及生态开发者的新示例。

仓库人形机器人模拟器：NVIDIA Omniverse 产品经理 Frank DeLise 使用 Astra，把 SimReady 仓库和人形机器人变成带第一人称与第三人称视角的交互式模拟器。他指挥 Astra 连接 Omniverse 库：物理 ovphysx、场景更新 ovstage、渲染 ovrtx、用户界面 ovui，并使用 SimReady（simready-foundation）创建物理场景，Astra 随后生成动画与应用代码。

自动驾驶测试工作流：NVIDIA 仿真技术团队经理 Doyub Kim 要求 Astra 构建 Zero to Alpamayo，一个基于旧金山 Market Street 的可复用仿真环境。Kim 指挥 Astra 先梳理工作流，再分阶段连接资产创建、交通、Omniverse RTX 传感器仿真和 Alpamayo 驾驶，并逐项检查集成。另一项 Cosmos3-Nano 实验改变录制仿真视频中的天气与光照，用于比较驾驶模型在相同场景不同条件下的反应。

传感器差异与数字孪生：负责 RTX 传感器验证的 Ashley Reid 指挥 Astra 和 Claude Fable 5 智能体，将 ovrtx 相机与原始 LiDAR 输出同录制数据比较。智能体从零创建两个数字孪生，并改进两个已有孪生。约三天内，Reid 引导迭代流程：智能体测量差异、创建或修改 OpenUSD 场景并检查结果，改动涉及缺失物体、几何与材质，验收取决于相机和 LiDAR 指标。文中建议先用 ovrtx 最小 Python 示例渲染 OpenUSD 场景，再定义传感器度量与录制数据比较。

Robo Olympics：负责 NVIDIA Omniverse 工程与产品的 Tae Kim 使用体育视频和自然语言指令，引导 Astra 构建 Robo Olympics，测试模拟 Unitree G1 人形机器人完成体育动作。在 Kim 指导下，Astra 构建控制器并通过物理试验改进。Newton 物理引擎模拟行为，开源 NVIDIA Warp 框架加速计算，ovrtx 渲染场景与虚拟相机图像。一项实验中，机器人在 100 次仿真试验中 64 次越过单个栏架，试验为 Kim 改进机器人时机与控制提供反馈。

机器人拆解测试：NVIDIA OpenUSD 高级产品经理 Jens Jebens 指挥 Astra 在 PTC Onshape 中建模汽车悬架，并在 NVIDIA Isaac Sim 中配置。借助 Astra，Jebens 探索了由仿真提供信息的 CAD 与工具修订。智能体测量可用空间，设计出机器人可用来够到悬架螺栓的扳手。Jebens 报告在仿真中成功拆下悬架部件。文中称这为机器人策略训练提供起点，并提到可查看 Onshape 导入器指南。

国际空间站浏览器应用：NVIDIA 工程总监 Nic Johns 提示 Astra 将 NASA 资产组装成带遥测数据的 OpenUSD 国际空间站模型。Johns 用单条提示构建应用，再用后续提示把场景转到地球白昼侧以显示行星。工作流使用 Blender 准备资产，Omniverse 库负责渲染（ovrtx）、场景运行时（ovstage）和流式传输（ovstream）。应用把 3D 模型与运行数据带入浏览器，Johns 通过提示与修正引导开发。文中提到可尝试 Omniverse Real-Time Viewer 技能。

将拍摄房间转为测试环境：NVIDIA Isaac 工程应用团队的 Chirag Majithia 指挥 Astra 把立体相机拍摄转为可编辑 OpenUSD 工作室。工作流结合 PyCuSFM、FoundationStereo 和 nvblox 进行重建，由用户审阅引导物体选择与放置。Astra 组装生成资产和 Blender 创作资产，并使用 USD Content Agents 配置物体在仿真中的移动与交互方式。Isaac Sim 测试引导门和抽屉的碰撞与接触修订。该工作室把捕获几何与交互测试连接起来，便于检查间隙与物体行为。文中提到可探索 USD Content Agents。

文末邀请有仿真想法者探索 NVIDIA Omniverse 库，开始用 AI 智能体构建。

本站整理与观察

本站观察：上述内容均来自 NVIDIA Writers 的官方文章，属于厂商自述与项目展示，文中性能数字（如 100 次试验中 64 次越过栏架）为作者报告，本站未独立验证。

本站观察：文章列举的多个项目共同呈现一种工作模式，即开发者用自然语言指挥 AI 智能体，由智能体连接 Omniverse 各库并生成代码或场景，开发者负责审阅与修正。这一模式是否可推广到文中未提及的任务类型，材料未提供依据。

本站观察：文中出现的 GPT-6 Astra、Claude Fable 5、Cosmos3-Nano 等模型名称及版本，均按原文保留，本站无法核实其发布状态与能力边界。

本站观察：文章给出的入门路径包括 ovrtx 最小 Python 示例、Onshape 导入器指南、USD Content Agents 和 Omniverse Real-Time Viewer 技能，但材料未提供这些资源的具体链接或使用条件。

本文仅依据 NVIDIA Writers 提供的文章文本整理，未独立核实任何项目、模型版本、性能数字或产品能力。文中所有项目细节、试验结果与工具名称均为原作者陈述，本站观察部分为基于文本的推论，不构成验证结论。材料未包含发布日期、模型可用性、硬件要求或第三方评测，相关判断需以 NVIDIA 官方后续信息为准。