NVIDIA 研究中心在机器人训练与开发领域，比如多模态生成式 AI 和合成数据生成等方面，不断取得突破性进展。
5 月 19 日至 23 日在亚特兰大举办的国际机器人与自动化大会 (ICRA) 上，NVIDIA 重点展示了其最新研究成果。
NVIDIA 机器人研究高级总监 Dieter Fox 表示：“ICRA 一直是引领机器人与自动化领域发展方向的关键平台，它不仅见证了行业发展的关键里程碑，也持续表彰着那些对技术革新与社会进步产生深远影响的突破性成果。我们今年带来的研究成果，将通过弥合数据鸿沟以及提升机器人安全与控制能力两个方面，为自动驾驶汽车与人形机器人的发展注入新动能。”
面向可扩展机器人学习的生成式 AI
在 ICRA 上展示的 NVIDIA 研究论文揭示了机器人技术的未来方向，其中包括：
- DreamDrive：这种 4D 时空场景生成方法利用视频扩散和 3D Gaussian splatting 技术，为自动驾驶汽车创建逼真且可控的 4D 驾驶场景。
- X-Mobility：一个端到端导航框架，使机器人能够通过学习世界模型进行规划和控制，从而在不同环境中实现泛化能力。
- ReMEmber：基于记忆的导航方法，使机器人能够利用长期时空推理能力进行导航。
- DexMimicGen：该系统仅需少量人类演示，即可生成大规模的双手灵巧操作数据集。
- HOVER：用于人形机器人的统一神经控制器，可在移动、操控等模式之间实现无缝切换。
- MatchMaker：该流程可自动生成多样化 3D 装配资产，用于基于仿真的训练，使机器人无需手动资产管理即可学习插装任务。
- SPOT：这个学习框架利用 SE (3) 位姿轨迹扩散技术进行以物体为中心的操控，实现跨实体的泛化能力。
- 自动驾驶汽车感知故障的系统级安全监控与恢复：该系统可实时监测感知可靠性并启动恢复策略，以保障自动驾驶的稳健规划与安全性能。
- 推理阶段的人机协同策略调整框架：该框架支持在推理过程中，实时通过人工引导调整模型输出，在无需重新训练的情况下提升策略的一致性。
在 ICRA 上，NVIDIA 专家参与的机器人研讨会包括：
- 引领人类运动预测的未来：探讨 AI、机器人技术和生物力学的进步如何改善人机交互和安全性。
- 构建面向现实场景可靠且可信的具身 AI：探讨在现实场景中构建可靠且可信的具身 AI 系统所面临的关键挑战与解决路径。
- 走出实验室—现实场景中的稳健规划与控制：了解机器人的稳健规划和控制，以及这些技术如何帮助机器人适应现实场景的复杂性。
- 在机器人技术中安全利用视觉-语言基础模型：探索将视觉-语言基础模型安全集成到机器人应用中的策略，以提高性能和可靠性。
- 大数据与大模型时代以人为中心的机器人学习：了解以人为中心的机器人学习方法，以及如何利用大数据和大模型提升机器人的适应性和智能。
- RoboARCH—用计算硬件和系统加速机器人技术：了解计算硬件和系统领域的创新，这些创新正推动机器人研究和应用的快速发展。
探索 NVIDIA 研究中心的最新成果，阅读“NVIDIA 机器人研究与开发摘要 (R²D²)”，帮助开发者更深入地了解 NVIDIA 研究中心在物理 AI 和机器人应用方面的最新突破。