据外媒报道，为了教导自主机器人和车辆如何与物理世界互动需要大量高质量数据，英伟达（NIVIDIA）在GTC 2025大会上先不发布用于构建下一代物理AI的海量开源数据集，可以帮助研究人员和开发人员启动难度极高的物理AI项目。

图片来源：英伟达

开发人员可以直接使用这一商业级、预先验证的数据集进行模型预训练、测试和验证，也可以在训练后使用该数据集微调世界基础模型，从而加速部署之路。

初始数据集现已在Hugging Face上提供，为开发人员提供15 TB的数据，这代表着有超过320,000条用于机器人训练的轨迹，以及多达1,000个通用场景描述（OpenUSD）资产，包括SimReady集合。用于支持端到端自动驾驶汽车（AV）开发的专用数据也即将推出，其中包括20秒的各种交通场景片段，涵盖美国1,000多个城市和24个欧洲国家。

这个数据集将随着时间的推移而增长，成为世界上最大的统一开源的物理AI开发数据集。它可以用于开发AI模型，为安全操纵仓库环境的机器人、在手术过程中支持外科医生的人形机器人，以及可以在施工区等复杂交通场景中导航的AV提供动力。

英伟达物理AI数据集计划包含英伟达用于训练、测试和验证物理AI的现实世界和合成数据子集，用于NVIDIA Cosmos世界模型开发平台、NVIDIA DRIVE AV软件堆栈、NVIDIA Isaac AI机器人开发平台和NVIDIA Metropolis智慧城市应用程序框架。

早期应用机构包括加州大学伯克利分校的伯克利DeepDrive中心（Berkeley DeepDrive Center at the University of California, Berkeley）、卡内基梅隆大学安全AI实验室（Carnegie Mellon Safe AI Lab）和加州大学圣地亚哥分校的情境机器人研究所（Contextual Robotics Institute at University of California, San Diego）。

加州大学圣地亚哥分校多个机器人和自动驾驶汽车实验室主任Henrik Christensen表示：“我们可以利用这个数据集做很多事情，例如训练预测性AI模型，帮助自动驾驶汽车更好地跟踪行人等弱势道路使用者的移动，以提高安全性。与现有的开源资源相比，提供多样化环境和更长剪辑的数据集将极大地帮助推进机器人和自动驾驶汽车研究。”

满足物理AI数据需求

英伟达物理AI数据集可帮助开发人员在预训练期间扩展AI性能，其中更多数据有助于构建更强大的模型 — 以及在后训练期间，AI模型将使用更多数据进行训练，以提高其针对特定用例的性能。

收集、整理和注释涵盖不同场景并准确表示现实世界的物理和变化的数据集非常耗时，这对大多数开发人员来说都是瓶颈。对于学术研究人员和小型企业来说，运行一支车队数月来收集自动驾驶汽车AI的数据是不切实际且成本高昂的 — 而且，由于收集的大部分内容都平淡无奇，通常只有10%的数据能用于训练。

但这种规模的数据收集对于构建安全、准确、商业级的模型至关重要。英伟达Isaac GR00T机器人模型需要数千小时的视频片段进行后期训练——例如，GR00T N1模型是在包含真实数据和合成数据的广泛人形数据集上进行训练的。用于自动驾驶汽车的NVIDIA DRIVE AV端到端AI模型需要数万小时的驾驶数据才能开发。

这个开源数据集包含数千小时的多摄像头视频，这些视频具有前所未有的多样性、规模和地理位置。新数据集包将特别有利于安全研究领域，因为它可以开展新的工作来识别异常值并评估模型泛化性能。这项工作为英伟达Halos的全栈AV安全系统做出了贡献。

除了利用英伟达物理AI数据集来满足数据需求外，开发人员还可以使用NVIDIA NeMo Curator等工具进一步促进AI开发，这些工具可以高效处理大量数据集以进行模型训练和定制。使用NeMo Curator，NVIDIA Blackwell GPU只需两周即可处理2000万小时的视频，而未优化的CPU管道则需要3.4年。

机器人开发人员还可以利用新的NVIDIA Isaac GR00T蓝图来生成合成操作运动，这是一个基于NVIDIA Omniverse和NVIDIA Cosmos构建的参考工作流程，它使用少量的人类演示来创建大量用于机器人操作的合成运动轨迹。

大学实验室准备采用数据集进行AI开发

UCSD的机器人实验室包括专注于医疗应用、人形机器人和家庭辅助技术的团队。Christensen预计，物理AI数据集的机器人数据可以帮助开发语义AI模型，以了解家庭、酒店房间和医院等空间的环境。

“我们的目标之一是达到一定的理解水平，如果要求机器人将杂货收起来，它会确切地知道哪些物品应该放在冰箱里，哪些物品应该放在食品储藏室里，”Christensen表示。

在自动驾驶汽车领域，Christensen实验室可以应用数据集来训练人工智能模型，以了解各种道路使用者的意图并预测最佳行动。其研究团队还可以使用数据集来支持数字孪生的开发，以模拟极端情况和具有挑战性的天气条件。这些仿真可用于在现实环境中罕见的情况下训练和测试自动驾驶模型。

在自动驾驶系统人工智能研究中心伯克利DeepDrive，该数据集可以支持自动驾驶汽车的政策模型和世界基础模型的开发。

“数据多样性对于训练基础模型非常重要，”伯克利DeepDrive联合主任Wei Zhan表示。“这个数据集可以为公共和私营部门团队开发自动驾驶汽车和机器人AI模型提供最先进的研究。”

卡内基梅隆大学安全AI实验室的研究人员计划利用该数据集推进工作，评估和认证自动驾驶汽车的安全性。该团队计划测试在这个数据集上训练的物理AI基础模型在具有罕见条件的仿真环境中的表现——并将其性能与在现有数据集上训练的AV模型进行比较。

“该数据集涵盖了不同类型的道路和地理环境、不同的基础设施和不同的天气环境，”卡内基梅隆大学副教授兼Safe AI实验室负责人Ding Zhao表示。“它的多样性可能非常有价值，可以帮助我们在物理世界中训练具有因果推理能力的模型，该模型可以理解极端情况和长尾问题。”