12月9日，物理人工智能（Physical AI）工具链提供商Foretellix和视觉人工智能数据平台Voxel51宣布推出联合解决方案，该方案可将真实世界的驾驶日志转换为高保真3D场景和神经重建，用于训练、测试和验证自动驾驶汽车（AV）系统。

图片来源： Foretellix

随着自动驾驶汽车（AV）开发商越来越多地采用人工智能驱动的端到端架构（AI AV堆栈），数据量和数据多样性已成为核心瓶颈。真实世界的驾驶数据成本高昂，且很少能捕捉到大规模训练和验证现代AV堆栈所需的独特或复杂事件。Foretellix物理AI工具链利用神经重建和合成传感器数据生成技术，在仿真中重现真实世界的驾驶场景并引入可控的驾驶变化，从而弥补了真实世界驾驶数据的不足。企业也逐渐意识到，基于低质量输入数据进行的错误重建或合成数据生成会导致数周的工程时间和数百万美元的计算成本浪费。

Voxel51的物理AI工作台通过将多模态传感器数据转换为高保真度的仿真就绪数据集，确保每次仿真都从准确、高质量的数据开始。Foretellix和Voxel51的合作使团队能够构建更丰富、更多样化的、基于真实世界条件的驾驶数据集，从而扩展AV的开发、训练、测试和验证规模。

Foretellix和Voxel51集成工作流程

Foretellix的开放生态系统允许Foretify物理AI工具链集成外部技术，例如Voxel51的FiftyOne物理AI工作台，从而为AV堆栈测试和验证创建生产级端到端工作流程：

该流程首先由Foretellix的Foretify工具链摄取真实驾驶日志，以评估并识别运行设计域（ODD）覆盖范围的不足。

Foretellix利用场景驱动的数据整理，从大型驾驶日志数据集中识别出最相关的片段，以填补这些覆盖范围的不足。

然后，真实驾驶日志经过Voxel51的数据整理和审核检查，以自动检测姿态校准、传感器错位、坐标约定和低质量标签——这些都是高质量3D重建和仿真的关键检查。

Voxel51通过嵌入、场景理解和视觉检查，为精心整理的数据添加有价值的结构和上下文，从而进一步丰富数据，并使其能够使用基于NVIDIA Omniverse NuRec 3D高斯散射（3DGS）的重建技术进行3D重建。

随后，Foretellix在这些重建结果的基础上生成受控场景变体，并生成可用于训练、测试和验证的合成传感器数据，包括闭环传感器级仿真。

在进行下游模型评估之前，这些数据集（包括重建数据集和合成数据集）将在FiftyOne的检查和可视化环境中进行分析。

为了完成整个循环，Foretellix Foretify工具链会分析新的和更新的驱动器日志数据集，以评估ODD覆盖率，并确保新的场景变体已成功解决最初发现的差距。

“安全是物理AI赖以生存的基础。随着AV技术栈向端到端AI转型，开发人员需要能够大规模生成和管理海量多样化数据的平台。Foretify提供了这一基础，并具备下一代AI驱动的自主系统所需的深度、强大功能和自动化能力。通过与Voxel51的合作，我们将真实世界的基准测试与可控的场景变体整合到一个工作流程中，使团队能够构建更强大、更智能、更安全的基于AI的AV系统。” Foretellix首席执行官兼联合创始人Ziv Binyamini表示。

Voxel51联合创始人兼首席执行官Brian Moore表示：“我们很高兴能与Foretellix合作，为自动驾驶（AV）开发人员带来高保真重建和合成数据生成技术。随着物理人工智能数据量的持续爆炸式增长，数据质量对于构建可靠系统至关重要。低质量或不完整的数据会消耗资源，并在安全至关重要的自动驾驶应用中构成严重的可靠性风险。我们将携手帮助团队构建更逼真、更高效、更可靠的人工智能驱动型自动驾驶系统。”