据外媒报道，Waymo发布基于谷歌DeepMind Genie 3的全新生成式仿真模型，该模型能够训练其自动驾驶系统应对一系列极端场景，包括龙卷风、洪水淹没的街道，甚至路上的大象。Waymo世界模型（World Model）利用Genie 3丰富的世界知识，这些知识是通过对庞大且多样化的视频数据集进行预训练而获得的，这使得Waymo能够探索其车队从未直接遇到的情况。

图片来源： Waymo

该系统通过专门的后训练生成摄像头和激光雷达数据，将2D视频数据转换为专为Waymo专有硬件定制的3D激光雷达输出。摄像头提供必要的上下文视觉信息，而模拟的激光雷达输入则尝试提供精确的深度信息作为补充信号。

Waymo的新型模型提供三种控制机制，使工程师能够通过驾驶行为控制测试反事实场景，通过场景布局控制调整道路布局和交通状况，并使用文本提示生成不同的时间、天气状况或完全合成的场景。

该系统还可以将普通的行车记录仪或手机视频转换为多模态仿真，展示Waymo Driver（自动驾驶系统）如何利用其传感器感知场景。该模型的精简版本显著降低了耗时较长的场景的计算需求，从而能够进行大规模仿真。

当然，Waymo绝非首家利用世界仿真模型生成自动驾驶训练数据的公司。多家公司已在这方面耕耘多年；Waymo的GAIA-1多模态模型以视频、文本和驾驶动作为输入，生成逼真的驾驶场景。该公司已引起英伟达的关注，在最近的几轮融资中从这家科技巨头获得了数亿美元的投资，并获得了首席执行官黄仁勋的赞誉。

其他公司包括Waabi，该公司使用名为Copilot4D的系统，该系统利用闭环神经模拟器创建交互式环境，使AI驾驶员和虚拟世界能够实时相互影响。英伟达本身向Plus和Oxa等合作伙伴提供Cosmos世界基础模型，其中包括迁移和预测组件；而小马智行最近与Moore Threads合作，扩展其PonyWorld的生成能力。

视频来源： Waymo

Waymo隶属于谷歌母公司Alphabet，该公司声称，模拟罕见场景能使其自动驾驶系统更好地应对复杂或不太可能发生的情况，但该公司并未公布基准测试结果或独立评估报告。Waymo Driver迄今为止已累计行驶近2亿英里，但在此之前，它会在虚拟世界中积累数十亿英里的里程，然后再进行实际道路测试。

Waymo发布此声明之际，正值该公司因近几个月来的软件故障而面临美国当局的安全调查。美国国家公路交通安全管理局（NHTSA）和国家运输安全委员会（NTSB）正在调查一系列Waymo无人驾驶出租车非法超越停靠校车的事件，以及另一起无人驾驶出租车在放学时段撞到儿童的事件。该公司拒绝了学区提出的不在学校附近运营其技术的请求。

Waymo计划在年底前在多达15个城市部署商业自动驾驶出租车服务，其中包括其首次海外扩张——伦敦。该公司还在东京的道路上测试其技术，并于近期证实已与澳大利亚政府官员就潜在的市场扩张进行了洽谈。