为了缓解交通拥堵和驾驶员短缺问题,自动驾驶系统的研究和开发正在不断推进。在L5级自动驾驶中,车辆利用多种传感器数据来检测行人、来车和其他物体,从而实现安全行驶。然而,仅仅应用目标检测技术(即分析传感器数据来检测行人、来车和其他周围物体)不足以进行全面的目标检测,难以实现完全安全的自动驾驶。

因此,在L4级自动驾驶(特定自动驾驶)中,交通法规强制要求设置远程控制室并配备指定的远程操作员。此外,执法法规还规定,如果自动驾驶车辆传输的视频不清晰或无法正常传输和接收,必须通知远程操作员。

目前的远程监控系统缺乏判断自动驾驶车辆传输的视频清晰度是否足以进行有效监控的标准。远程监控视频通过无线通信从自动驾驶车辆接收。当无线通信质量下降时,可用于传输视频的网络带宽也会减少,这会导致视频比特率降低和丢包。

比特率降低会导致视频质量下降,使得远程操作员更难检测到突然出现在自动驾驶车辆前方的物体(图1)。此外,丢包会导致视频帧卡顿,这也使得识别突然出现的物体更加困难(图2)。然而,目前尚不清楚视频质量下降到什么程度或卡顿帧增加到什么程度才会导致远程操作员无法检测到此类物体。

图1及图2 图片来源:NTT

此外,自动驾驶车辆会根据周围环境调整行驶速度。行驶速度变化时,车辆与待检测物体之间的距离也会随之改变。与低速行驶相比,高速行驶时车辆单位时间内行驶的距离更长。因此,如果视频画面不清晰,必须更快地向远程操作员发出通知。

结果,当车辆高速行驶时,需要从更远的距离检测物体,这使得识别突然出现在车辆前方的物体变得更加困难(图3)。然而,行驶速度变化对这类物体检测的影响尚未明确。

图3 图片来源:NTT

11月7日,科技公司NTT开发出参数化目标识别率估计模型,该技术能够评估从自动驾驶车辆传输到远程控制室的远程监控视频和车辆相关信息的质量是否足以让远程操作员检测到车辆前方突然出现的物体。该技术已被ITU-T P.1199建议书采纳。

图4 图片来源:NTT

通过在远程控制室应用该技术,当监控屏幕上显示的视频质量低于无法检测到突然出现的物体的水平,或者视频冻结帧数增加时,系统会发出警报。这使得远程操作员能够立即注意到可能被忽略的短暂视频冻结或质量下降情况。因此,可以采取诸如减速或停止自动驾驶车辆等措施,从而有助于实现安全的自动驾驶(图4)。

技术亮点

参数化目标识别率估计模型

该技术将远程监控视频信息与目标识别主观评价特征之间的关系形式化为数学算法,建立了参数化目标识别率估计模型。主观评价实验结果表明,以下因素与自动驾驶车辆检测前方突发目标的能力相关:

- 根据网络带宽编码的视频信息(比特率、分辨率、帧率)

- 由于丢包导致的视频帧冻结数量

- 车辆信息,特别是行驶速度

在主观评价实验中,NTT考察了多种条件下物体识别率,这些条件包括不同的视频编码信息(比特率、分辨率、帧率)、冻结帧数和行驶速度。这些结果被用于推导主观评价特征。

■比特率、分辨率和帧率降低对目标识别率的影响

当无线信号质量下降时,比特率会降低。如果比特率降低导致分辨率和帧率下降,则视频质量会降低,如图1所示。这会导致车辆前方突然出现的物体变得模糊,使远程操作员难以识别。

■丢包率增加对目标识别率的影响

当无线信号质量下降并发生丢包时,视频画面冻结的帧数会增加。如图2所示,这会导致监控视频卡顿,使远程操作员难以识别突然出现的物体。

■行驶速度对目标识别率的影响

行驶速度越快,车辆必须从更远的距离检测物体。如图3所示,这使得远程操作员更难识别车辆前方突然出现的物体。

根据主观评价实验的结果,这些因素对物体识别率的影响被导出为图5(a–c)所示的主观评价特征。

图5 图片来源:NTT

未来发展

这项技术能够实时评估从自动驾驶车辆传输到远程控制室的远程监控视频质量是否足以进行目标识别,从而有助于提升自动驾驶的安全性。接下来,NTT将利用这项技术进行实地试验,以验证在视频质量下降时发出警报是否能够提高远程操作员的监控效率。