2025年7月23日,在汽车智能玻璃创新技术及应用大会上,长城汽车视觉系统主任工程师邢向阳深入剖析了车载感知痛点,指出夜晚及恶劣天气下事故频发,现有可见光摄像头和激光雷达性能受限,而法规对车辆安全要求不断提升。在此背景下,红外热成像技术以其独特的温差成像原理脱颖而出,具备全天候工作能力,能有效穿透黑暗和烟雾,精准区分活体目标与背景,为解决车载感知难题提供了创新方案。

邢向阳指出,国内车载红外热成像技术发展势头强劲,从第一代被动显示到第四代多模态融合,实现了分辨率提升、成本降低、功能优化等跨越。第四代技术通过与可见光摄像头等深度协同,显著提升了目标检测精度和空间感知能力,为智能辅助驾驶系统提供了更具确定性的感知支持,成为满足法规要求、实现全天候全场景行车安全的关键技术。

邢向阳|长城汽车视觉系统主任工程师

以下为演讲内容整理:

车载感知痛点与法规趋势

在夜晚及恶劣天气下,驾驶员视野受限,发生事故概率较高。数据显示,全球大约60%的交通事故都发生在晚上,夜间交通事故率及致命率显著高于白天;此外,恶劣天气交通事故死亡率普遍高于晴天场景,高速公路场景高达73.84%,‌城市道路场景高达40.54%。

图源:演讲嘉宾素材

这些事故背后,是车载感知的痛点。在黑暗或低光环境下,可见光摄像头图像噪点增多、细节模糊,甚至会完全失效;恶劣天气下,可见光摄像头性能下降,激光雷达点云稀疏;强光干扰下,逆光、眩光等则会导致可见光摄像头无法正常捕捉图像。

对此,欧盟、中国、美国的法规对车辆相关要求进行了明确。欧盟23版Euro-NCAP强制要求AEB夜间测试,并计划通过持续更新逐步纳入雨雾等恶劣天气场景;中国24版C-NCAP已实施夜间AEB测试,强标《组合驾驶辅助系统安全要求》草稿版已增加雾天、雨天测试场景;美国联邦机动车安全FMVSS 127,2029年9月起需在各种光照条件有效检测行人,直指夜间事故高死亡率问题。

红外热成像技术应用及前景

行业内红外传感器的原理是通过光学镜头接收目标与背景强弱不等的热辐射并转换为相应电信号,经过放大和图像处理最终转化可视化的图像,其独特的温差成像原理,不依赖环境光,具备全天候的工作能力。

图源:演讲嘉宾素材

可见光成像依托光电效应,通过光子撞击Image Sensor累积成电信号,以此呈现物体表面的颜色与纹理特征。红外热成像则基于热电效应,温度变化会引发热敏材料电阻的改变,从而输出经变换的信号,直接反映物体表面的温度分布情况。可见光波长为400 nm~760 nm,而红外可用波长为0.76μm~14μm,根据玻尔兹曼定律及维恩位移定律,在日常环境条件下,绝大多数物体,如人体、车辆、建筑物等,其热辐射的能量峰值集中分布在8.10~12.44 μm,因此红外技术波长采用8~14μm,能够有效将物体发射的红外辐射转变为人眼可见的图像,使人眼视觉范围扩展到不可见区域。

红外热成像技术源于赫胥尔的三棱镜实验,如今已成为一种普适性的感知工具。自 2000 年实现商业化以来,该技术不断朝着国产化、小型化、强规格、高像素的方向演进。随着热辐射特征解析算法、智能AI算法及多光谱融合等关键技术的发展,红外技术的应用边界不断拓展,向消费电子、医疗健康、智能驾驶等领域加速渗透,实现应用场景的多元化发展。

此外,红外热成像技术借助被测物体的热辐射,凭借穿透黑暗、烟雾等视觉障碍的特性,已成为现代感知技术的必要环节之一。通过集成高度专业的算法,并针对不同场景下的应用特点,可实现精准感知、智能识别以及预警预测。

车载应用上,在眩光、逆光、隧道、雾天等环境下,红外热成像依然能够保持稳定的探测性能,其具备免疫强光干扰的特性,不受光照条件限制。此外,凭借其强穿透性与远距离探测能力,红外热成像能够有效穿透烟雾,提升在恶劣天气下的能见度,对生物体和车辆的探测距离也优于人类肉眼和可见光摄像头。另外,基于温差热辐射原理,红外热成像能够精准区分活体目标与天然背景。

车载红外热成像技术发展

自2021年起,国内车载红外热成像技术发展迅猛,打破国际垄断,实现规模化装车应用,成本也进一步降低。

第一代是被动显示。早期产品分辨率仅为320×240,仅有7万像素,选装价格高达2000美元,这极大地制约了技术的普及应用。2016年之后,红外行业在材料工艺与芯片设计领域取得诸多突破,分辨率提升至30万像素,同时成本进一步大幅降低。在此基础上,针对车载场景专项开发了自动增益控制算法,可动态调节对比度,在避免图像过曝的同时显著提升图像细节。第一代技术虽满足了可见的核心需求,但仍需要驾驶员理解图像。当图像场景与可见光场景差异显著时,驾驶员需要额外时间掌控情况,增加了认知负荷,存在一定安全隐患。

第二代是主动感知,为降低驾驶员对红外图像的认知负荷,引入了AI目标检测技术。通过构建车载道路场景专用数据集来训练模型,实时提取画面中的多类目标信息。在显示端,无论采用何种显示模式,均对识别目标添加边框或蒙层等标识,以突出关键目标,显著提升视觉直观性。第二代红外系统进一步优化体验的技术包括危险感知增强、跟踪稳定性增强等。通过图像自动识别目标并实施框选或蒙层显示,在一定程度上降低了理解成本。同时,采用卡尔曼滤波处理算法,抑制误检,提升目标框选稳定性,避免因框选闪烁或抖动分散驾驶员注意力。然而,图片中经处理的目标呈现方式及细节仍不够直观,现有软硬件方案的有效感知距离也有待进一步提升。

第三代进一步升级,有了远距感知和精细渲染。为提升道路风险预防能力,第三代系统对核心算法进行升级,采用理解驱动模式。远距感知层面,针对远距离小目标漏检难题,运用关键区域自适应上采样技术,借助全域感知和区域增强的特征融合机制,突破可见与不可见的瓶颈,提高探测距离,为驾驶员决策及后续系统增强争取了额外的处理反应时间。车载领域红外设备通过开发无挡片的实时噪声消除算法,在持续成像过程中动态消除噪声,规避了传感器的时间窗口限制,消除了因快门动作导致的临时安全盲区。

精细渲染层面,其核心目标是借助AI技术降低红外图像的理解门槛,减少驾驶员的学习与分辨成本。其创新性地引入了基于目标分割算法的精细化渲染功能,依托SAM大规模分割模型的输出,融合检测模型的多维特征提取能力,专项聚焦道路交通中的弱势群体,对其施加专属伪彩染色处理。这种专属伪彩染色通过差异化的色彩映射,填补了红外图像灰度细节的缺失,使渲染目标更符合人眼视觉习惯,显著降低驾驶员的图像解析负担,实现所见即所得的直接化决策,提升对风险的响应速度。

尽管第三代技术显著优化了感知距离与细节,但其本质仍停留在图像显示方案层面,尚未真正实现车辆智能控制。

第四代是多模态融合,红外热成像将与可见光摄像头、激光雷达、毫米波雷达开展深度协同工作。通过鸟瞰视角下的BEV特征融合,利用点云的深度真值以及外参矩阵监督红外变化过程,可显著提升目标检测精度和空间感知能力。借助融合其他传感器的距离信息,能够准确判断危险目标位置。在其他传感器性能衰减的极端或恶劣环境中,红外热成像传感器仍可持续为AEB系统提供场景的热能量信息,使整套智能辅助驾驶系统在极端工况下依旧保持一定程度的可靠性与稳定性。

图源:演讲嘉宾素材

通过红外与多种传感器的融合,有望构建真正意义上的全天时、全天候、全场景感知矩阵探测标准,为智能辅助驾驶系统提供更具主观确定性的感知支持。

车载红外热成像技术展望

无论是L2级别的自动紧急制动功能,还是未来更高级别的L3有条件的自动驾驶,其系统设计与性能设计均必须将日益严苛的强制安全标准作为核心考量。在实际操作层面,随着智能辅助驾驶技术迈入以安全冗余为核心竞争力的新阶段,多传感器融合已成为必然发展趋势。

在此背景下,红外热成像技术在全黑环境、强炫光、烟尘、雾霾等极端场景下具备独特优势。其将与高分辨率可见光摄像头、4D成像毫米波雷达、激光雷达深度协同,共同构成高阶智能辅助驾驶系统不可或缺的重要组成部分。它不仅是满足法规要求的得力工具,更是实现全天候全场景行车安全的关键部分。

(以上内容来自长城汽车视觉系统主任工程师邢向阳于2025年7月23日在汽车智能玻璃创新技术及应用大会发表的《红外热成像车载应用技术的发展》主题演讲。)