红外热成像传感器，智能驾驶新兴传感器

红外热成像传感器最初是作为红外夜视仪出现在顶级豪车上，随着智能驾驶的普及率逐步提升，红外热成像传感器开始放量上车，夜间行驶较多，还经常有大雾的场景，红外热成像是不可替代的传感器，在商用车和越野车市场前景广阔。随着出货量的逐步攀升，红外热成像的价格已接近2025年主流激光雷达的水准。

目前，国内的车载应用主要是比亚迪仰望系列，方程豹8系列，埃安滴滴L4，极氪9X，2025年下半年长城高端越野车型也将使用。

红外的波段范围没有一个很明确的标准来分类。NDIR（Non-Dispersive InfraRed, 非分散红外）气体分析，火焰光谱以及量热计等的应用通常将红外线分成近红外（NIR），短波红外（SWIR），中波红外（MWIR），长波红外（LWIR）以及远红外（FIR）。

红外成像再分为主动和被动，主动红外摄像头是通过“照射装置”（红外灯）主动照射目标，并利用目标反射回来的红外光，来实施检测。被动红外摄像头是借助于目标自身发射的红外辐射，或者目标反射外部环境的红外光（无“照射装置”），来实施检测。

近红外和短波红外一般采用主动方式（反射），有些特殊场景也采用被动方式（反射），即依靠环境投射到目标的反射信号；中波、长波和远波红外主要是被动方式（热辐射），短波红外在有些特殊场景也采用被动方式（热辐射）；可见光波段在白天是被动方式（反射），在夜晚通过汽车大灯照射目标时，可以视作是主动方式（反射）；激光雷达也可以看做一种主动的近红外传感器。

激光雷达的激光波段主要是905纳米到1550纳米阶段，随着VCSEL的崛起和价格竞争加剧，激光雷达基本都改用VCSEL做光源，波长主要是940纳米，少量是850纳米，VCSEL也有1300纳米和1550纳米，不过成本原因，940纳米是主流。这就与红外热成像的8-15微米差别极大，这也是激光雷达不是全天候传感器的原因，并且这是物理限制，永远无法突破。另外一个就是毫米波雷达，要想做到真正的图像级毫米波雷达，其成本会远超激光雷达，目前的所谓4D毫米波雷达，分辨率难以做到千级像素，而红外成像主流是32万像素，相差几百倍。

红外热成像可在任何可见光线(强光、眩光、逆光、微光、无光)条件下稳定成像；受雨、雪、雾、霾、尘等恶劣天气影响较小；独特的活体识别能力，可在安全风险较高的驾驶环境下提供稳定的视觉感知数据，对生命安全做有效识别保护，特别是对主动安全有明显提升；测温：成像的同时还可以提供区域测温数据，智驾及智能座舱均有广泛应用场景，用于智慧空调、健康监测、活体检测、占位，手势识别等。

阳光直射容易让传统可见光摄像头超出动态范围而致盲，隧道的进出也容易影响可见光摄像头。

红外热成像可以直接使用传统可见光摄像头领域内的算法，无需做任何改动，当然如果能做具体的优化效果会更好，美国加州大学机械与航空系与计算机系以及加州交通运输局做了具体的定量研究。论文题目为Infrared Vision Systems for Emergency Vehicle Driver Assistance in Low-Visibility Conditions，2025年4月发表。

两个红外热成像系统都是商业化产品，一个是Teledyne的FLIR LCC系统，另一个是Infiray的Xsafe-II M6S，后者内置目标检测模块。二者的分辨率均为640*512，FOV在24-75度之间可调，帧率在30-60Hz之间可调。可以用USB连接，也可以用车载领域常见的GMSL解串行连接。硬件平台有两种，一是Jetson Orin，二是Jetson Nano。

红外热成像的数据集和可见光摄像头数据集能不能混用，论文里没说，笔者认为或许可以，论文使用了Teledyne FLIR热成像数据集，包含26442帧图像，520000个bounding box，分类包括人类、自行车、轿车、摩托车、卡车、大巴、火车、狗、鹿和其他车辆。算法采用YOLO V7算法，在Jetson Orin上可以做到每秒62帧，远超自动驾驶的底线15Hz。

人眼看到的和机器看到的有天壤之别，所以机器的目标检测指标如下：

mAP是平均精度（Average Precision，mAP）是一种常用的用于评估目标检测模型性能的指标。在目标检测任务中，模型需要识别图像中的不同目标，并返回它们的边界框（bounding box）和类别。mAP用于综合考虑模型在不同类别上的准确度和召回率。IOU (Intersection Over Union)是一种基于Jaccard Index的度量，用于评估两个边界框之间的重叠。它需要一个真实边界框和一个预测的边界框。通过IOU，可以判断检测是否有效或无效。IOU由预测边界框与地面真实边界框的重叠面积除以两者的并集面积得到。

根据成绩分析，白天，三者性能接近，FLIR略好，F1得分最高，其余几个场景，FLIR完全具备压倒性优势。比较独特的是白天大雾模式，传统RGB的精度远高于FLIR，但在召回率上，FLIR碾压了传统RGB，最终F1得分依然远超过传统RGB。夜间大雾场景，FLIR优势非常突出，召回率碾压传统RGB太多太多。

红外成像也能与端到端结合，它完全可以看作一个传统摄像头，只不过分辨率低一点而已。

近年来也出现了一批包含红外热成像的数据集，也有将红外热成像与LLM结合的研究。2024年5月，美国哥伦比亚大学为主的研究论文《Leveraging Multimodal Large Language Models (MLLMs) for Enhanced Object Detection and Scene Understanding in Thermal Images for Autonomous Driving Systems》。

韩国国家研究院则建立了基于热成像的深度估算数据库，论文是2025年3月发表的《Deep Depth Estimation from Thermal Image : Dataset, Benchmark, and Challenges》。用红外热成像估算深度值性能远在单目之上，和立体双目竟然不相上下。同月，还有一篇德国软件企业XITASO与中国亮道智能合作的论文《R-LiViT: A LiDAR-Visual-Thermal Dataset Enabling Vulnerable Road User Focused Roadside Perception》，数据集中包含红外热成像。

目前，中国企业中，睿创红外和高德红外优势明显，考虑到中国市场对智能驾驶的狂热追求，很有可能在红外成像领域复制激光雷达的老路，那就是中国企业彻底击溃国外企业而遥遥领先。