人类获取的信息83%都来自视觉，由听觉、触觉和其他的渠道获取信息的占比仅有17%，所以视觉对于人类的重要性溢于言表。而机器视觉作为机器人的“高精密眼睛”，其之于机器人的作用就像视觉之于人类一样重要。

中国工程院院士王耀南曾在2022世界VR产业大会关键共性技术主题论坛上围绕“高光谱机器视觉感知技术应用及发展趋势”发表演讲。他指出，高光谱机器视觉技术正在迅速普及，在制药行业的产品检测、食品生产的安全识别、建筑材料的质量控制、医学成像等场景中广泛应用，但距离真正实现“高精准、看得清、更好用”仍面临挑战。

而近日，来自普渡大学以及密歇根州立大学的学者们对这些问题做了深入研究，解释了鬼影效应的形成机制。他们利用高光谱分辨的热信号克服了鬼影效应，首次提出并实验实现了“高光谱热雷达”。

什么是热成像鬼影？

根据普朗克定律，所有有限温度的物体---包括我们人自身---都在辐射热信号。热辐射经过散射、传播，弥漫于世界各个角落。因此，热辐射不仅具有“天然无害”、“被动式”、“隐蔽”、可以“夜视”等优点，还带有物体温度、材料、表面纹理等重要物理信息。在新冠期间，基于热辐射的成像也常被用于体温监测。

然而，传统热成像具有典型的“鬼影”效应。用传统热相机拍一张人脸，你很难看到我们熟悉的眼睛、鼻子和嘴巴。相反，你只能看到缺乏细节的脸的轮廓，像极了恐怖片中的鬼魂。热成像的照片对比度低、缺乏纹理细节，这是学界与业界的共识。基于热成像的夜视并不能看到白天一样的景象。

而“缺乏纹理”，对于双目立体视觉的形成，正是致命的！双目立体视觉正是通过匹配两张照片中的同一纹理特征，获取它所处的不同照片位置，进而推断出深度（距离）信息的。也正因此，人们利用可见光相机已经实现了立体机器视觉与自动导航，却至今未能利用热相机做到这一点。

鬼影效应是怎么形成的？我们能从热信号中恢复出热成像本该有的纹理、材料及温度，进而得到不亚于可见光相机的立体机器视觉吗？尤其，当动物以及人类都已经习惯了白天-黑夜这种二分的世界后，我们还能不能跳出惯性思维去畅想：人工智能在黑夜能看到跟白天一样清晰的景象吗？

让机器拥有白天一样的夜视能力

今天，有一种颠覆已有热成像技术的新方法登上了Nature封面。这种方法通过克服传统解决方案中的“重影”问题，这种方法在基准测试中一显巨大优势，不仅能像白天一样看清环境的纹理和深度，还能感知到RGB、热视觉以外的各种物理信息，可谓相当利好机器感知尤其是自动驾驶行业。

利用AI打辅助，让机器夜视能力和白天一样清晰，这是来自美国普渡大学和密歇根州立大学，一作为浙大毕业的博士的研究成果。作者认为，该成果对第四次工业革命还能直接起到加速作用。何以见得？

目前比较前沿的机器感知方法是利用无处不在的热信号来重现环境信息。但是它有一个非常明显的缺点，就是会产生“重影效应（ghosting effect）”。具体而言，该效应是指由于物体和环境在不断发射热辐射，导致三个物理属性，即温度（T，物理状态）、发射率（e，材料指纹）和纹理（X，表面几何形状）混合在光子流中出现的一种现象（仅限于夜视情况）。

这种现象主要造成的是环境/物体的纹理缺失，只有当灯泡关闭时我们才能看到灯泡上的几何纹理，一旦发光就完全消失，而黑体辐射不可能被“关闭”，所以也就意味着我们得到的热图像总是缺乏纹理，不能看到一个完全真实的黑暗世界。

在此，作者提出了一种名为HADAR（heat-assisted detection and ranging ）的方法，它以热光子流为输入，记录高光谱成像热立方体，通过TeX分解来解决重影效应这一挑战。

作者表示，TeX分解利用机器学习生动地从杂乱的热信号中恢复纹理，并使人工智能算法能够达到信息论的极限，而到目前为止，传统的RGB或热视觉办法很难做到。

作者的具体实现方法如下：首先，热立方体的TeX分解依赖于空间模式和光谱热特征，这启发了他们在UNet模型中采用光谱和金字塔（空间）注意力层。其次，由于TeX的简并性，必须指定以下数学结构来确保逆映射的唯一性（α、β代表物体的指数，v是波数），因此必须学习热照明系数V而不是纹理X。也就是说，TeX-Net不能端到端地训练。最后，材料库M及其维度是整个网络的关键。

除此之外，作者还提出了一种非机器学习方法，即TeX-SGD来生成TeX-vison作为补充。

在测试中，我们能看到HADAR方法带来了超高精度。

高光谱热雷达的应用

当前所用的高光谱热相机只有约1帧每秒的成像速度，体积却堪比台式电脑的机箱，价格更是高达千万元。要将热雷达实际应用到机器人、无人驾驶汽车、甚至手机等消费产品中，需要进一步改进数据采集速度，减小相机尺寸、重量及功耗，并大幅降低相机的价格。这需要来自学界与业界各方的努力一起推动。

未来高光谱热相机的大规模应用，可使人们体验到全新的夜视效果、使人工智能有一个全新的机器视觉，这或将极大地促进第四次工业革命，在无人驾驶、智能医疗、智能农业、野生动物监测、国防等领域给人们带来帮助与便利。

文章来源： 中国光学，中国电子报，览富财经网