夜视技术是一种利用光电成像的技术，来帮助克服在低光照情况下人眼的局限性，可以增强在夜间人眼的识别能力。该项技术已在军事、工业、科学研究等领域发挥了巨大的作用。

在科学的征途中，每一次的突破都代表着人类对于未知领域的一次探索。近日，一项引人瞩目的科技成果在人工智能领域崭露头角，将机器夜视推向了一个全新的境界，令人叹为观止。这项颠覆性的技术创新得益于美国普渡大学和密歇根州立大学的研究团队，他们发表在《Nature》杂志封面的论文引起了广泛关注。

穿透黑夜如白昼

据报道，美国普渡大学埃尔莫尔家族电气与计算机工程学院的科学家们研发了开创性的“HADAR”系统，即热辅助检测和测距，可使人工智能（AI）设备等能够如同白昼一样“穿透”漆黑，识别环境和物体。

据悉，HADAR结合了热物理，红外成像和机器学习，为完全被动和物理感知的机器感知铺平了道路。该研究小组正在为这一开创性的创新申请专利，并称它具有辨别纹理和深度的能力，还能理解个人和周围环境的物理特征。科学家们认为，“HADAR”将推进机器人和自主系统的未来，这种方法可以改善典型的机器视觉和感知。他们预计，到2030年，十分之一的车辆将实现自动化，为人类服务的机器人助手将达到2000万。

“每个机器人都将通过先进的传感器收集周围环境的信息，在没有人为干预的情况下做出决定。”他们说。传统的主动传感器，如激光雷达，或光探测和测距，雷达和声纳发出信号，随后接收信号，收集有关场景的3D信息。这些方法的缺点会随着规模的扩大而增加，包括信号干扰和对人眼安全的风险。相比之下，这对基于阳光或其他光源工作的摄像机是有利的，但在夜间、雾或雨等弱光条件下会造成严重障碍。

传统的热成像是一种完全被动的传感方法，它收集来自场景中所有物体的不可见热辐射。它可以在黑暗、恶劣天气和阳光下感知。但研究人员说，这也存在一些根本性的挑战，阻碍着它的使用。“物体及其环境不断地发射和散射热辐射，导致无纹理的图像，即众所周知的‘重影效应’，”他们说，“一个人脸部的热图像只显示轮廓和一些温度对比度。看起来就像看到了鬼魂。这种信息、纹理和特征的损失是使用热辐射进行机器感知的障碍。”

HADAR则不同。它结合了热物理、红外成像和机器学习，为完全被动和通过物理感知的机器感知铺平了道路。研究人员说，“我们的工作建立了热感知的信息理论基础，表明漆黑环境下携带的信息量与光天化日之下相同。”“HADAR可以生动地从杂乱的热信号中恢复纹理，并准确地解开场景中所有物体的温度、发射率和纹理（TeX）。它透过黑暗看到纹理和深度，就好像它是白天一样，还可以感知RGB以外的物理属性。令人惊讶的是，有可能像白天一样穿透漆黑。”他们说。

RGB色彩模式是工业界的一种颜色标准，是通过对红（R）、绿（G）、蓝（B）三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。

研究人员说，“HADAR TeX视觉恢复了纹理并克服了重影效应。除了草地的细节外，它还恢复了水波纹、树皮皱纹和涵洞等精细纹理。”最新研究成果已于近期发表在了《自然》杂志上。

解决重影效应的方法

在该文中，主要采用一种称为 TeX 分解的方法来解决重影效应问题，这种方法能从杂乱的热信号中生动地恢复纹理，还能在克拉梅尔-拉奥边界准确地分解温度和发射率。用 HSV 色彩空间（色调 = e、饱和度 = T、亮度 = X）表示这些杂乱无章的 TeX 属性，可将 TeX 视觉与机器感知的物理背景进行转换。TeX 视觉使人工智能算法能够达到信息论的界限，而传统的 RGB 或热视觉迄今为止还无法实现这一点。

为了解释重影效应，首先以灯泡的热辐射（可见光）进行研究。对灯泡发出的光线进行的蒙特卡罗路径追踪模拟，其中考虑了环境辐射的反射。只有当灯泡关闭时，才能看到灯泡表面的几何纹理。当灯泡打开时，反射所显示的纹理在直接发射中会完全消失，这在日常经验中是再熟悉不过的场景了。

由于复杂场景中的每个物体都会发射和散射热辐射，因此它们都是没有纹理的热光源，与闪亮的灯泡类似。离开物体 α 的总热信号有两个相加部分。其中，第一项为直接热辐射（无纹理），第二项携带纹理，即从物体散射后进入探测器的环境辐射。TeX-Net 方法使用方程 设计基于物理的损耗，并使用三维卷积神经网络学习恢复纹理 X、温度 T 和发射率 e 的空间光谱特征。

物体深度是自主导航的关键场景属性。日光 RGB 立体视觉技术已得到广泛应用，但红外热测距技术却难以实现。该文证明，夜间 HADAR 测距优于热测距，其深度精度可与日光下的 RGB 立体视觉相媲美。HADAR 测距方法利用的是基于 TeX 视觉的立体视觉，但为了显示纹理在测距中的重要性并更好地捕捉物理特性，在此将重点放在可通过 TeX 分解重建的散射信号上。对于简洁的汽车/行人场景，热成像技术会因 TeX 退化而丢失纹理，导致测距不准确。而 HADAR恢复的纹理与灰度光学成相当。HADAR 的测距结果与 RGB 立体视觉相当。从数量上看，与地面实况相比，沿着白色虚线的绝对测距误差显示，HADAR与热测距相比，精度提高了约 100 倍。

该文还报道了在真实场景中实验演示HADAR技术。与现有的视觉驱动感不同，该文提出了一种具有 HADAR -TeX 属性的物理驱动感知转变。使用了一个夜晚的室外场景，其中有一辆汽车、一个人和一个爱因斯坦的剪影，以从几何角度模拟人类，并说明 HADAR 如何解决幻影制动问题。RGB 光学成和稀疏激光雷达点云都无法将人体与真实比例的爱因斯坦剪纸区分开来。此外，由于反射率较低，激光雷达很难探测到黑色汽车，而光学相机则无法看到黑暗中的物体。HADAR 可以在相应的材料区域（皮肤+织物）探测到人，并将其与纸板清晰地区分开来，从而克服了幻影制动问题。

该文报道了利用该材料库的数据训练了一个神经网络模型，实现高清晰红外成像。该模型旨在处理来自红外热像仪的复杂热信号，以计算场景中每个物体的温度、发射率和纹理，并从自身数据中学习，通过热信号绘制真实世界。利用这一模型，能够减轻红外成像重影效应，获得比现有人工智能增强热成像技术更清晰、更细致的热图像。

自动驾驶技术将受益

智能机器通常利用先进的传感器收集周围场景的信息，以实现态势感知。最先进的机器感知技术包括整合使用主动声纳、雷达和激光雷达来实现相机视觉的增强，其中利用无所不在的热信号是可扩展感知技术的一个新领域。

尤其在自动驾驶领域，为了实现图像检测和分类技术，通常采用摄像头等准被动方法实现对实际路况的感知和识别，但是基于摄像头的机器视觉技术过度依赖于环境光照，当能见度较低时，如雾和烟等天气条件和自然黑夜的情况下，这些方法仍然面临着相当大的挑战。而红外热成像感知技术可以作为基于机器视觉感知技术的有力补充，以实现在能见度低情况下的态势感知。

近年来，夜视技术不断突破场景想象，被视为商业化中的“杀手级应用”。目前，全球每年大约要生产100亿颗光学摄像头，其中超过半数用于手机，其次是安防、车载及其他消费级产品。在所有传感器中，视觉传感器可能是最重要之一。例如，在自动驾驶应用中，英伟达目前的车载硬件算力已达1000T，其中九成在处理视觉。

新能源汽车被视为夜视技术的重要应用场景。数据显示，中国新能源汽车渗透率已达30%，这一拐点比此前预测提前8年到来。未来5-10年，新能源汽车将快速增长，渗透率大幅提高。每辆燃油汽车上只有0.6颗摄像头，而每辆新能源自动驾驶汽车平均安装十几颗摄像头，这意味着市场需求或将从200亿快速提升至2000至3000亿。

与此同时，目前市场上新能源汽车摄像头的技术满足度不高，大型车厂正在寻找用于自动驾驶汽车的更好摄像头。HADAR方法的诞生，不仅为机器感知技术带来了革命性的进步，也为人工智能的发展开辟了新的道路。它将为自动驾驶、智能安防等领域的发展提供强有力的支持，为人类创造出更加智能、安全、便捷的未来。在未来的道路上，这项技术的探索将继续深入，科学家们将不断完善和优化这一方法，使其更加成熟和可靠。

同时，该技术还可以进一步开发用于农业，国防，地球科学，医疗保健和野生动物监测。正如论文中所展示的，HADAR方法的潜力是巨大的，它或许只是科技创新中的冰山一角，更多的可能性等待着我们去探索和发现。

文章来源： 南方+客户端，高分子科学前沿，科创板日报，新智元