近日，香港理工大学柴扬和华中科技大学何毓辉教授造出一款动态视觉传感器，实现了高级别的动态视觉处理。本次研究结合了动态视觉传感器和传感器内计算，通过充分利用两者的优点，他们还设计出一款动态传感器内计算架构。该架构可以大幅提高运算效率，实现低延时、低功耗的运动识别。

这种直接在传感器内进行实时处理和决策的方式，有望用于边缘计算，以及用于那些对延迟高度敏感的场景比如无人驾驶汽车、机器人技术等领域，并能有效节省通信带宽，此外还能增强数据的安全性和隐私性。

研发仿生视觉适应传感器

在人类生活环境中，从烈日当空的正午、到伸手不见五指的漆黑夜晚，自然光的强度分布非常广。如何在不同光照条件下准确提取外部环境的信息，是一个基础科学问题，具有非常实际应用的意义。

随着机器视觉的发展、及其在自动驾驶和实时视频分析等领域的应用，高分辨率、高图像捕获速度成为视觉传感器的必备能力，具体体现为良好的稳定性、以及宽感知范围，即在不同光照强度下感知目标的能力。据悉，地球上自然光强度的分布超过 280dB，因此对于正确感知环境来说，在不同光照下准确捕获图像尤为重要。这就要求光电器件在弱光、以及亮光照明下，必须准确捕捉和感知细节。目前，市场上主流的硅基 CMOS（互补金属氧化物半导体，Complementary Metal Oxide Semiconductor）图像传感器通常只有 70dB 的感知范围，远低于自然场景的光强变化范围。

为实现较宽的感知范围，此前有学者探索过控制光学孔径、使用液态透镜、调节曝光时间、以及后端去噪算法等方法，但这些方法通常需要复杂的硬件和软件资源。因此非常有必要在传感器终端发展出一种具有视觉适应功能和宽感知范围的光电器件，从而改善机器视觉的功能、降低硬件复杂性、并提升高图像识别效率。

相比硅基光电探测器，人眼的光接收细胞感知范围比较有限只有 40dB，但是人眼的视觉适应功能让我们可以感知和识别不同光照条件下的各种物体，哪怕是从较暗环境、转换到较亮环境中。人眼的视觉适应机制，依赖于每个光接收细胞在不同光照条件下光灵敏度的动态调节，其调节原理是在不同光照条件下，水平细胞控制视锥和视杆细胞之间的转换、以及光色素的产生和消失。

在该工作中，柴扬和团队研发出一种基于底栅光电晶体管阵列的仿生视觉适应传感器。该器件模拟了水平细胞和光接收细胞的结构，具有视觉亮适应和暗适应的功能，有效感知范围达到 199dB。利用这款传感器，可在不借助大体积光学组件、以及复杂外围电路和后端信号处理的条件下，实现视觉适应功能和宽感知范围。

“低延时低功耗”识别如何实现？

相比现有的图像传感器、或互补金属氧化物半导体（CMOS，Complementary Metal Oxide Semiconductor），动态视觉传感器在捕捉动态图像时，在工作原理上有着哪些不同？

据了解，传统相机所基于的标准图像传感器具有固定的帧率，不管像素点的光强是否发生变化，都会在每一帧记录下所有像素的绝对光强，因此会包含大量冗余的视觉数据。另一方面，较长的曝光时间限制了事件捕获的延迟，导致所捕捉到的高速运动物体图像存在模糊和过曝等问题。相比之下，受生物视网膜启发的动态视觉传感器（DVS，Dynamic Vision Sensor），可以只针对场景中的相对变化区域作出反应。

对于动态视觉传感器来说，只有在像素点的位置发生光强变化的时候，才会产生脉冲信号从而生成稀疏数据，这样一来就能大大减少数据的冗余量。动态视觉传感器还具备超高的时间分辨率，能够确保动作信息被完整记录下来。因此，它也能被用于检测场景中的变化，输出稀疏且重要的信息。而对于传感器内的脉冲信号来说，它是否也能被反馈给传感器神经元，从而做出相应的调整？

对于这一问题，答案是肯定的。为了执行复杂的计算任务比如动作识别，像素单元需要被扩展到阵列级别，并通过单元之间合适的物理互连，构建成脉冲神经网络（SNN，Spiking Neural Network）。而每个子像素阵列，在连接之后可以输出神经元。在动态场景中，当像素点的光照强度发生变化时，子像素单元也会产生正负电流脉冲，来对 LIF（leaky integrate and fire）神经元中的电容进行充放电。一旦电容的积分电压也就是神经元的膜电位，达到神经元的阈值时就会输出脉冲。

目前，已有研究证实通过在传感器端口进行预处理，比如增强对比度、减小噪声、视觉自适应调节等方法，可以显著提高图像识别效率。进一步地，通过利用可调节的光响应度来模拟突触权重，用光探测器来构建人工神经网络，可以实现更高级别的人物静态图像识别，从而实现传感器内计算。

拥有大规模感算融合的潜力

香港理工大学博士后周越，是本次动态视觉传感器的主要设计者。他巧妙结合了动态视觉传感器和传感器内计算的优点，实现了感算融合的脉冲神经网络。

而在 2022 年初，课题组关于动态视觉传感器的第一篇相关论文，已经发布在 2022 年微电子器件领域顶级国际会议 IEEE International Electron Devices Meeting（IEDM）上。在那篇论文之中，周越利用该团队此前研发的二硫化钼光电晶体管阵列，针对单个器件进行表征和电路测试，借此验证了动态视觉传感器设计方案的可行性。

然而，要想使用二硫化钼光电晶体管实现具有计算功能的动态传感器，依然存在如下问题等待解决:其一，二硫化钼光电晶体管高的动态范围，来源于其光照强度和光电流的非线性关系。当使用这种晶体管来构建神经网络时，会使用到“光电流=光响应度*光照强度”这样一个公式。在这个公式里：光照强度是输入矢量, 光电流是输出矢量，光响应度是突触权重矩阵。因此，课题组原则上希望光响应度，不会随着输入量的光照强度发生改变，也就是光响应度和光照强度之间要能够满足线性关系。

其二，对于二硫化钼光电晶体管来说，它需要在不同的栅极偏置之下实现不同的光响应度。在恒定栅压的施加之下，计算功耗开始增大。而且需要额外的内存单元，来储存每个光电晶体管所需的施加栅压。其三，二硫化钼光电晶体管的响应时间为 10ms，这导致时间分辨率只能限制在毫秒量级。

鉴于上述问题，周越设计了非易失的光电二极管器件。这种光电二极管中的光照强度和光电流的线性关系，使其更适合用来实现感算融合。而且相比光电晶体管，光电二极管的光伏效应让其光响应速度得到大幅度提升。进一步地，周越通过采用浮栅层的设计，让电荷可以被长时程地储存在浮栅层。这样一来，即使在没有外部电压偏置的情况下，也能实现不同的光响应度。相比之下，光电晶体管则需要恒定的施加外部电压。

由此可见，周越所使用的这种方式可以有效减少能耗，同时具有更强的扩展性，在被用于更大神经网络的同时，还能避免出现走线施加外部偏压的风险。基于此，周越等人制备了基于二硒化钨的浮栅二极管，并对其进行电路级别的光电测试。华中科技大学何毓辉教授课题组的付嘉炜同学，则负责进行网络级别的动作识别仿真。利用自制的动作数据集，证实本次设计方案具备实现大规模感算融合的潜力。

最终，相关论文以《用于神经网络内传感器的计算机事件驱动视觉传感器》（Computational event-driven vision sensors for in-sensor spiking neural networks）为题发在 Nature Electronics（IF 34.3），周越是第一作者，柴扬和何毓辉担任共同通讯作者。

文章来源： DeepTech深科技，战新元宇宙，智能车参考