在 2022 年 2 月 23 日发表在Nature Machine Intelligence上的一篇论文中，马克斯普朗克智能系统研究所 (MPI-IS) 的一组科学家介绍了一种名为“Insight”的强大软触觉传感器，它使用计算机视觉和深度神经网络准确估计物体与传感器接触的位置以及施加的力有多大。该研究项目是朝着机器人能够像人类和动物一样准确地感知周围环境迈出的重要一步。与其天然对应物一样，指尖传感器非常灵敏、坚固且分辨率高。

拇指形传感器由软壳制成，围绕轻质坚硬的骨架构建。这个骨架支撑着这个结构，就像骨头稳定了柔软的手指组织一样。外壳由混合了深色但反光铝片的弹性体制成，形成不透明的灰色，可防止任何外部光线进入。隐藏在这个手指大小的盖子内的是一个微型 160 度鱼眼摄像头，它记录彩色图像，由一圈 LED 照明。

当任何物体接触传感器外壳时，传感器内部颜色图案的外观会发生变化。相机每秒记录多次图像，并将这些数据提供给深度神经网络。该算法甚至可以检测到每个像素中最小的光线变化。在几分之一秒内，经过训练的机器学习模型可以绘制出手指接触物体的确切位置，确定力的强度，并指示力的方向。该模型推断出科学家所谓的力图：它为三维指尖中的每个点提供了一个力向量。

“我们通过外壳的创新机械设计、内部定制的成像系统、自动数据收集和尖端的深度学习实现了这种出色的传感性能，”MPI-IS 的马克斯普朗克研究小组负责人 Georg Martius 说，他在那里领导自主学习小组的。他的博士生 Huanbo Sun 补充说：“我们独特的软壳混合结构包裹着坚硬的骨架，确保了高灵敏度和鲁棒性。我们的相机可以从一张图像中检测到表面最轻微的变形。”

事实上，在测试传感器时，研究人员意识到它足够敏感，可以感觉到自己相对于重力的方向。

该团队的第三位成员是 MPI-IS 触觉智能部主任 Katherine J. Kuchenbecker。她确认新传感器将很有用。“以前的软触觉传感器只有很小的感应区域，很精细且难以制造，并且通常无法感觉到平行于皮肤的力，这对于机器人操作至关重要，例如拿着一杯水或在桌子上滑动硬币，”库琴贝克说。

但是这样的传感器是如何学习的呢？Huanbo Sun 设计了一个测试平台来生成机器学习模型所需的训练数据，以了解原始图像像素的变化与所施加的力之间的相关性。测试台在传感器表面周围探测传感器，并记录真实的接触力矢量以及传感器内部的相机图像。以这种方式，产生了大约 200,000 个测量值。收集数据花了近三周时间，训练机器学习模型又花了一天时间。在如此多不同接触力的长期实验中幸存下来，有助于证明 Insight 机械设计的稳健性，并且用更大的探针进行的测试显示了传感系统的通用性。

拇指形传感器的另一个特点是它具有一个带有较薄弹性体层的指甲形区域。这种触觉中央凹旨在检测即使是微小的力和详细的物体形状。对于这个超敏感区域，科学家们选择了 1.2 毫米的弹性体厚度，而不是他们在手指传感器其余部分使用的 4 毫米。

“我们在工作中展示的硬件和软件设计可以转移到具有不同形状和精度要求的各种机器人部件。机器学习架构、训练和推理过程都是通用的，可以应用于许多其他传感器设计，”Huanbo Sun 总结道。