西湖大学姜汉卿团队的最新研究成果“Active Mechanical Haptics with High-Fidelity Perceptions for Immersive Virtual Reality”，在国际上首次提出并开发了“高保真主动机械触感交互系统”，为元宇宙带来了全新的触觉感知维度。这意味着他们借鉴折纸机械超材料，让VR眼镜里的虚拟世界不仅可见、可听，还可“触摸”！

什么是机械超材料？

机械超材料是一种人造材料，其机械性质主要由其几何形状而非其组成决定。由于机械超材料表现出无法在块材料中获得的杰出机械性质和功能，因此它们引起了广泛的研究兴趣，并在各个领域中找到了应用。最近，研究人员对基于折纸的超材料表现出极大的兴趣，这些超材料展示了从二维表面到三维结构的无限几何变换可能性，以实现非常规的性质，如负泊松比、可调/分级机械性能和多稳定性。

折纸超材料为VR/AR提供触觉

6月6日凌晨，苹果公司全球开发者大会后，元宇宙再一次成为热词。苹果公司推出了它第一款混合现实头戴式显示设备Apple Vision Pro，标志着又一科技巨头向虚拟现实产业进军。

时间倒回1992年，美国作家尼尔·斯蒂芬森在科幻小说《雪崩》中，第一次向世人展示了接入元宇宙的方式：戴上耳机和目镜，找到连接终端，就能够以虚拟分身的方式进入由计算机模拟、与真实世界平行的虚拟空间。

从耳机、目镜，到虚拟现实、增强现实，高科技设备为我们打开了元宇宙的入口。当头显里的LED屏幕亮起，使用者便产生了置身于数字世界的实感——即便，眼前的事物都只是视听效果制造的幻象。

近日，西湖大学姜汉卿团队发表在《自然》杂志子刊《自然-机器智能》上的一项研究成果却告诉我们，元宇宙可以不只是幻象。他们在国际上首次提出并开发了“高保真主动机械触感交互系统”，为元宇宙带来了全新的触觉感知维度。西湖大学工学院博士后张壮为本文第一作者，西湖大学工学院讲席教授姜汉卿为该文通讯作者。

而这项突破，竟然还与中国传统手工艺“折纸”有着奇妙的联系。

人物名片：姜汉卿博士

姜汉卿教授是固体力学领域的国际知名专家，长期从事固体力学、材料科学、及多场耦合问题的基础理论研究和前沿技术创新，在纳米材料、柔性电子、锂电池中的力-电-化学耦合作用、智能折纸、以及机械超材料等领域均取得了一系列重大的科研成果。在国际上，姜汉卿教授率先提出并引领基于折纸-剪纸技术的机械超材料和柔性电子研究，基于此项技术的产品被用于2022年北京冬奥会；发现并证实锂支晶形核的压应力触发机制，通过软物质实现应力释放解决枝晶问题，为解决锂金属电池的一个关键技术壁垒提供了力学新思路；提出并成功研发了食品级可食用电子，其中无线检测胃内酸碱值的PH胶囊已经FDA获批，引领了智能医学实时诊疗的新方向。2021年，美国机械工程协会授予姜汉卿教授Worcester Reed Warner Medal，以表彰其在软基/硬膜研究领域的开创性工作及其在多个领域，包括柔性电子和测量学等领域的杰出贡献。

捉摸不透的触觉

比起视觉与听觉，人类的触觉一直更加令人捉摸不透。

在感官机制的研究上，科学家揭开触觉奥秘的过程比听觉与视觉要艰难得多。2021年，美国科学家大卫·朱利叶斯和阿登·帕塔普蒂安因发现温度和触觉受体获得诺贝尔生理学或医学奖。而早在上世纪60年代，科学家就分别因为“发现耳蜗内刺激的物理机理”和“发现眼内视觉的初级生理和化学过程” 获得了两届诺贝尔奖。

触觉很神秘。在人类的五感中扮演着极为重要的角色——视、听觉在信息接收方面居于主导地位，味、嗅觉处于辅助地位，触觉则居于根本地位。已有研究表明，人可以仅依靠“察知触觉”来识别物体及其属性特征，伴随着触碰的过程，情绪、情感在一定程度上也会被唤醒。我们据此获得对外部世界的体验与认知。

触觉如此不可替代。研究者们也很快意识到，它是元宇宙世界缺失的一块重要拼图。

媒介理论家麦克卢汉有一句著名的论断：媒介是人体的延伸。问题在于，如何才能找到延伸触感的媒介？

震动是最初级的形式。早期出现的一些游戏手柄，能够根据游戏内容配合不同的震动方式，让使用者感受到引擎启动、子 弹发射的瞬间。

2019年，柔性电子之父、美国西北大学约翰·罗杰斯院士联合黄永刚院士开发了一种无线、无电池的触觉制动器，它类似一种覆盖在皮肤上的“贴片”，使用的原理仍然是机械震动。震动模式可以通过编程操控，从而模拟VR/AR情境下人的触摸、物品的性状、身体的碰撞等。

2021年，科技巨头Meta发布触觉感知手套，用压力大小调控触觉。从外观上看，这款手套上布满了可伸缩、活动的黑色充气塑料垫。握住一个虚拟物品，手指上的气阀会充气压迫来模拟阻力；塑料垫轻轻拉动皮肤，还能模拟重力牵引的效果，让人感受到物体的重量。

然而，密切关注这些研究进展的姜汉卿告诉记者，如果把这些模拟触觉的方法归归类，会发现，它们本质上都是在用设备将触感“灌输”给你：当你拿到一个虚拟的物品，你获得的触感来自于马达的振动、气囊的膨胀，就像坐在4D电影 院里突然感受到座椅的晃动，实际上，是机器在碰你，而不是你在碰机器。

姜汉卿将此类触觉称为“被动触觉”，在日常生活中，接收被动触觉的部位大多是肩、胸、腰、背。而人的手和脚，应当是“主动触觉”的主要器官。“简单理解，主动触觉来自我们主动发起的行为，需要我们有意识地控制肌肉发力，去触碰眼前的物体。”姜汉卿解释说。

能否将“主动触觉”也引入元宇宙中？姜汉卿团队摆脱当前虚拟现实交互的思维定式，开始了新的探索。

折纸缪斯：撬动VR世界的星辰大海

那么，最前沿的VR和元宇宙，怎么会因为传统的折纸艺术而破局？

让我们把视线转回西湖。

2021年6月18日，姜汉卿结束了在美国亚利桑那州立大学十五年的任教生涯，正式加盟西湖大学。在这里，他最早启动的课题之一就是柔性电子与软/硬异质性材料研究，这也是我们第一次从他那里听到“折纸机械超材料”这个概念——所谓“机械超材料”，指的是并非自然形成，而是人为构造的材料结构，材料的性能不依赖于材料的分子结构或者晶体结构本身，主要依赖于其精巧的构型里面的结构细节。

从事“折纸研究”十年之久，又感知到了元宇宙的欣欣向荣，姜汉卿萌生了把两者结合起来的念头。“折纸材料可能很软，但是依赖于不同的折叠方式，折纸结构又会变得很硬，基于折纸结构的机器人，就可以随时调节软硬程度。”

摆脱当前虚拟现实交互的固有思维定式，姜汉卿创造了“主动触觉”这个新概念——不同于肩、胸、腰、背等人类身体通常接收“被动触觉”的部位，人的手和脚通常是主动出击，通过主动触摸去感知物理世界。研究团队选择从“机械触感”（即刚度，物品的软硬触感）入手，模拟手和脚主动触摸物体时的感觉。

他们研发了一套“高保真主动机械触感交互系统”，利用不同材质、不同尺寸的折纸模块搭建了两种不同维度的交互装置：一种可引发局部触感的手持式装置,与一种可以产生全身体感的脚踏式装置。在使用手持式交互装置时，用户可通过主动抓握，体验其所交互的不同物品的软硬程度；在使用脚踏式装置时，用户则可通过主动踩踏，以全身运动的形式体验其所处的环境地面特性。

这种主动机械触感的实现，正是源于硬件设备内部曲面折纸结构在交互过程中、由用户主动触发的被动变形——在电机的配合作用下，曲面折纸能弯曲成不同的角度，也会产生不同大小的反力，从而给予用户手足不同的“弹性”反馈。

观看下图可以获得更直观的感受：将两张薄薄的塑料片对折，呈“X”状穿插在一起，想象一下，当你纵向“上下”按压塑料片，力量、角度不一样时，手收到的“回弹”反馈的感知也会不一样。这种触觉的变化传递给大脑，大脑就会根据“软硬”做出判断：抓到的是棉花，是木板，还是钢球……如果把手换成脚，大脑同样会根据脚所传递的刚度反馈，来判定人是走在马路上、草地上，还是踩在冰上……

由此，我们在元宇宙的虚拟世界中，就可以完美实现“所见即所触，所处即所踏”了。

应用空间无限大

姜汉卿给类似的折纸装置起了个名字，叫做“折纸机械超材料”。

“折纸”折的不一定是纸，所谓“超材料”，也并非某种特定材质的物质——超材料的性能不依赖于材料本身的分子结构或者晶体结构，而是依赖于其精巧的构型。

结构决定材料性能，这带来了一大优势。无论是“手球”里的塑料片，还是“踏板”中的钢片，都是团队网购取得的，可以被替换为任何有弹性、低成本的材料。姜汉卿说，实验室里最多的就是美工纸，探索结构的力学性能，简简单单的纸张就足够了。

当然，用于折叠的平面材料也可以变得很“豪华”。

姜汉卿最早接触折纸时，研究的是“折叠电池”。他们将构造锂电池需要的各种材料切割后堆叠在一起进行整体封装，再通过“折纸”制作成型。如此一来，便可以实现十几倍的反复拉伸、弯曲和扭转，同时保持着电池容量和输出功率不变。

在本次研究里，他们选择从“机械触感”，也就是材料的刚度、物品的软硬度入手，模拟手和脚主动触摸物体时的感觉。而除了刚度之外，对物体表面纹理、温度、湿度等的感知也是触觉的组成部分。借鉴“折叠电池”的原理，这些触觉体验同样可以通过在折纸材料中使用柔性电子工艺集成大量的传感器件来实现。

此外，团队还希望在未来用折纸打造更大尺度的虚拟体验，在更大的场景中实现交互。

姜汉卿大胆展开设想：“想象一个房间的地面上布满了折纸装置，如果虚拟世界中的我想要坐下，地上就能‘生长’出一张椅子，想划船、想骑摩托车，装置就能模拟出船和摩托车的形状来……”

除了更真实的娱 乐体验外，这项研究在虚拟现实技术支撑的其他人机交互领域，也有着非常广阔的应用空间。

论文中列举了一些可能的应用场景：主动触觉技术可以用于医疗诊治和康复训练，帮助肢体受伤或者中风患者重建触觉感知力；VR场景配合能够模拟跌倒感的脚踏装置，可以用于恐高症患者的治疗；在使用VR模拟深海、太空等极端环境，辅助特殊人员训练时，引入主动触觉能帮助他们更全面地认知环境，从而做出更加理性的选择……

从折纸到元宇宙，姜汉卿对新事物的探索一直乐此不疲，但他同时相信，“科研需要创新，要有societal impact（社会影响力），要对这个社会真正有贡献，所以我的实验室叫做Beyond mechanics with societal impact（有社会影响力的跨力学实验室）。”

从这项研究中，我们正看见了想象力创造社会价值的力量。

总结：

科研需要创新，要有societal impact，要对这个社会真正有贡献。”这是姜汉卿对科学工作的定义。他们这项研究，为虚拟现实交互提供了全新的模式与体验，为超材料在元宇宙中的进一步集成提供了指导方案，也有望拓展虚拟现实技术在娱 乐、遥操作、医疗诊治与康复等领域的广泛应用。

接下来，研究团队将继续找到多模式的感知，还原更完整的触觉，在形态上，他们正在尝试和柔性电子整合，实现主动触觉与被动触觉的结合，以及努力用折纸实现更大尺度的体验，在更大的场景中实现交互。

“比如在游戏中要骑摩托车，能不能直接从地面‘长出’可以触摸到的摩托车来？不仅是摩托车，还能长出能坐的椅子，能开的小船……”姜汉卿放飞自己的想象。

虽然只是“想象”，但历史已无数次证实，科学家的天马行空，也许就是未来世界的真实图景。

文章来源： 西湖大学，张哥侃数码，浙江日报，材料material