在过去的几十年里，工程师们创造了功能和能力越来越先进的设备。近年来，一种设备性能得到了显著改善，称为“空间计算”。

空间计算这个术语本质上是指计算机、机器人和其他电子设备“感知”周围环境并创建其数字表示的能力。传感器和混合现实（MR）等尖端技术可以显著增强空间计算，从而创建复杂的传感和测绘系统。

微软混合现实与人工智能实验室（Microsoft Mixed Reality and AI Lab）和苏黎世理工学院（ETH Zurich）的研究人员最近开发了一个新框架，将MR和机器人技术结合起来，以增强空间计算应用。他们在一系列人机交互系统上实现并测试了这个框架，该框架在arXiv上预先发表的一篇论文中介绍。

研究人员在论文中写道，在混合现实设备上，空间计算和以自我为中心的感知相结合，使他们能够捕捉和理解人类的行为，并将其转化为具有空间意义的行为，这为人类和机器人之间的协作提供了令人兴奋的新可能性。本文介绍了几种利用这些功能实现新型机器人用例的人-机器人系统：检查任务规划、基于手势的控制和沉浸式远程操作。

用户对空间网格的视图，使用全息透镜捕捉并覆盖在真实世界上。资料来源：Delmerico等人。

该研究团队设计的基于MR和机器人技术的框架在三个具有不同功能的不同系统上实现。值得注意的是，所有这些系统都需要使用全息透镜MR耳机。

第一个系统设计用于规划需要检查给定环境的机器人任务。本质上，人类用户戴着全息透镜头戴在他/她想要检查的环境中移动，放置全息图，形成定义机器人轨迹的航路点。此外，用户可以突出显示希望机器人收集图像或数据的特定区域。这些信息经过处理和翻译，以便在机器人检查环境时，可以用来指导机器人的动作和行动。

研究人员提出的第二个系统是一个界面，允许人类用户更有效地与机器人交互，例如，使用手势控制机器人的运动。此外，该系统可以实现不同设备的共定位，包括MR耳机、智能手机和机器人。

设备的共同定位要求它们各自能够将自己定位到一个共同的参考坐标系。通过它们相对于该公共坐标系的单独姿势，可以计算本地化设备之间的相对变换，并随后用于实现设备之间的新行为和协作。

为了实现设备的共定位，该团队引入了一个框架，以确保其系统中的所有设备都共享彼此的位置和一个公共参考地图。此外，用户只需执行一系列直观的手势，就可以使用HoloLens耳机为机器人提供导航指示。

最后，第三个系统实现了沉浸式远程操作，这意味着用户可以在查看机器人周围环境的同时远程控制机器人。在需要机器人在人类无法进入的环境中导航的情况下，该系统可能特别有价值。

研究人员解释说：“我们探索用户的动作向远程机器人的投射，以及机器人对空间的感觉向用户的投射。我们考虑了几个层次的沉浸，基于触摸和操纵机器人的模型来控制它，以及更高级别的沉浸成为机器人，并将用户的运动直接映射到机器人。”

在最初的测试中，杰弗里·德梅里科（Jeffrey Delmerico）和他在微软（Microsoft）的同事提出的三个系统取得了非常有希望的结果，突出了使用磁共振增强空间计算和人机交互的潜力。未来，这些系统可以在许多不同的环境中引入，使人类能够与机器人密切合作，有效地解决更广泛的复杂现实问题。