刚满一岁的婴儿比机器人还灵巧。当然，机器可以做的不仅仅是捡起和放下物体，但就复制对探索性或复杂灵巧操作的自然拉力而言，我们还没有完全到位。

OpenAI 尝试了“Dactyl”（在希腊语 daktylos 中的意思是“手指”），使用他们的人形机器人手用软件解决魔方，这是迈向更通用人工智能的一步，与常见的单一-任务心态。DeepMind 创建了“ RGB-Stacking ”，这是一个基于视觉的系统，它挑战机器人学习如何抓取物品并堆叠它们。

麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的科学家们一直在寻求让机器复制人类的能力，他们创建了一个更大的框架：一个可以用机械手重新定向 2000 多个不同物体的系统面朝上和朝下。这种操纵从杯子到金枪鱼罐头和 Cheez-It 盒子的任何东西的能力，可以帮助手以特定的方式和位置快速拾取和放置物体，甚至可以推广到看不见的物体。

图片来源：麻省理工学院计算机科学与人工智能实验室

这种灵巧的“手工”——通常受单一任务和直立位置的限制——可以成为加速物流和制造的资产，有助于满足常见需求，例如将物品装入插槽中进行装配，或灵巧地操纵范围更广的工具。该团队使用了具有 24 个自由度的模拟拟人手，并展示了该系统可以在未来转移到真正的机器人系统的证据。

“在工业中，平行爪夹持器最常用，部分原因是它控制简单，但它在物理上无法处理我们在日常生活中看到的许多工具，”麻省理工学院 CSAIL 博士说。学生陈涛，Improbable AI Lab 成员，该项目的首席研究员。“即使使用钳子也很困难，因为它不能灵巧地来回移动一个手柄。我们的系统将允许多指手灵巧地操纵此类工具，这为机器人应用开辟了一个新领域。”

帮帮我

由于需要控制大量电机以及手指与物体之间接触状态的频繁变化，这种类型的“手持”物体重新定向一直是机器人技术中的一个具有挑战性的问题。该模型有超过 2000 个对象，需要学习很多东西。

当手朝下时，问题变得更加棘手。机器人不仅需要操纵物体，还需要避开重力使其不会掉落。

该团队发现一种简单的方法可以解决复杂的问题。他们使用了一种无模型强化学习算法（意味着系统必须从与环境的交互中找出价值函数）和深度学习，以及一种称为“师生”训练方法。

为此，“教师”网络接受了有关物体和机器人的信息进行训练，这些信息在模拟中很容易获得，但在现实世界中却没有，例如指尖的位置或物体速度。为了确保机器人可以在模拟之外工作，“老师”的知识被提炼为现实世界中可以获取的观察结果，例如摄像机捕获的深度图像、物体姿态和机器人的关节位置。他们还使用了“重力课程”，机器人首先在零重力环境中学习技能，然后慢慢地让控制器适应正常的重力条件，当以这种速度处理事情时，确实提高了整体性能。

虽然看似违反直觉，但单个控制器（称为机器人的大脑）可以重新定向大量它以前从未见过的物体，并且不知道形状。

“我们最初认为在机器人操纵物体时推断形状的视觉感知算法将是主要挑战，”麻省理工学院教授 Pulkit Agrawal 说，他是该研究论文的作者。“相反，我们的结果表明，人们可以学习与形状无关的强大控制策略。这表明视觉感知对于操纵的重要性可能远不如我们习惯的思维方式重要，而更简单的感知处理策略可能就足够了。”

许多小的圆形物体（苹果、网球、弹珠）在用手向上和向下重新定位时的成功率接近 100%，不出所料，对于更复杂的物体，如勺子，成功率最低，一把螺丝刀或剪刀，接近三十岁。

除了将系统投入使用之外，由于成功率因对象形状而异，因此该团队指出，未来，基于对象形状训练模型可以提高性能。

陈与麻省理工学院 CSAIL 博士一起撰写了一篇关于这项研究的论文。学生Jie Xu和麻省理工学院教授Pulkit Agrawal。它将在 2021 年机器人学习会议 (CoRL) 上发表。