据科技媒体报道，苹果公司备受期待的混合现实（MR）头显可能不需要搭配 iPhone 使用。这款头戴式设备名为 "Reality Pro"，具有隔空打字功能，预计将于2023年发布，最早将于2023年底发货。消息人士称，目前正在测试的最新版本头显不需要iPhone就可以设置，还可以直接为自己下载用户的内容和iCloud数据。

报道称，Reality Pro头显不会有遥控器，而是依靠用户的眼睛和手来控制，苹果公司正在测试“空中打字”功能，但“在测试中表现很不稳定”。苹果公司内部的目标是在设备发布后进行快速改进。

自2015年启动以来，苹果MR被寄予厚望，被视为“明日之星”，不过该项目的历程可谓一波三折，发布时间一推再推。苹果原本计划在去年6月推出这款产品，之后又分别推迟到今年1月和4月，最新消息是又推迟到6月。

上个月，天风国际证券分析师郭明錤在调研报告中指出，苹果计划在2025年推出“低端”和“高端”的第二代AR头显。苹果第一代AR/MR头显出货量极低，且该产品可能不会在春季发布会现身，转而可能与iPhone 15一起发布，也就是6月召开的年度全球开发者大会(WWDC)上发布。

对于苹果再次推迟头显发布，国融证券发布研究报告称，苹果作为消费电子标杆企业，初代MR产品从立项至今时间超过5年，由于产品在测试过程中发现仍存在硬件和软件问题需要解决，不断推迟MR头显产品发布日期，但产品经过精雕细琢之后，预计产品力将显著高于市面上其他产品；新款MR头显发布进度也将成为市场焦点，未来有望带领VR/AR行业困境反转，提振市场预期。

作为苹果自2015年推出智能手表以来的首个主要新品类，MR头显有望帮助苹果在经济放缓的背景下提振销售。国泰君安认为，苹果MR的产品竞争力将高于市面上其他产品。随着规模量产并迭代后，该产品的定价有望降至iPhone手机级别。在千万级别消费群体的背景下，苹果MR设备将持续放量，并有望迎来千亿元的增量市场。

据国际研究机构IDC预测，2023年全球AR/VR设备出货量将会同比增长31.5%，预计2026年出货量将达到3510万台规模。不少市场研究机构认为，索尼和苹果在2023年发售最新VR/MR设备将成为拉动AR/VR全球出货量设备增长的重要原因之一。

多个科技公司都有布局虚拟键盘

2020年，Facebook Reality Labs为虚拟现实体验开发了一种名为“PinchType”的输入法。主要依靠手部追踪，将不同字母输入固定分配给特定手指动作，例如将拇指与一根手指并拢时，用户即可选择与并拢手指对应的字母行。测试者每分钟能够输入 12 个字，如无须修改则能达到 20 个字。

这种基于AR的输入法也可看作是一种虚拟键盘。而虚拟键盘本身早就已经出现，它可以帮助人们脱离物理键盘，只需要在空气中输入文字即可被电子设备识别。虚拟键盘一般采用激光投照技术，几乎能在任意平面上投影出全尺寸的电脑键盘。尤其是可以方便智能手机和平板用户的打字需求。

在这些小屏幕的硬件设备普及的当下，虚拟键盘的市场更大，不少公司看到了其中的商机，先后致力于对虚拟键盘的研发。

在2013年的世界移动通信大会上，一家IT公司展示了利用体感技术的虚拟键盘。该技术利用了一款智能软件和平板电脑的前置摄像头，只要安装了这款软件，就能在任何平板电脑上使用虚拟键盘。

除了普通公司之外，一些大企业也致力于此。2016年，谷歌推出了名为daydream Keyboard的安卓应用，该应用基本上就是在虚拟环境中放置一个虚拟键盘。除了一个单独的浮动数字输入界面外，这个虚拟键盘看起来就像是一个普通的安卓键盘。用户需要把鼠标悬停在自己想要点击的字母上，通过虚拟光标进行输入。该技术是为搭载daydream功能的安卓手机设计，但如果是长时间使用，操作方面似乎会显得过于繁琐。

2017年，微软新专利 “全息键盘显示” 在AR/VR环境中通过虚拟键盘来感知用户的输入，并读取用户手势来模拟文本键入，放弃了实体的鼠标和键盘，却可以实现它们的功能。当时这项技术看上去更适用于游戏，但微软的目标却是企业用户。在微软的设想中，该技术结合AR/VR头显，工作者可以不需要桌子，甚至不需要集中的工作场所，因为头显设备可以将桌面PC虚拟化，让用户能在各种情况下都使用手势进行输入。

可以看到，许多企业都热衷于此。当然我们也可以看到，2020年了，虚拟键盘依然没有成为大众化的工具。当然也是因为其自身还不够完善：虚拟键盘手感远不如真实键盘，使用之前的准备工作也非常麻烦，似乎还不如用手机或平板直接打字。另外虚拟键盘的价格也并不十分亲民，对许多用户而言又并非刚需，因此没能普及也在情理之中。

但这并不代表虚拟键盘就没有未来。可以看到许多知名企业都有过这方面的意向，如今Facebook再度推出虚拟键盘，说明这一领域还是蕴藏着非常巨大的潜力和价值。每一种新技术出现之初都不可能迅速普及，但最终都可能成为我们生活中稀松平常的事情。以前在许多科幻片中出现的指纹解锁、刷脸识人等技术，看上去是那么不可思议，如今也都成为现实。

因此我们完全可以相信，虚拟键盘在经过不断的改进之后也会成为未来的大趋势。

AI让虚拟键盘更完善

近日，一项由斯坦福大学的研究人员开发的智能皮肤系统登上 Nature 子刊，它可以精确定位用户在键盘上想输入的位置，还可以与应用程序甚至是物体交互。

新的 AI 学习机制结合了智能皮肤，可以破译人手的动作，以识别打字、手语，甚至是简单日常物体的形状。开发人员说，这项技术可以在有限的数据和最少的训练下快速识别和解释手部动作，值得广泛应用。

除了应用于游戏和虚拟现实中，新的手部动作识别技术可以让人们通过手势与他人和机器进行交流。技术专家们认为，该项技术还可以让外科医生远程控制医疗设备，让机器人和假肢实现物体和运动识别的新模式。

目前人们开发的手势识别技术都离不开笨重的腕带，以测量肌肉产生的电信号，或者在每个关节上都有应变传感器的可穿戴手套。其他方法还有跟踪人体运动、并使用机器学习来解释动作的摄像头。这些动捕相机系统需要从多个角度拍摄图像，这意味着仅一个手势识别系统就需要配备多个相机。

韩国先进科学技术研究院（KAIST）计算学院教授 Sungho Jo 表示，这些多摄像头系统也受到了视觉传感器的固有限制。这些限制包括工作空间中没有能让多个摄像机覆盖的区域，以及当手或其他物体在视野中被遮挡时，难免会产生错误。

目前使用的软件也很麻烦。研究人员通常依赖于基于监督学习算法的机器学习模型，这种算法的计算强度很高。它们需要为每个新用户和任务收集大量数据，这都需要大量的人力来进行标记。

为了制造出更精简的动作识别系统，Sungho Jo 和来自首尔国立大学、斯坦福大学的同事们专注于研发更高效的传感器和算法。他说：「我们试图创建一个精简且适应性强的手势识别系统，希望它基本上可以适用于任何用户和任何数据有限的任务。」

该团队在《自然・电子学》杂志上发表了这一新系统的两个关键部分。一种是由数百万条镀有金的银纳米线组成的网格，这些纳米线被嵌入聚氨酯塑料涂层中。Sungho Jo 提到，这种网格既耐用又有弹性，有助于传感器附着在皮肤上。「它能与佩戴者的每根手指的皱纹和甚至细微褶皱实现高度吻合。」

研究人员表示，这种网格可以用便携式机器直接打印在皮肤上，非常轻薄，几乎察觉不到它的存在。而且这种材料还具有生物相容性和可呼吸性，可以在日常生活中使用（洗手也不碍事），除非用肥皂和水将它擦掉。

该团队直接将网格顺着用户的食指打印在用户的手背上。纳米线网络能感应到皮下皮肤拉伸时电阻的微小变化。当手移动时，纳米网格会产生独特的信号模式，并通过一个轻量级蓝牙单元无线发送到计算机进行处理。

这就是 AI 的用武之地。机器学习系统将电导率的变化模式映射到特定的物理任务和手势上。研究人员首先使用来自三个不同用户的随机手和手指动作来帮助 AI 学习动作之间的一般相关性。

然后，研究人员基于先验知识来训练它区分由特定任务产生的信号模式，例如在电话上打字，在键盘上双手打字，握着六个不同形状的物体并与之交互。每个用户执行与任务相关的个人手势 5 次，以生成一个小数据集，随后研究人员再用这些数据集训练模型。例如，算法会在用户往键盘上输入特定的字母，或者描摹金字塔的斜面的过程中学会识别。在测试中，该系统能够识别新用户拿着的物体和在虚拟键盘上输入的句子。

研究人员还表示，他们现在计划尝试在多个手指上放置纳米网格设备，以便捕捉更大范围的手部运动。Sungho Jo 表示，放置的传感器越多，需要分析的数据也就越多，因此研究人员需要仔细斟酌，尽可能地平衡 AI 系统的准确性和计算工作量的合理性。

文章来源： 数据宝，砍柴网，机器之心Pro