苹果首款头显发布!23个传感器助力Vision Pro强大的“人机交互”

传感器视界 2023-06-08
2955 字丨阅读本文需 7 分钟

6月6日苹果发布会上发布了首款头显Apple Vision Pro,其搭载了苹果首款3D摄像头,可观看和拍摄3D视频。“3499美元的苹果头显值得买吗?”引发网友热议。

天眼查App显示,苹果公司已申请多项头戴式显示设备及混合头显相关专利。其中,“具有自混传感器的头戴式电子设备”专利响应于检测到光学部件位置的变化,可调节该设备中的致动器,以使该光学部件移动或者可采取其他动作来补偿变化。“用于交互式三维预览的系统和方法”专利可实现头戴式显示器和电子设备间三维数据同步;“具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器”专利,可使用计算机视觉方法和来自多个传感器的数据融合实现实时跟踪,通过对HMD本身执行处理的一部分实现高帧率和低延迟。

此外,苹果公司还申请了包括虚拟环境内的虚拟对象的有形可视化、预测式中心凹虚拟现实系统、具有世界传感器和用户传感器的显示系统专利等AR或VR专利。

新品发布:苹果首款头显Vision Pro


这款AR设备被业界寄予厚望,苹果曾引爆了智能手机、平板、TWS无线耳机、智能手表等众多万亿级消费电子新市场,引领了一个又一个浪潮,多年来AR/VR产业不温不火,大家都在期待苹果的入场来引爆市场。在发布前,彭博社曾表示,Vision Pro是苹果近10年最重要的新品。还有人认为,这款产品将拳打手机,脚踢笔记本,进而颠覆整个消费电子市场。

在现场的Vision Pro展示区人满为患,据悉苹果不允许媒体上手体验,只能外观拍摄。从外观上来看,跟此前爆料的“类似滑雪护目镜”的设计类似。虽然被定位为AR设备,但在苹果看来,Vision Pro完全可以看作一个无缝融合现实世界和电子世界的新型计算机。库克直接放话:正如iPhone带我们进入移动计算时代,Apple Vision Pro将带我们进入空间计算时代。在苹果官网上,对Vision Pro的定义是——Apple的首个空间计算设备。

具体硬件配置上,它的屏幕包括两块微型OLED显示屏,像素2300万,每只眼睛的分辨率高达4k。芯片则配备了两块:一块M2和一块R1,后者负责处理来自12个摄像头、5个传感器和6个麦克风的输入,确保内容实时呈现在用户眼前。正如之前外界预测,设备上类似“表冠”的按钮可进行AR/VR模式切换。外框由特质的铝合金制成。其中囊括了包括显示屏、摄像头、传感器、高性能计算机、高效散热设计等组成部分。眼罩有一系列不同的形状和尺寸选择,还打造了能够通过磁力吸附的定制光学插片。插电时能全天候使用,接到外置高性能电池最长可用两个小时,分离式电池设计。

作为一款AR设备,除了显示之外,最重要的一点就是人机交互的便捷混和高效。对于Vision Pro的人机交互特性,在苹果首款头显上,我们可以看到这样一个趋势:在新的消费电子设备中,传感器所占的比例越来越重,颠覆性的人机交互依赖于传感器的实现。

人机交互离不开各种传感器技术

随着科技的进步,各种电子设备不再是普通工具这么简单,功能也越来越多。而功能的强大很大程度上要归功于各种传感器,比如光线、距离、重力、GPS 传感器等。就拿 iPhone X 全新的 Face ID 中的传感器来说,仅仅那一条小刘海却集成了大量的,如传感器红外摄像头、泛光照明灯、接近传感器、环境光传感器、前置摄像头、点阵投影仪等。比如智能手机中常见的传感器有:

光线传感器:在屏幕上方,比如魅族 MX5 的光线传感器在听筒的右边,而魅蓝 Note3 的光线传感器和前置摄像头是对称的。利用了光敏三极管,在接受外界光线时,会产生强弱不等的电流,从而感知环境光亮度。在设置的显示和亮度里有个自动调节亮度的选项。手机会自动感应所处的环境自动调节屏幕的明暗显示。还可用于拍照时自动白平衡等。

距离传感器:光线传感器和距离传感器是一起的,为了美观从而减少开孔或者隐藏式开孔,比如把它做成圆形,或者做成长条形隐藏在听筒里。利用红外脉冲传感器发射极短的光脉冲,并测量此光脉冲从发射到被物体反射回来的时间,通过测时间来计算与物体之间的距离。

在接打电话时靠近耳边息屏,拿开亮屏,正是距离传感器在起作用。其作用也是为了省电,还可用于口袋、皮套模式下自动实现解锁与锁屏的功能。

重力传感器:利用压电效应来实现,就是测量内部一片重物,重力正交两个方向的分力大小,来判定是否为水平方向。计算出手机当前的方向和水平位置。用于横屏/竖屏的方向的切换,拍照方向的朝向。比如玩赛车游戏时,左右倾斜用重力来控制赛车的方向。

加速度传感器:也叫运动传感器,与重力传感器类似,也是压电效应,通过三个维度确定加速度方向,功耗会比较小,精度却不是很高。用于捕捉手机摇晃、甩动、翻转等几种经典的运动模式,达到用运动控制手机的目的。用于运动的计步,手机摆放的位置、朝向、角度等。

陀螺仪:以角动量守恒的原理作为依据,用它来保持一定的方向。陀螺仪是一种用来传感与维持方向的装置,基于角动量守恒的理论设计出来的。陀螺仪通过对偏转、倾斜等动作角速度的测量,可以实现用手控制游戏主角的视野和方向。 比如玩飞行游戏,变换不同角度倾斜手机,飞机就会相应上下左右前后的联动起来。

气压传感器:分为变容式或变阻式气压传感器,将薄膜与变阻或电容器连接起来,气压的变化导致电阻或电容的数值发生变化,从而获得气压的数据。可用于海拔的计算,还可用于楼层的计算。

实际上,传感器不是单单只有以上几种,还有血氧、紫外线传感器等,每个传感器都有不同的作用,也许随着技术的发展,会有更多更好的传感器给利用到手机上,到那时候说不定手机就会变得无所不能。

Vision Pro人机交互,传感器帮大忙

据官方介绍,“Vision Pro打造无边际画布,让app突破传统显示屏的限制,为用户带来全新的3D交互体验,以最自然、最直观的输入方式来控制——眼睛、双手与语音。”“Vision Pro至少配置了12个摄像头、5个传感器和6个麦克风等共计23个传感器”,这些传感器分布在整个设备的外侧、四周以及内框处,这样就可以监测手势、眼球、声音等各种信息。

人类生物研究表明,人类头部运动和视野回传的延迟须低于20ms,否则将产生视觉拖影感从而导致强烈眩晕。为了处理这些传感器带来的庞大数据,快速输出图像反馈,Vision Pro采用了双芯片设计——M2主芯片负责计算,此外R1芯片则专门用来处理来自这些23个传感器输入的数据,据苹果介绍,R1可在12 毫秒内将新影像串流至显示器,比眨眼还要快 8 倍,从而避免眩晕的发生。

因为手部在于眼睛下方,因此Vision Pro的手势识别通过位于设备下方的两个高分辨率图像传感器来识别。据悉,该图像传感器可以每秒向设备传输超过10 亿像素,提供精确的头部和手部跟踪以及实时3D映射,之后通过算法分析,让Vision Pro从各种位置理解用户的手势控制指令。

由LED和红外摄像头组成的眼动追踪系统,可以将不可见光图案投射到每只眼睛上,能够判断用户当前注视的位置。这使得用户无需使用手柄控制,只需通过注视来浏览应用图标,轻点选择,轻扫滚动,或者发出语音指令即可操控。苹果强调,用户在显示屏上观看的区域和眼球追踪数据不会与苹果或网站共享。相反,来自传感器和摄像头的数据在系统级别进行处理,因此应用程序也不一定需要“看到”用户或他们的周围环境来提供空间体验。此外,Vision Pro的语音识别,通过内置于设备的MEMS麦克风监测用户语音指令进行控制,这点与智能手机语音助手等类似,相信大家也或多或少体验过了。

作为一款私人设备,如iPhone一样,苹果也为Vision Pro添加了安全识别功能——Optic ID,Optic ID是一款虹膜识别系统。据苹果介绍,Optic ID使用不可见的LED光源传感器来分析虹膜,然后将其与存储在Secure Enclave上的注册数据进行比较,这与Face ID和触控ID使用的过程类似。并且光学ID数据是完全加密的,不会提供给其他应用程序,也不会离开设备本身,用户不必担心生物信息被泄露到网上。

此外,Vision Pro 也是“苹果的第一款 3D 相机”,通过配备的LiDAR激光雷达传感器和深感传感器,可以感知深度信息,配合全新的具有三维界面的操作系统 visionOS,能够创建用户周围环境的融合 3D 地图,使它能够在空间中准确呈现数字内容。用户可以将常用、熟悉的App放置在空间中的任何位置,也可以将它们放大、缩小到适合的尺寸,包括从消息线程中把物体拉出来放到真实世界中。比如,Vision Pro 上的 FaceTime 可以在视频通话时显示真人大小的人物,还优化了查看照片和视频的体验。

随着苹果进入AR/VR赛道,后期凭借其强大的开发能力以及原苹果软件生态数以千万级的开发者,是否会给AR/VR赛道带来爆炸性的发展?我们拭目以待。

文章来源: 传感器专家网,科技泰坦,光明网

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:传感器视界
0

参与评论

登录后参与讨论 0/1000

为你推荐

加载中...