当全息通信遇见5G,会碰撞出怎样的火花?

通信资讯馆 2022-06-28

通信全息5g网络

2492 字丨阅读本文需 6 分钟

VR/AR和元宇宙的“火”,烧的是人们在虚拟空间中放飞自我的曼妙想像。早在几十年前的科幻电影中,全息通信就是未来科技的代表,是将虚拟与现实结合的一种科技。今年,曾经的未来科技“平价”兑现:通信双方通过微软3D摄像机、OPPO 5G智能手机、Nreal的AR眼镜和爱立信提供的5G网络环境,实现了与“真人”的全息通信。其中3D摄像机、5G智能手机、AR眼镜的总价1万元出头。

如此“接地气”的实现过程,让全息通信再次成为行业关注的焦点:在4G网络中没有的全息通信,能否成为5G网的爆款应用?

全息通信

近年,随着全息技术的发展应用,全息通信正在逐步走向可能。全息显示技术利用干涉法记录物体表面散射光波的相位和振幅等信息,再利用衍射原理重建物体的三维图像。

全息通信是利用全息显示技术,捕获处于远程位置的人和周围物体的图像,通过网络传输全息数据,在终端处使用激光束投射,以全息图的方式投影出实时的动态立体影像,并能够与之交互的新型通信方式。全息通信的信息媒体是全息图,在未来的网络应用中,全息图将成为应用最多的信息媒体。

全息通信类服务可以广泛地应用于远程通信、在线教育、医疗保健、游戏娱乐、商业广告等领域。例如,远程视频应用的全息临场感将远程参与者作为全息图投射给房间中的本地会议参与者,远程排障应用程序将技术人员与位于远程位置的人工制品全息效果图进行交互,远程培训和在线教育可以为用户提供从远程位置与超现实全息物体进行动态交互的能力,以达到教学的目的。

此外,用于远程手术的机器人以及沉浸式的娱乐、游戏、运动等也涉及全息技术。

2019年3月5日,韩国电信在首尔世界梦广场(NuriDreamSquare)举办的K-Live全息图演唱会上,通过将5G网络与一个漂浮的全息图像系统连接起来,实现了首尔与洛杉矶之间的“全息通话”。

2020年5月,中兴通讯助力新华社实现了“全国两会”期间的5G全息异地同屏访谈。随着XR(extendedreality,扩展现实)、数字孪生、人工智能等新技术的不断发展,全息通信日益膨胀的业务需求已不能得到满足,基于当前5G通信网络实现的沉浸式全息业务将变得越来越困难。未来网络需要提供更强大的连接能力,以确保人们可以在任何时间和地点都能享受完全沉浸式的全息交互体验,实现“全息连接”的通信愿景。

全息通信或成杀手级应用

畅想2030年的世界,将是一个物理实体世界和数字虚拟世界融合的新世界,通过网络连接让无限畅想成为无尽可能,而全息通信就是人类迈向这一目标的重要一步。

全息通信中的“全息”(Holography)指“全部信息”,在理想的全息通信中,信息的传输与展示不再是单一的视觉或听觉,而是能够融合三维立体的影像与视、听、触、嗅、味五感的多维度信息,给用户带来身临其境的交互体验,用户之间可以跨越时间和空间进行实时沟通与交互,帮助人类构建虚拟世界与虚实融合世界,实现人-机-物-境的完美协作,带来改变世界的数字化新变量。

OPPO研究院副院长、5G首席科学家唐海认为,未来,全息通信很可能是一种重要的杀手级应用。在采集、传输、处理、呈现等必备要素都齐备的条件下,全息通信就具备了落地的基础,这也预示着为消费者提供下一代杀手级消费应用的时代即将到来。

“很多人会期待AR是5G的一个杀手级应用,其实我们也很期待全息通信能够成为AR的一个杀手级应用。”Nreal副总裁呼显龙指出,与手机端和PC端的视频通信体验不同的是,全息通信要在显示方面呈现一个全息的效果,例如与真人的真实尺寸相近,需要移动端更大的屏幕;同时还要能够提供空间感知能力,无论从任何角度观看都是与对方正常的位置关系。

5G可以解决全息通信痛点

全息通信未经压缩的信息量是非常大的。如果摄像头传感器输出的是1080P图像,再加上色彩、3D深度图像,每帧图的原始数据会在70MB左右。如果要进一步提高分辨率和帧率,需要的带宽会更大。有分析指出,对于70英寸显示屏,全息通信需要约1Tbit/s的网络带宽。

在真正实现全息通信时,整个过程首先是捕捉传感器提供人脸和身体的实时“表情”,然后进行编码。在编码前先做格式转换和过滤,以降低对网络传输速率的要求。经过编码压缩的全息影像通过5G低时延网络传输到XR设备。在XR设备上,首先需要对压缩的影像信息做解码和处理,然后通过渲染再现到用户眼前。

5G可以非常好地解决在这一过程中全息通信的一些痛点。

与4G相比,5G的连接能力大幅提升,平均百兆速率,峰值可以达到2Gbps,网络时延也可以控制在毫秒级,没有明显的滞后感。所以,从能力来看,用5G网络承载全息通信是可行的。

全息通信是一个信息采集、压缩、传输然后再复原、再渲染的过程。再复原和再渲染的过程如果是在终端上实现,需要终端具备较高的算力。5G可以减轻对终端算力的需求。“5G有对算力的实时智能调配能力,5G还有边缘计算能力,可以在离用户很近的地方做算力支撑。”王浩博说。

此外,5G还可以为全息通信的应用做体验保障,5G具备网络切片的功能,可以针对全息通信做资源预留。

全息通信当解决捕获技术短板

“全息通信作为未来的一个杀手级应用,需要的是整个产业链的充分配合。”唐海说,“整个产业链的发展水平都到了一定的阶段,才有可能在像手机或者AR眼镜这样的小尺寸设备里面,提供足以满足全息通信的传输、算力、呈现,包括非常稳定的空间感知、视角,以及非常好的人像建模,届时才能带来比较好的用户体验、真正可使用的全息通信,我相信这一天会很快到来。”

谈到全产业链的支撑,呼显龙认为,目前全息通信比较明显的短板是信息采集。“在全息通信发展的第一阶段,全息信息的采集是很重要的,我们希望有一个更加高效而低成本的全息模型的采集端。”呼显龙说。

目前Intel、微软、iPhone已经有相关的采集功能,国内企业在这方面还需要共同努力。唐海说,目前全息通信的信息采信用的是高精度的3D深度摄像头,这种摄像头对于算力处理能力要求非常高。

也有专家将采集功能称为捕获技术,全息捕获是创建物体、人或环境的可测量的3D显示的过程,包括采集、深度估算、数据融合、后期处理四个步骤。采集是利用视觉传感器捕获各种有用信息。3D捕获目前最常见的是使用ToF(飞行时间传感器),通过计算光脉冲到达目的地并返回的时间测量距离。

在深度估算中,ToF可以直接提供深度信息,而立体摄像头和多摄像头是通过不同角度捕捉到的信息来估算深度。数据融合是将不同视角的深度信息融合为单个3D点数据流。后期处理要通过清除冗余点、噪声和异常值来减少3D点数据流的数据量,3D可以生成点云或网格的视觉媒体格式。与虚拟形象相比,由深度摄像机捕获的实时数据需要更多的算力才能渲染。

“4G是视频时代,人人都可以拍短视频,这在过去是很难想像的,因为PC时代制作一个视频,需要专业的摄像机以及编辑软件等各种条件才能实现。”呼显龙说,“未来,如果一个几岁孩子能够通过简单的工具就能获取全息的模型或者视频,实现比现在更好的显示效果,全息通信的爆发就会到来,我觉得这很快就能实现。”

来源:中国电子报,美股先锋,新浪财经

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:通信资讯馆
0

参与评论

登录后参与讨论 0/1000

为你推荐

加载中...