近日，索尼在日本游戏业界开发者大会CEDEC 2023中展示了一块真人大小的“空间立体显示屏”。据外媒denfaminicogamer报道，这块大型屏幕引起了广泛关注，并在现场进行了一系列演示。

索尼表示，体验3D效果最重要的感受就是“距离”，而“空间再现显示屏”恰好解决了目前虚拟现实设备的劣势。与使用VR设备相比，体验3D效果时不会感到体力和精神上的疲劳，同时也能获得同样的3D空间临场感。

这块“空间立体显示屏”实际上是一块大型的“裸眼3D”屏幕，内置一系列传感器用于检测用户的眼动，并根据用户的视线调整画面的角度，从而营造出“裸眼3D”的效果。

值得一提的是，索尼在今年4月推出了小型版的“空间立体显示屏”ELF-SR2，与CEDEC 2023中展示的技术一致。ELF-SR2显示屏为4K 27英寸，已在国内索尼旗舰店中展示。索尼官方表示，ELF-SR2拥有高速视觉传感器、实时渲染算法及微型光学透镜等三大核心科技，能够带来更沉浸的3D影像效果，让创意更加真实可见。该技术适用于展览展示、教育、医疗健康、工业设计、建筑工程、零售展示、软件及应用程序开发、游戏开发商和娱乐媒体等多种行业和场景。

传统的虚拟现实设备在体验3D效果时常常会引起用户的不适，而这款显示屏则能够提供更加真实、沉浸的3D体验，同时避免了使用VR设备时的体力和精神疲劳。

索尼3D环境感知技术

为了帮助所有的设备理解真实世界，将需要采用3D环境感知技术。索尼表示：3D环境感知的原理是根据摄像头捕捉的数据，分析并感知周围的3D环境、测距，然后重建逼真的3D环境模型。这项技术可广泛应用于多个领域，比如娱乐、机器人、视频制作、AR/VR等等。

随着市场对于AR/VR的需求越来越高，也开始需要更准确的3D定位、3D结构识别技术。此外，3D环境识别对于无人机、汽车、机器人等技术发展也很关键，比如机器人需要通过环境感知功能来规划路线、躲避障碍物、操控物体。而在无人机设备上，则是通过3D定位、3D环境结构识别，来帮助无人机控制飞行、检测障碍物，不需要GPS也能稳定导航、准确着陆。

索尼的目标，是想要打造具有环境识别能力的“机器眼”。技术路径方面，其3D环境感知方案由多项核心技术组成，利用IMU、摄像头等传感器来识别环境的3D结构，以及相机在3D空间中的位置。

索尼表示：我们一直在开发3D环境感知相关的信号处理技术，以应用于SLAM、VPS等基于摄像头的定位系统，以及根据图像进行3D目标重建等等。

据了解，SLAM使用“映射”的方式为周围环境实时生成3D模型，同时在3D模型中定位设备的位置。索尼的视觉SLAM系统在边缘设备上处理数据，因此需要轻量级、低负载、低延迟的算法，与硬件配合运行。

而VPS是一种针对城市环境、室内设施的室内外定位系统，其特点是通过摄像图像来识别位置，而不是像传统地图一样基于GPS数据。

索尼看重3D传感的准确性、吞吐量、稳定性，但由于环境等多种因素，为3D定位、3D重建带来难题，造成模糊、暗处噪声、镜头失真、户外阳光变化难以识别、缺乏纹理等挑战。而移动设备的3D传感器更需要解决这些问题，因为需要实时捕捉和识别周围的3D环境。

通常，利用图像来定位时，通常需要使用映射功能，而如何在不同光线中稳定运行地图映射，则是问题的关键。尤其是如何将日间和夜间环境中捕捉的图像与数据相关联，从而执行建模。为了解决这一问题，索尼采用了深度学习算法，以适应白天和夜晚的光照变化。

精准重建3D空间结构

3D重建需要将多个摄像头捕捉的时间、空间数据进行整合，然后恢复成可识别的3D结构。在捕捉到的图像中，可估计相机的位置和方向，以及与周围环境的距离变化，并整合法线向量、可靠性、纹理等信息，来合成逼真的3D模型。

而如果使用LiDAR等激光测量设备来识别深度信息，还可以预测物理尺度、提升计算速度和准确度。此外，利用多个设备来读取3D环境位置等信息，可用于开发更好的LBS AR体验。

索尼表示：3D重建的目的是，将真实场景数据化，以供人类和机器人分析和使用。利用云计算服务，可以加速处理数万张高清图像，来创建城市规模的3D模型。

另一方面，一些3D建模场景还需要在边缘设备进行一些轻量化处理。索尼表示：我们正在研发实时3D建模技术，目的是允许智能手机、AR/VR头显等算力有限的设备也能进行3D建模，实时识别周围的环境。

索尼传感器业务独占鳌头

虽然索尼的手机业务是王小二过年一年不如一年，不过其传感器业务却是处于全球第一的霸主位置。

索尼的半导体业务其实早在 1950s 年代就开始了，在 1970 年曾开发过 CCD 传感器，并于 1978 年成功开发了高达 12 万像素的 CCD；而到了 1996 年，索尼正式开始宣布开发 CMOS 传感器，并在 2000 年量产了它的首款 CMOS 图像传感器 IMX001，并搭载在当时红极一时的 AIBO 电子狗上；直到 2004 年，索尼决定停止 CCD 传感器的开发，全面转向 CMOS 传感器的研发，正式开启了索尼半导体的 CMOS 传感器之梦。

索尼的 Sensor 是从 Exmor 到 Exmor R、Exmor RS 系列演进的 —— 在 2007 年，索尼正式推出了 Exmor 系列的首款产品 IMX035，这是一块 139 万像素的 1/3 英寸型 Sensor，第一次在小尺寸 CMOS 内置了 ADC 模数转换器，但它仅用在了安防领域。

2008 年，索尼发布了 2400 万像素的 IMX028 传感器，被用在了尼康的 D3X，索尼的 α900、α850 可更换镜头的相机中，在这一年才算真正打开了索尼 CMOS 传感器的市场。

同年的 2008 年，索尼推出了第一代 Exmor R 系列传感器，首次在小尺寸 CMOS 上实现了 BSI 背照式工艺的量产，推出了 IMX055CHL 传感器，1/4 英寸型、315 万像素，用在了自家的 HDR-CX110 这款 DV 机上 —— BSI 背照式工艺能将原本普通前照式电路的线路移到光电二极管的背部，进而提升 CMOS 表面的进光量。

这时候索尼的「天时」、「地利」都有了，还需要「人和」真正地将索尼 CMOS 推向台前。

2011 年 10 月，苹果发布了 iPhone 4S，首次搭载索尼的 Exmor R 系列背照式 CMOS IMX145 —— 这也是苹果首次使用索尼的 CMOS，索尼至此正式开启 Exmor（Exmor R 系）传感器（智能手机）移动设备化的进程。

Exmor R 系列移动设备和普通相机两头抓 —— 索尼的第二代黑卡 RX100 II 相机搭载了 1 英寸型的 IMX183 已经是背照式 Exmor R 系列的产品了，它相比初代黑卡的 RX100 前照式 Exmor IMX163 极大地提升了感光度，也开始得到了相机领域的认可；直到 2015 年，索尼将背照式工艺推向全画幅的 CMOS，推出了 IMX251，并搭载在 α7 RII 身上。

而另一条线，即 Exmor RS 系列在 2012 年的 8 月份就开始启动了。

Exmor RS 系是索尼的堆栈式 CMOS 产品线，所谓堆栈式 Stacked Structure，也可以称「堆叠式」或「积层式」，是背照式 CMOS 的进化版，简单来说就是背照式 CMOS 光电二极管周围的电路进一步转移到光电二极管的背部，形成堆叠起来的「图像传感器单元」和「逻辑控制单元」两层结构，并通过 TSV 硅通孔技术相连，直接压缩了 CMOS 的表面积，进一步小型化 CMOS。

而到了 2017 年，索尼推出了 IMX400，在自家的 Xperia XZs 手机上首发，IMX400 在原先双层堆叠的结构上再增加了一层 DRAM 芯片，用提升 CMOS 数据处理速度，直接为 Xpera XZs 带来了短时间 960fps 的慢镜头录制，更重要的是有效降低了果冻效应。

后面的事情大家都知道了，如今索尼的 CMOS 覆盖范围之广，从专业的电影/影视录制机，到专业相机、普通相机，再到安防、汽车视觉，以及我们手中的智能手机，绝大多数属 Exmor RS 产品线，且已拥有各种不同定位的产品，且产品之多、命名之乱，也值得再开一篇文章与大家聊聊。

从 2007 年第一块 Exmor CMOS 传感器诞生至今已经过 15 年，这 15 年里索尼从零开始至今已多年保持行业龙头地位 —— 它见证了 CMOS 重心从相机往移动设备的转移、目睹了（相机）友商的没落和离开、收购了东芝的传感器业务；而它与它的合作伙伴可以说是相互成就的，以移动端为例，不仅有苹果、三星（早期），还有华为、OPPO、vivo、小米等一众国产厂商的合作，才造就今天的 Exmor。

在手机拍照方面有优势的手机厂商，基本都使用的是索尼的传感器。甚至，三星的相机传感器也是找索尼定制的。虽然三星在传感器市场位居第二，但在一些方面，还是要略逊色于索尼一些的。在旗舰智能手机的传感器领域里，索尼可以说是居于垄断的地位。不仅仅是手机领域，在单反相机领域，尤其是微单，索尼都是优秀的代名词。

传感器市场的优势，是索尼长期耕耘的结果

索尼成立于1946年5月，是世界视听、电子游戏、通讯产品和信息技术等领域的先行者，是世界最早便携式数码产品的开创者，是世界最大的电子产品制造商之一、世界电子游戏业三大巨头之一。索尼是让晶体管收音机、CD以及随身听广为流行的公司，因此索尼昔日的辉煌让许多人留下了索尼是一家消费电子公司。

索尼最优先发展的业务是图像传感器、视频游戏、电影以及音乐；相机、视频和音频设备业务次之；智能机和电视业务则最不被看重。早在2010年，索尼的图像传感器业务还默默无闻，当时也仅仅是市场第六的位置，份额还不足市场的一成。后来，索尼把图像传感器作为自己重振集团的主要业务后开始有了跨越式的发展。2012年，索尼在图像传感器上实现了一次技术飞跃。索尼开发的系统能够将两颗芯片堆叠在一起，每颗芯片只有一小片指甲的大小。一颗芯片捕捉图像像素，另一颗则包含传感器的电路。

这样的技术进步的好处是，两颗芯片的叠加有助于智能机制造商生产出比此前设备更薄的机型。要知道，以前的手机使用的图像传感器是将两颗芯片放在同一个层面上。当索尼新技术推出之后，在市场上得到了积极的反响。很快其业务出现了快速增长，份额迅速上升到市场的两成多，而且，这种技术进步带来的市场份额上升一直保持着较好的态势。一度时间，索尼的传感器甚至出现了供不应求的局面。

因为技术进步带来的市场需求激增，很快就让索尼坐稳了市场第一把交椅的位置。虽然今年的市场份额略有下滑，但其依旧掌控着全球一半的市场份额。足以说明技术掌握着市场份额的变化，技术进步带来的优势在一定时期内都将是最主要的动力。

文章来源： PConline太平洋科技，青亭网，刀马物语，WHYLAB