ADAS及自动驾驶的视觉感知正在进入纵深战阶段，这其中，高像素摄像头（比如，800万像素）已经成为趋势，而关乎图像处理质量的ISP（图像信号处理器），则是另一个市场洼地。

随着计算机视觉技术的不断演进，图像质量对相机识别、定位和重建等任务的影响已经成为新的感知能力门槛，这其中，ISP参数配置是控制计算机视觉图像质量的关键因素。

按照目前ISP领域的发展趋势，支持多摄像头（降低成本）、实现感知目标检测能力的提升（图像质量），包括纠正广角镜头的物理畸变图像等等，已经成为市场刚需。

就在本周，OPPO手机宣布推出马里亚纳MariSilicon X，一颗6nm NPU芯片，同时在ISP处理上同时集成RGGB和White两路图像处理pipeline，从而进一步提升整体的拍照体验以及成像画质。

这其中，不得不提及MariLumi IP，画面动态范围达到了20bit 120db，达到20bit Ultra HDR超级动态范围。而自研ISP，一直是过去几年手机行业头部公司期望打破通用IP的制约，从而在影像级别实现差异化体验。

一、OPPO推出6nm NPU芯片

按照OPPO的官方介绍，两路的RAW Pipeline，其中一路处理RGGB，另外一路则专门负责处理白光通道。通过两路并行处理，使得成像信噪比提升了8.6dB。同时，针对纹理细节处理，Pipeline则通过超采样方式，提升了70%的解析力。

在这方面下功夫，是因为手机受制于外形、尺寸等限制，传感器不能无限增大，如果继续提升影像品质的话，通过提升计算影像的算力和图像处理能力是必经之路。

考虑到手机头部厂商陆续在进入造车领域，也不排除未来很多手机上的领先软硬件技术会快速拷贝复制到汽车行业。而在汽车行业，有很多相似之处。

目前，摄像头是ADAS/自动驾驶汽车的主要传感器，并且单车搭载数量急剧增加。典型的应用包括环绕视图和前向、侧向以及舱内感知应用，涉及目标检测、交通灯和标志识别等应用。

一直以来，为了实现“更好”的图像质量(IQ)，摄像头的ISP参数必须由经验丰富的ISP/IQ工程师根据每个特定的镜头和传感器配置进行调整，这往往需要数月时间，也是视觉感知的门槛之一。

此外，研究表明，对于不同的CV（计算机视觉）感知算法，相机的ISP必须根据其结构、任务、语义、训练和偏差进行专门的优化。这也产生了数家提供ISP调优的供应商，包括自动化的调优工具。

比如，Algolux是全球主要的可扩展感知解决方案的供应商，该公司在今年宣布其下一代Atlas摄像机优化套件现在已在云端启用，并支持一组扩展的摄像机图像信号处理器，包括Arm®Mali™-C71AE和Mali-C52 ISP。

这套自动化工具可以大幅改进过去长达数月的手动ISP调优过程，在短短几天内可以实现计算机视觉精度和图像质量的最大化，在可扩展性和资源利用率方面提高了100倍。同时，允许快速评估不同的相机传感器和镜头，以降低成本，提升最佳性能。

对于开发计算机视觉感知算法的团队，Atlas可以快速确定最佳Arm Mali ISP参数集，以实现最高的视觉精度，这是目前手动ISP调优方法所不可能实现的。

而在ISP芯片端，不少公司也在加码车规级芯片的研发和创新。比如，在SoC端或者摄像头CMOS端集成高性能ISP。

比如，黑芝麻智能自研的核心IP——车规级图像处理器NeuralIQ ISP以及DynamAI NN车规级低功耗神经网络加速引擎，前者可支持多达12路高清相机接入，单芯片每秒可处理15亿像素图像，可以支持多路摄像头并行实时地处理。

这满足了ISP的配置趋势之一，就是基于“卫星电子架构”原理，摄像头仅保留光学部分和CMOS芯片，将图像处理芯片转移至域控制器，通过LVDS总线以及以太网来进行数据的传输。

同时，ISP被集成到视觉处理器（SoC）中，意味着可以同时处理多个摄像头数据，实现成本下降。以英伟达Orin为例，内置ISP每秒可处理64亿像素；而特斯拉第一代FSD芯片，ISP每秒仅能处理10亿像素。

另一家公司思特威科技，也在今年推出面向车规级的片上ISP二合一图像传感器SC120AT，以及车规级Raw Sensor SC100AT，减小车载SoC中心运算负荷的同时加快处理速度，强化汽车图像处理效能。

这家公司的创新思路是，内置ISP的二合一车规级CMOS图像传感器具有延时低、扩展兼容性高及可配置能力强等特点，正逐渐成为车载智能视觉系统前端图像处理方案的优选之一。

而今年三星电子发布的车规级ISOCELL Auto 4AC图像传感器，同样内嵌入了一个图像信号处理器，并集成了独特的角像素™解决方案，用于高阶的HDR和LFM功能。目前，披露的首款量产车型将是特斯拉的电动皮卡。

而此前，小米手机也发布首款ISP芯片澎湃C1，可独立设置于主板，专用于手机影像处理。考虑到小米造车已经进入关键阶段，不排除后续在摄像头部分会采用自主研发的车规级ISP。

二、ISP的价值

当然，国内关于造芯的话题一直很火爆，不过大众目光更多还是聚焦在了SoC上，关于ISP的讨论其实并不多。如今手机大厂纷纷踏足自研ISP设计领域，也引来了诸多关注。那么问题来了，手机厂商们为什么都选择从自研ISP芯片入局呢？事实上，这就要谈到ISP究竟有着怎么样的价值了。而在解答这个问题前，我们还是需要了解ISP是什么?

我们知道手机中包含了多种多样的芯片，诸如闪存芯片、电池管理芯片、屏幕驱动芯片、音频/视频解码芯片等等，很多芯片大家可能听都没听说过，但恰恰是因为它们的存在，才赋予了手机多种多样的功能。这里面，大家比较熟悉的自然还是核心处理器了，什么骁龙888、麒麟9000都属于这一类，这一类SoC并非由单一的CPU、GPU组成，而是集成了各种功能的芯片处理器，其中就包括ISP。

ISP英文全称为Image Signal Processor，翻译过来就是图像处理器的意思，看名字就知道，它与手机拍照有很大关系。事实上，这个关系比我们想象中要紧密的多。ISP几乎参与了绝大部分拍照流程，包括拍摄前的对焦以及将光信号转变成电信号，生成照片图像，并在后期提供算力支持等等。另外，ISP与成像质量也有直接关系，它影响着传感器支持的像素，而诸如连拍速度、图像处理速度、色彩、感光度、HDR等等关键性能也均由ISP决定。

ISP的重要性可见一斑，手机自然是离不开的。但正如我们前面所说的，许多手机的ISP并非独立的，而是集成在处理器之中。高通骁龙888就是一个很典型的例子，它集成了三颗ISP，支持三枚摄像头并行工作，像素处理能力达到了每秒27亿像素，可以同时捕捉三张2800万像素的静态照片，或者三条4KHDR视频，功能十分强大，这大大提升了手机的影像力。

现如今，绝大多数手机都采用高通骁龙的处理器平台，一些顶级旗舰在影像上展现了强大的实力，可以说来自高通的ISP方案起到了很关键的作用。

三、独立ISP为什么越来越受欢迎？

看似高通已经提供了很完美的解决方案，手机厂商们又何必花钱花精力去自研ISP呢？这就说到其背后所存在的一些问题了。首先，全世界做处理器的企业就那么几家，一颗芯片你在用我也在用，这就意味着一些手机在影像上会愈发趋于同质化，对于热衷于追求差异化的厂商来说，显然是难以接受的，当不同品牌的手机有着一模一样成像风格的时候，用户又何必对着一个牌子死心塌地呢？

华为手机有着很独特的成像风格，这与自研ISP关系密切

很显然，如果是独立的自研ISP就没有这个问题，它确保了厂商有条件基于自己的成像理念打造出完全属于自身的成像标准，这对建立具有品牌特色的影像风格十分有帮助。

除此之外还有一些另外的原因。众所周知，国内大部分手机的SoC方案几乎都来源于高通、联发科等主流芯片厂商，但这些厂商每年芯片的迭代节奏是固定的，这意味着内部集成的ISP芯片只能随着新SoC的迭代而升级，如果厂商们想要通过升级ISP来满足消费者日益增长的影像需求，就只能等到下一年。在争分夺秒的市场竞争中，这显然是不可取的。

四、自研ISP或加速市场竞争

当OPPO、vivo、小米都开始走上自研ISP道路时，这势必会带来了一些新的市场变化。此前，尽管华为、苹果都有成熟的ISP方案，但在整个手机市场中还尚属少数。

如今随着新玩家的加入，逐渐增大的竞争压力，也将促使更多厂商进入芯片设计领域，而竞争加剧最终火受益的还是大众消费者，手机影像力的大幅提升就是最直接的好处。

另一方面，当手机厂商开始自研ISP时，这种竞争也将会影响到高通、联发科等芯片厂商的市场策略。以高通为例，高通从不对外单独出售ISP，从来都是和SoC芯片打包在一起的。一旦手机厂商在自研ISP上形成规模，这或许会促使芯片厂商不断提升其ISP性能，甚至还有可能在价格上做出让步，有利于手机厂商对于成本的把控。

通过自研ISP，厂商一年迭代几次都没有问题，反正只要技术满足，ISP就能在短期内实现提升，真正将主动权拿在自己手中。

最后，当造芯已成必然，如何造、怎么造就成了厂商们前行道路上不得不考虑的问题。但面对在复杂多变的市场环境，造芯纵然是大势所趋，其背后所需要承担的风险也不是一般企业能够坦然面对的。

这种情况下，和设计整块SoC芯片相比，ISP芯片无论是从设计门槛还是投入花费来看都是最为适合的，一方面它远没有SoC复杂，也不需要特别先进的制程，具有易实现、容错率高的特点；甚至还能积累经验，为有朝一日自研SoC芯片提前做好准备；另一方面，ISP作为能够处理图像传感器输出数据的模块，能够以低沉本、更容易的方式使得用户获得感知上的提升，于手机厂商而言，这无疑是快速提升产品竞争力、建立技术壁垒的一种好办法，同时也能很好满足市场差异化需求，有利于品牌形象的提升。

如今，在中国市场，车规级ISP也正在成为新一轮“造芯”运动的焦点之一。从2018年富瀚微电子推出国内本土首款百万像素以上车规级ISP芯片开始，包括思特威、北京君正、阿里达摩院等多家本土芯片公司陆续发布或正在研发ISP芯片。

文章来源： 中关村在线，高工智能汽车