ISP（Image Signal Processor，图像处理器）是手机芯片系统中的重要组成部分，负责图像处理部分。ISP芯片一直是作为SoC芯片内置的模块存在，与CPU、GPU等单元集成在系统里一起出售，基本上可以满足大部分场景使用。随着消费者的需求变更与厂家差异化打法的变化，很多厂商发现将ISP作为独立单元进行图像的处理，可以实现自主可控。

此前大家都在高通和联发科这些芯片厂商制定的参数规则里面游走，只能在集成的ISP模块特性进行适配和调整，此外ISP性能也受芯片整体升级规律的限制，更新的频率不高，影像性能的参数在同一个框架下的结果就是其手机影像变化和功能日趋同质化。

独立ISP为什么越来越受欢迎？

看似高通已经提供了很完美的解决方案，手机厂商们又何必花钱花精力去自研ISP呢？这就说到其背后所存在的一些问题了。首先，全世界做处理器的企业就那么几家，一颗芯片你在用我也在用，这就意味着一些手机在影像上会愈发趋于同质化，对于热衷于追求差异化的厂商来说，显然是难以接受的，当不同品牌的手机有着一模一样成像风格的时候，用户又何必对着一个牌子死心塌地呢？

很显然，如果是独立的自研ISP就没有这个问题，它确保了厂商有条件基于自己的成像理念打造出完全属于自身的成像标准，这对建立具有品牌特色的影像风格十分有帮助。

除此之外还有一些另外的原因。众所周知，国内大部分手机的SoC方案几乎都来源于高通、联发科等主流芯片厂商，但这些厂商每年芯片的迭代节奏是固定的，这意味着内部集成的ISP芯片只能随着新SoC的迭代而升级，如果厂商们想要通过升级ISP来满足消费者日益增长的影像需求，就只能等到下一年。在争分夺秒的市场竞争中，这显然是不可取的。

而通过自研ISP，厂商一年迭代几次都没有问题，反正只要技术满足，ISP就能在短期内实现提升，真正将主动权拿在自己手中。

最后，当造芯已成必然，如何造、怎么造就成了厂商们前行道路上不得不考虑的问题。但面对在复杂多变的市场环境，造芯纵然是大势所趋，其背后所需要承担的风险也不是一般企业能够坦然面对的。

这种情况下，和设计整块SoC芯片相比，ISP芯片无论是从设计门槛还是投入花费来看都是最为适合的，一方面它远没有SoC复杂，也不需要特别先进的制程，具有易实现、容错率高的特点；甚至还能积累经验，为有朝一日自研SoC芯片提前做好准备；另一方面，ISP作为能够处理图像传感器输出数据的模块，能够以低沉本、更容易的方式使得用户获得感知上的提升，于手机厂商而言，这无疑是快速提升产品竞争力、建立技术壁垒的一种好办法，同时也能很好满足市场差异化需求，有利于品牌形象的提升。

而随着社会生活智能化的进一步提升，ISP也在进入许多新的市场应用领域，而这些新的智能场景对于ISP提出了新的需求。

首先是自动驾驶/辅助驾驶领域。机器视觉是自动驾驶/辅助驾驶的支柱技术，如果没有机器视觉那么这些新的智能驾驶技术恐怕都很难成功。在自动驾驶/辅助驾驶领域，ISP扮演着重要的角色。ISP负责把原始影像（RAW Image）作相应处理，使之成为能够更好地被机器视觉模型处理的图像。在这个过程中，为了确保自动驾驶/辅助驾驶技术的可靠性，需要确保在低光照等情况下机器视觉模型也能正确工作，这就需要ISP能对于图像做夜视和降噪处理。传统上可以通过提高曝光时间来降低噪声的影响，然而对于自动驾驶/辅助驾驶这类对于延迟非常敏感的场景，提高曝光时间并非一个有用的选项，这就需要ISP能够使用下一代降噪和夜视技术来满足相应的需求。

人工智能与ISP的整合

回到芯片设计的角度，为了在ISP中加入人工智能的元素，就需要对于ISP做相应的调整，来和人工智能做整合。

众所周知，这一代的基于神经网络的人工智能的一个重要特点是神经网络参数多，计算量大，因此为了满足ISP的相关需求，需要能有一个能高效处理人工智能计算的相应模块（AI引擎）来满足ISP的需求。同时需要注意的是，由于ISP对于延迟和功耗都有需求，因此AI引擎也必须考虑这两方面的因素。

为此，有两种不同的ISP整合人工智能解决方案。第一种方案是把ISP和AI引擎整合到一起，在同一个IP模块里面。这样做的好处在于ISP和AI引擎耦合度较高，因此能够通过ISP和AI引擎的协同优化来实现较高的延迟和功耗。举例来说，ISP往往是一个流水线，处理像素的时候也是分批处理（而不会一直是等到所有像素都传到之后再处理）；另一方面，基于卷积神经网络的AI模型也可以利用类似的流水线特性，将像素分批处理。通过将ISP和AI引擎深度整合在一起，就可以协同设计这样的流水线，从而实现更好的延迟。另外，神经网络和ISP事实上对于DRAM访问都有很高的需求，如果能够将ISP和AI引擎通过深度整合来协同优化内存访问的调度，从而确保两者不会同时大量访问内存，将会大大减少对于DRAM带宽的压力。然而，这样设计的问题在于AI引擎只能被ISP调用，因此如果ISP不工作的时候，AI引擎事实上就不会被打开，从而就有了dark silicon（芯片面积浪费）的问题；另外ISP和AI引擎的协同设计很多时候是假设AI引擎会跑几个固定的模型，如果想要更新模型的话类似的硬件上固化的设计就不再是最优的了。

除了深度整合之后，另一种设计思路是将ISP和AI引擎分开，但是确保ISP可以AI引擎之间有顺畅的数据通路，同时确保ISP有高优先级调用AI引擎。这样的好处是AI引擎不会被浪费，就是ISP不启动的时候也可以给其他应用调用；另外可以灵活配置使用在AI引擎中的模型，从而让ISP中使用的神经网络模型可以使用软件控制。当然，由于ISP和AI引擎耦合度较低，这样也较难深度地为ISP和AI引擎做协同优化，从而在延迟和能效比方面将会有一定成本。

我们认为，在这两种整合模式中，如果目标产品本身就是一块ISP芯片，那么显然第一种整合方式是最合理的，因为ISP芯片的首要目标就是高性能高能效比，而且其AI引擎本来就不会被系统中的其它模块所调用。另一方面，如果目标产品是ISP IP的话，那么两种整合方式都有其合理性，对于追求性能的高端ISP IP，我们认为更有可能会在ISP中集成一个较为强力的AI引擎，确保高性能高能效比；对于中端的ISP IP，未来的方向可能是在ISP IP中整合进一个较为基本的AI引擎，来确保基本的相关模型可以运行，同时也会在ISP上留够接口，使得ISP能通过片内互联的方式来访问SoC上的其他AI引擎，从而如果需要运行较大的模型时候可以使用其他的AI引擎实现。

AI ISP在芯片业界已经渐成主流

AI ISP事实上已经得到了半导体业界的重视，相关的产品已经渐渐问世。

去年年底，海思就宣布推出了下一代用于安放场景的越影ISP芯片，其主要的亮点就是通过与AI引擎的深度整合，实现夜视降噪的高效处理。同样是在去年，Oppo发布了自研的马里亚纳ISP芯片，其主要特点也是通过整合高达18TOPS算力的AI引擎，从而实现4K影像的实时夜视降噪，从而为手机用户带来全新的用户体验。

在今年，也有越来越多的厂商推出了AI ISP。今年年初，安霸在CES上发布了AISP，该产品充分利用了安霸在图像和AI领域的积累，从而实现高效的下一代ISP；上个月，芯原也推出了AI-ISP的IP，同样是针对夜视降噪场景；爱芯元智的爱芯智眸AI-ISP也正式发布，通过将ISP中的几个关键硬件模块抽离并用AI算法取而代之，实现整个AI ISP的最佳效果。

如前所述，随着自动驾驶/辅助驾驶、安防、消费电子的进一步智能化，相应的对于ISP的需求正在推动ISP和人工智能做整合，而上述公司的新产品也恰好是针对了这些重要的应用场景。我们认为，随着智能化的进一步加深，AI将会成为ISP中越来越重要的一个环节，未来ISP芯片和IP中也会看到AI引擎的进一步整合。