在各种各样需求的推动下，系统厂商自研芯片已经不是什么新鲜事了。

埃森哲全球半导体主管 Syed Alam在接受媒体采访的时候指出：“越来越多的公司希望定制芯片以满足其应用程序的特定要求，而不是使用与竞争对手相同的通用芯片。”“这使他们能够更好地控制软件和硬件的集成，同时将他们与竞争对手区分开来，”Alam 补充道。

此外，在分析人士看来，自研芯片甚至在功耗和成本上，也能给系统厂商带来竞争对手所不具备的优势。

正是因为拥有如此多的优势，越来越多的系统厂商投入了自研芯片的阵营。同样的情况也发生在了为半导体市场贡献了半壁江山的智能手机市场。以苹果为例，他们也正在通过越来越多的自研芯片打造自己的差异化竞争优势。

本土手机巨头vivo也正在通过自研芯片，向技术深水区前进。近日，vivo在影像战略发布会上宣布要在下一代自研芯片设计中升级全新的架构——从传统ISP架构升级为AI ISP架构。这是一次跨越式的技术革新。

不难发现，vivo、oppo、小米都以ISP芯片为自研芯片的起点，vivo在ISP芯片方面已经发布了V1、V1+两款影像芯片，搭载在X70、vivo系列上。从2017年至今，vivo打造了5大影像研发中心，研发团队超千人，已授权影像专利超过1200件。目前vivo智能手机推出的多款主打摄影性能的机型，已经成为其重要的竞争力。

就在vivo影像战略发布会上，vivo影像产品高级总监李卓介绍，vivo ISP芯片V1具有高能效、低延时的特点，V1+拓展了更多应用场景，夜景成像质量更佳。他透露，下一代主摄CMOS，相较GNV传感器的感光能力将提升77%，下一代自研影像芯片将实现架构上的革新，从原来的ISP升级为AI-ISP。

AI-ISP具备低延时高能效、高精度AI计算的特点，相比传统的架构，更适合海量的发散式信息处理，能够通过硬件直连的方式将AI计算直接融入ISP Pipeline中，完成数据的无缝缓冲和处理。vivo新一代自研影像芯片的AI-ISP还定制了10bit MAC 电路，推理延迟降低了96%，能效比提升了200%。

基于AI-ISP架构，新一代自研影像芯片有着三大自研单元的升级。一是片上内存单元设计中使用了DDR-Less片内近存运算架构，配合SRAM，数据吞吐速率达到每秒1.3万亿bit。第二是在AI计算单元，DLA加速器中内嵌了专用的片上SRAM，并且将算法和DLA联合定制设计，由此解决延迟和功耗的问题，能效比达到每瓦16.3 万亿次运算。第三是图像处理单元，优化了AI-NR降噪、HDR影调融合、MEMC插帧等算法。

自研芯片的研发需要大量的人力、时间、科研资源的倾斜，李卓表示vivo成立了300人芯片研发团队，芯片开发周期历时18个月，完成芯片设计、开发的全流程闭环。

AI ISP带来的跨越式革新

如果从过去几年的科技界评选几个热词，人工智能必然要占有一席之地。因为其多方面的优势，人工智能在过去几年已经改变了多个行业，就连ISP领域也不例外。

据相关资料显示，为了“看得清”图像传感器输入的原始数据，传统ISP中需要集成近百种的数字信号算法。而为了适配不同的摄像头和镜头，则需要对数千个参数进行调整，这样才能保证其通用性。与此同时，我们还需要做不同算法的协同调试，才能保证ISP能够高效地工作。这种复杂的流程无疑会给开发者带来巨大的挑战。

于是，拥有“学习”能力的人工智能就成为了ISP开发者关注的方向，AI ISP也就应运而生。

将AI引入ISP，是夜视、场景识别、人脸检测、超分辨等的最佳解决方案。文章进一步指出，为了在ISP中加入人工智能的元素，就需要对ISP做相应的调整，来和人工智能做整合。例如，为了满足ISP的相关需求，需要有一个能高效处理人工智能计算的相应模块（AI引擎）来满足ISP的需求。当然，延迟和功耗也要同步关注。

vivo新一代的AI ISP 架构也正是在这样的思路指导下诞生。这一跨越式的技术创新首先体现在其自研的AI计算单元上。据vivo介绍，在这个AI ISP上集成了vivo自研的AI计算单元，带来了超高的能效比；

不同于行业常用的NPU，vivo在AI计算单元上选择了更适合做复杂成像运算的DLA加速器，AI算法是由数据驱动的。因为在运算过程中，需要大量的数据比较、拟合，因此要想进⼀步突破能效比，就要解决延迟和功耗两方面的问题。

针对这个问题，vivo为其DLA加速器内嵌了专用的片上SRAM，这是AI ISP架构设计上的另一个亮点。并且，又因为搭载了共享自研内存单元上的系统缓存，这就大幅减少了数据访问延迟。

按照vivo所说，行业常用的DDR架构内存单元是采用片外存储形式，这种设计存在延迟高、功耗高的弊端，限制了数据吞吐速率，进而限制了视频类数据的推理运算效率。但vivo在内存单元设计中坚持使用昂贵的DDR-Less片内近存运算架构，配合硬化在片上的超大SRAM，实现了运算快、延时低的特征，其峰值数据吞吐速率达到了不可思议的每秒1.3万亿比特（bit/s）。

通过将算法和DLA联合定制设计，vivo实现了软硬协同优化，在解决了功耗和延迟的同时，还让DLA加速器的峰值能效比达到每瓦16.3 万亿次运算（Tops/w），这个数据也让vivo的AI ISP架构达到了行业的天花板水平。

得益于vivo在自研图像处理单元上的升级，将为其下一代自研芯片带来全新的算法效果。

据介绍，结合新的硬件能力，vivo把V1+的NR算法升级，带来了AI-NR 更好的夜景画面细节，提升了20%的夜景降噪效果；通过HDR影调融合（Tone mapping）算法，配合电影级的3DLUTs色彩风格，vivo可以满足专业用户的⼀级整体调色、⼆级局部调色的需求。在城市夜景下，动态范围较之前，理论最大提升4EV；基于新硬件的MEMC插帧算法则进⼀步改善了延迟问题，提升了效果。

发布会上，vivo介绍，从实际的视频拍摄效果来看，基于新一代自研芯片拍摄的1080p 60帧（fps）夜景视频，对比上一代机型，在感光能力和动态范围方面都有全新惊喜。在极夜环境，得益于软硬件升级和调试优化，视频的画质和亮度上都较上⼀代大幅提升。vivo透露，基于全新的硬件，vivo下一代旗舰影像产品（或许是传闻中的X90系列）甚至可以在露营的灯光下，拍到天空中的星点。

从上面的描述我们可以看到vivo自研芯片的实力，再叠加过去在双芯联调上积累的经验，必然让vivo在智能手机新旗舰的打造上带来更多的可能，这也势必能让vivo继续在双芯联调和自研芯片领域仍然保持着领导者地位。

ISP芯片只是起点

不少业内分析指出，手机厂商从ISP芯片研发入手，主要目的在于增加芯片方面的积累，将迈向自研SoC的铺垫。迄今，在全球手机厂商之中，只有三星、苹果与华为有实力研发SoC芯片。

荣耀CEO赵明在采访中对记者表示，“做一款芯片本身并不是特别难的事情，仅仅是开发一款芯片，所以我们联合开发的ISP芯片，就没有把它作为非常重的卖点来宣传。真正芯片当中最具挑战的是SOC，它含GPU、CPU、NPU等，是今天科技芯片设计的集大成者。”

虽研发难度较大，但纵观手机市场的发展，苹果、三星、华为的高端化都离不开自研SoC。因而国产手机厂商若要打造高端影响力，最终还是要攻克SoC芯片。

早在2014年就涉足造芯的小米，曾因研发SoC受挫，转投ISP芯片的怀抱。但牵头研发澎湃芯片的小米手机部ISP架构师左坤隆博士仍表态：“ISP只是起点，小米还是要回到手机心脏器件SoC的研发中。”

OPPO则在对SoC芯片压下重注。记者从知情人士处获悉，OPPO在SoC芯片研发方面投入了大量资金，旗下IC设计子公司哲库的员工数量已经超过两千人。除了自研SoC芯片外，OPPO也在着手基带芯片的自研。

文章来源： 半导体行业观察，核芯产业观察，科创板日报