作为智能驾驶的核心传感器，摄像头的作用毋庸置疑。

为了获得更好的图像质量，通常在系统开发过程中，工程师需要对相机的ISP（图像信号处理）参数进行调整，以更好的适配场景和算法。一般情况下，这个优化调整的过程需要几个月时间。

研究结果表明，对于任何一种CV算法，相机的ISP都必须根据其结构、任务、语义、训练和偏好进行专门优化。而视觉感知的重要性，也在被越来越多的企业视为未来自动驾驶的低成本解决方案。

近日，丰田汽车旗下负责智能驾驶开发的子公司Woven Planet对外证实，未来将效仿特斯拉公司的做法，试图用低成本摄像头来推进自动驾驶技术落地。

该公司认为，基于摄像头采集数据和训练模型，是一个具备“突破”性意义的里程碑，并且有助于降低推动自动驾驶落地的成本，同时对于一个强大的自动驾驶系统也至关重要。

“我们需要大量数据。仅仅从非常昂贵的冗余安全自动驾驶系统（比如，配置激光雷达）中采集数据，是远远不够的。”Woven Planet公司相关技术负责人表示，低成本相机的大部分数据，已经接近高成本传感器的水平。

ISP的规范

在Woven Planet公司的岗位招聘中，摄像头模块负责人的要求之一，就是对图像信号处理（ISP）有深刻的理解，涉及相机模块、图像传感器、接口、ISP SoC等，并负责摄像头系统技术路线图的制定。

在ISP层面，上述岗位需要对图像信号处理、图像质量调整、相机校准、图像质量度量、色彩科学有较强的理解能力，了解计算机视觉算法，以及摄像头的工厂校准，内部/外部校准，ISP调谐校准等。

通常在一款摄像头的ISP标定过程，涉及到黑电平、NR降噪、静态坏点、镜头的Shading、AWB静态白平衡、CCM、阴影矫正、电子防抖、日夜切换、聚焦参数等多个环节。

而针对汽车行业，尤其是智能驾驶、舱内监控等应用，ISP优化也有很多差异化的地方。比如，针对前视ADAS系统，需要可以快速分析远处和近处的物体，镜头聚焦在一个远距离范围内，需要最大限度地提高系统的灵敏度。

针对后视及环视应用，则需要应用畸变校正算法和多图像的拼合。比如，采用预畸变的SFRplus测试图卡，应用于广角镜头的畸变和清晰度测试。对于超广角摄像头则需要增加超广角清晰度分析设备来进行测试。

舱内监控，比如驾驶员疲劳分心预警感知，主要是扫描驾驶员的面部和眼部位置，需要高精度成像来跟踪不同光线环境中的驾驶员状态识别。

而在行业标准方面，此前大多数汽车摄像头系统都是独立定制开发的模式，并没有用于校准或测量图像质量的标准化参考点。汽车成像由于其不同和独特的成像条件（鱼眼、多摄像头、高动态范围/HDR、温度范围等），给行业带来了独特的挑战。

此后，IEEE-SA P2020汽车成像标准工作组的成立，就是为了解决汽车成像系统的图像质量测量方面存在的相当大的模糊性，包括基于人类和计算机视觉。

按照此前IEEE P2020汽车成像工作组发布的行业白皮书可以看到，过去汽车制造商和一二级供应商缺乏一种共同的语言来描述系统的图像质量，造成很多需求在OEM、一级、二级供应商开发过程中出现偏差。

一个比较明显的差异化结果就是，即便是基于相同的视觉处理芯片、算法，由于摄像头的差异，可能就会出现同一个功能的表现差异。

就在今年初，诚迈科技就与英伟达正式签署合作协议，为智能驾驶相关企业提供基于NVIDIA DRIVE Orin及Xavier等系统级芯片产品的量产级别ISP服务。

行业整体概况

进入21世纪以来，随着智能手机的快速发展，越来越多的企业开始布局ISP芯片市场，在国外市场，三星、苹果等手机厂商一直是使用自研的ISP芯片模组，在国内市场上，华为、OPPO、VIVO、小米等企业也陆续加入到自研ISP芯片行列内。ISP芯片对手机图像质量具有决定性作用，无论是自研ISP芯片还是第三方提供的ISP芯片，都需要在手机上进行大量的参数及算法调整，才能确保图像质量达到最佳，而自研ISP芯片更容易实现手机目标应用场景和CIS等的协同设计。整体来看，自研ISP芯片逐渐成为手机厂商的发展方向之一。

根据新思界产业研究中心发布的《2021-2025年中国ISP芯片市场可行性研究报告》显示，目前来看，ISP芯片正经历一个新的技术革新期，行业发展处于低速稳定的增长阶段。伴随市场需求升级，以及机器视觉技术等不断发展，市场对ISP芯片的算法、去噪能力、散热性能等有了更高的要求，推动行业向高清化、低能耗、多功能等方向转变。

ISP芯片行业存在较大的技术壁垒、研发壁垒以及人才壁垒等，全球范围内，苹果、高通、三星、联发科等头部企业凭借技术、研发以及先发优势占据全球高端ISP芯片市场主要份额。从国内市场来看，我国ISP芯片市场竞争格局较稳定，其中富瀚微是国内汽车ISP芯片市场龙头企业，其业务范围包括ISP芯片、IPC SoC、DVR/NVR芯片等，其中ISP芯片主要应用于模拟摄像机方面，市场占比超过六成，为该领域绝对的龙头企业。

新思界行业分析人士表示，ISP芯片是模拟摄像机的重要组成部件，其对模拟摄像机成像效果具有重要影响，近年来，随着市场需求升级，ISP芯片行业发展逐渐向高清化、低能耗、多功能等方向转变。目前ISP芯片市场发展正处于低速稳定的增长阶段，手机厂商自研ISP芯片成为市场主流，伴随相关研究不断深入，未来ISP芯片行业发展空间广阔。

汽车界的声音：“蔚小理”布局，马斯克反对

近两年，在产业界，ISP芯片的存在感愈发提升。尤其是国内的手机厂商OPPO、vivo等开始自研ISP，随着自动驾驶汽车摄像头的增多，ISP处理器在自动驾驶领域开始扮演重要角色。整车自研ISP正在成为新一轮“造芯”运动的焦点之一。

ISP 的目的是对光学传感器输出的Raw图数据进行信号处理，使之成为符合人眼真实生理感受的信号，并加以输出。如下图所示，ISP接收原始图像信号以重建适合人类观看的主要成分（红色、绿色和蓝色）的全彩色图像。如果 ISP 芯片能够以每秒或超过 30 帧/秒的速度处理图像，则可以用于视频应用。

在汽车中的行车记录仪、电子镜、后视摄像头和环视摄像头中，每个设备都需要一个ISP来处理图像信号。它作为车载摄像头的重要构成组件，能够帮助车辆清晰的“看”到外界环境图像。

据半导体行业观察获悉，蔚小理都在背后默默自研ISP。而我们也可以从一些招聘网站上看到一些蛛丝马迹。据“Boss直聘”、“猎聘”等各大招聘网站的历史数据显示，去年这三家均在为自研ISP处理器而招聘人才。其中蔚来招募的是【ISP芯片验证工程师（J6C52）】以及【ISP 3A图像算法工程师】，小鹏在招聘【自动驾驶ISP开发及影像评价工程师】，理想在招聘【ISP算法工程师】。

而在此值得一提的是，特斯拉坚持的是“纯视觉路线”，不适用激光雷达和ISP等。2021年第一季度财报电话会议上，马斯克表示不需要雷达，因为人类就是只使用视觉来驾驶。2021年5月，特斯拉宣布从当月起交付的所有 Model 3和 Model Y车辆将不再配备雷达。相反，这些车辆将利用特斯拉的“Pure Vision”方法，该方法仅使用其八个外部摄像头来执行半自动驾驶功能。并在去年的AI Day上表示，HW 4.0将“干掉ISP”的计划。

马斯克反对使用激光雷达和ISP的论点是两方面的：

一方面，马斯克认为我们目前的交通和道路系统是为纯视觉系统设计的——这意味着道路是为驾驶员设计的，可以用眼睛导航。任何人工智能系统要想显著优于人类驾驶员，首先需要解决纯视觉驾驶问题。其次，为什么特斯拉不选用激光雷达和ISP传感器等，马斯克的回答，一是成本；第二，复杂性。添加冗余传感器将增加数千美元的车辆成本，这将使特斯拉整车的成本更高。

另一方面，这些传感器生成数据流，然后必须对其进行处理，从而增加了人工智能系统的复杂性。这将需要更多的处理能力、更多的能量，从而使车辆效率更低、成本更高。

“当机器视觉正常工作时，它比最优秀的人类工作得更好，因为它就像有八个摄像头，就像在你的后脑勺，头旁边有眼睛，并且有三只不同焦距的眼睛向前看，并且以超人的速度处理它。毫无疑问，通过纯视觉解决方案，我们可以制造出比普通人更安全的汽车，”马斯克说。

根据特斯拉的说法，转向纯视觉系统是该公司向更广泛的公众发布全自动驾驶汽车之前的最后一道障碍。

所以在去年的Tesla AI Day上，特斯拉宣布了HW 4.0方案（或 FSD Computer 2），马斯克表示，虽然 HW3.0 可能比人类驾驶员安全 300%，但 HW4.0 可能会安全 1000%。“我相信 HW 3.0 或 FSD Computer 1 将能够在比人类高得多的安全水平下实现完全自动驾驶，可能至少比人类好 200-300%。

特斯拉Hardware 4计算机将由三星电子公司生产，使用7nm制程，至于为何没采用更先进的5nm工艺，主要是由于汽车不像手机那么小，为了长寿和稳定运行，可以牺牲一点空间。

关于汽车是走“纯视觉派”还是“激光雷达派”，业界也是各抒己见，有人认为如果特斯拉此举走通了，势必也会引起其他厂商跟进。但也有业内人士指出，去掉ISP，这样算法的开发难度会很大，周期也会长。至于结果如何，还需要时间和市场的考验。

ISP的争夺战

毋庸置疑，不管是其他应用行业，还是汽车行业，摄像头性能的优化已经变得越来越重要。过去，摄像头厂商是主要的ISP需求方。近年来，一方面，CMOS厂商在逐步寻求集成ISP的方法，同时，在SoC中也把ISP作为主要的模块。

这些通常都被称为硬ISP，还有一种是软ISP，通过专业算法处理传感器数据，如线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等。此前，特斯拉传言要“抛弃”ISP，大概率也是希望采用软ISP来规避第三方硬件上的限制。

而与摄像头中集成ISP不同，类似英伟达、高通等SoC厂商的产品中集成的ISP，在过去比较难通过第三方来实现调优。比如，Qualcomm处理器自带的ISP，就有自己的优化算法。即便是可以实现参数调校，也大多数会限定在高通的框架之内。

这也是为什么此前很多手机厂商寻求自研ISP来提升摄像头的性能，并构建差异化门槛。原因恰恰就是因为“相同的镜头和传感器经过不同的ISP调教，也会有不同的效果。”

此外，ISP是非标准化的芯片IP，既有客观的性能指标，比如摄像头的数量、分辨率帧率、带宽、功耗、延迟等。也有比较难以完全客观化的图像评价指标。

几年前，Arm站了出来，希望一统汽车级ISP的IP江湖。

早在2016年，ARM就收购了成像技术开发商Apical，后者专门从事ISP和计算机视觉技术开发。后者成立于2002年，此前主要服务手机市场。

今年初，Arm宣布正式发布汽车级Mali-C78AE ISP，符合ISO 26262 ASIL B功能安全要求。在Arm看来，未来五年，汽车摄像头市场的规模还在快速增长，单车配置10-13个摄像头会成为常态，这意味着，ISP市场（需要适配不同的需求）也在同步扩大。

而相比于传统摄像头内置的ISP，Mali-C78AE有超过380个故障检测电路，可以检测连接摄像头的传感器和硬件故障。这对于需要满足更高功能安全要求的系统来说，至关重要。

此外，Mali-C78AE采用了更好的降噪技术和动态范围管理，通过调整帧的过暗或过亮区域，确保每个帧都能清晰和适当曝光，并且能够在大约150毫秒的时间窗口内调整帧数据，大大降低ISP的出错几率。

同时，和过去与摄像头数量成正比关系的ISP来说，Mali-C78AE能够处理多达4个实时摄像头或16个虚拟摄像头的数据，这意味着整体系统成本的下降，同时也会大幅降低摄像头的功耗。

在量产端，Mali-C78AE ISP将可以配合此前已经发布的Cortex-A78AE CPU、Mali-G78AE GPU。公开信息显示，Mobileye即将推出的下一代EyeQ Ultra、EyeQ6H等SoC将率先搭载Arm的ISP，进一步提升图像处理能力。

ISP的软实力

当然，ISP的能力优化，仍然是一条漫长的道路。这也预示着，基于摄像头的感知技术仍然具备很大的潜在提升空间。

按照IEEE-SA P2020白皮书中所说，定义ADAS系统的组件要求是一个复杂的过程。在中间数据流中观察到的特定效果不一定是孤立的，需要对完整的信息传输流进行复杂的分析。

这意味着有必要分析从光学层面到电子信号层面的链条，必须考虑到系统预期运行的使用情况。因此，至关重要的是，组件不只是作为孤立的元素来表征，而是在一个单一的框架下很好地涵盖了链条上的所有影响，这样才能适当地表征整个系统。

比如，IEEE P2020分组3（系统和部件层面的计算机视觉的图像质量）的目标就是开发一致的指标，既描述各种退化，又给出其置信度的界限。探索区分性的概率方法，如对比度检测概率（CDP）。这有助于整体信号链的可视化，并旨在改善跨域障碍。

这也催生了ISP赛道的工程服务市场。

比如，Imatest LLC公司在去年就推出了新的相机几何校准验证服务，原因是在构建汽车摄像头系统时，几何相机校准是必要的，以提供图像和真实世界之间的对应关系。

同时，测试服务与IEEE P2020保持一致，产生64个目标对组合进行分析。目标距离误差用于描述给定校准的质量。相机旋转到多个位置，通过图像场进行评估，每个图像都产生一组用于分析的距离错误值。

此外，在ISP算法层面，也有不少公司开始推出一些工具。

去年，一家名为Visionary.ai的以色列软件公司就推出了一套软件ISP工具，基于AI技术大幅提高图像和视频的质量，并检测每帧中的每个细节。

另一家名为Algolux的计算机视觉和图像优化解决方案提供商，也将计算成像技术（CIT）导入汽车ISP领域，也就是在传统成像技术中引入信息处理方法，改变传统光学成像单一依靠线性光学信息传递理论的瓶颈。

这也被称为，下一代软ISP的“新”能力。

因为，硬ISP是由工程师撰写的代码，特斯拉称之为软件1.0。人工智能增强的ISP，也被称为软件2.0，不是由工程师决定，而是由AI技术进行不断迭代优化。

比如，Algolux公司给出的解决方案，就是不采用传统的硬ISP图像处理器，而是采用RAW传感器数据作为输入，然后通过端到端深度神经网络融合和处理数据。

“我们的软ISP现在提供的最好结果，是在0.1 lux（被拍摄主体表面单位面积上垂直照射到的光通量）以下，可以在几乎完全黑暗的情况下检测全色图像和视频。”在Visionary.ai公司看来，传统硬ISP架构则需要长时间曝光的图像检测，而我们可以实现视频级检测。

或许，这才是我们需要正视的ISP“变革”。同时，ISP的优化能力，也将是汽车感知技术方案商的差异化竞争门槛。

来源：高工智能汽车，新思界网，半导体行业观察