vivo自研ISP芯片全解读：超300人24个月研发，效率指数级提升

芯东西（公众号：aichip001）

作者 | 云鹏

编辑 | 心缘

芯东西9月6日消息，vivo今天在一场影像技术分享会上正式介绍了自家的自研ISP芯片V1，并分享了vivo与蔡司联手在手机光学镜头、拍照算法技术方面的新突破。

vivo影像产品经理王兆丰说，夜景、变焦、运动防抖、视频等特性是vivo影像系统发力的重点方向。在手机拍照领域，“如今算法更重要还是硬件更重要？”是vivo此次抛出的核心问题。

在发布会结尾，vivo也预热称，9月9日他们的vivo X70系列旗舰手机将会发布，除了这次展示的新技术，vivo还会带来更多拍照技术方面的“惊喜”。

一、“等效32MB缓存”干翻台式CPU，将算法写到芯片里

vivo影像算法总监杜元甲说，消费者现在不光需要手机在常规场景下拍出好照片，也希望在一些高挑战性场景中拍出好照片，比如暗光、运动场景。

这些需求都对手机处理图像信息的能力提出了更高的要求。如今拍摄一段30帧视频，每帧图像允许处理器进行运算的时间仅有33毫秒。

除此之外，功耗也成了一大挑战：既要提升处理能力，又不能过多增加功耗。为了解决这个问题，vivo的思路是定制化芯片+自研算法结合。

其实此前vivo在引入定制芯片方面已经积累了一定经验：在vivo X1、X Play中，vivo就将定制Hi-Fi芯片放入手机，提升手机音频体验。到2017年，vivo将定制的DSP图像芯片放入到X9 Plus中，提升手机影像HDR表现。

此次，vivo组建了超过300人的研发团队，经过24个月研发，最终推出了V1 ISP芯片。杜元甲说，在这枚芯片的研发中，vivo也与手机SoC厂商进行了深度合作，但他并未透露具体厂商名称。

2019年，vivo曾与三星联合研发了Exynos 980 5G SoC，据称今年vivo也将在X70系列旗舰中使用三星Exynos 1080 SoC，可见vivo和三星一直以来都保持着良好的合作关系。

因此我们推测此次vivo ISP芯片的合作厂商，大概率是三星。

V1是vivo自研的第一颗影像芯片，可以搭配不同的主芯片和屏幕，可以扩充ISP算力、释放主芯片ISP负载。

这枚V1芯片在特定图像处理任务时，在性能、延迟、功耗等方面具有优势，杜元甲说，相比CPU、DSP等芯片，V1处理特定任务的效率有“指数级提升”，也可以完成数据的并行处理。

vivo优化了数据在芯片内部的储存架构和高速读写电路，实现了等效32MB的“片上高速缓存”，读写速度可以达到35.84Gbps，而目前主流旗舰级台式机CPU的高速缓存也仅有16MB左右。

那么V1这样的优化有怎样的效果呢，在夜景拍摄中，去噪、插帧等这类对算力需求较大的算法都可以应用进来。在V1辅助下，主芯片可以实现1080P 60帧的夜景视频降噪、插帧。

在V1的加持下，主芯片可以在低光录像时，以低功耗运行4K 30FPS的MEMC去噪和插帧，这辅助并强化了主芯片在夜景下的影像效果，配合主芯片ISP原有的降噪功能，实现二次提亮二次降噪。

值得一提的是，vivo通过将软件算法转移至V1的专用硬件电路中，让复杂的计算成像功能在默认拍照和录像预览下即可开启。

在高速处理同等计算成像算法时，相比软件实现的方式，V1的专用算法硬件电路功耗降低了50%。

这也就是vivo所说的“硬件级算法”。

二、蔡司镜片加持，良品率不到60%也要死磕

vivo光学器件总监朱盼盼说，去年vivo与蔡司达成了合作，从镜片、镜头到滤光片，vivo都联合蔡司进行了创新。

他提到，眩光、鬼影、边缘画质差等问题仍然是如今手机拍照的普遍痛点，而这些问题的解决都需要光学器件性能的提升。

vivo通过使用高规格玻璃镜片补足了传统塑胶镜片的缺点，朱盼盼特别提到了“阿贝数”这一性能指标，vivo的玻璃镜片阿贝数达到了Vd 81.6，相比上代设计视场色差降低约70%。

得益于新型玻璃镜片的使用，镜片中心的透光率达到了95%，相比传统镜片提升了2%。

当然，使用玻璃镜片面临许多挑战，比如工艺复杂、良率低，据称这次vivo的玻璃镜片工艺步骤有11道，每100片中才能挑选出60片良品。同时，vivo通过AOA工艺，实现了镜片的动态调整。

为了解决眩光、鬼影等问题，vivo采用了SWC镀膜技术，将镜片表面反射率降低至0.1%，而此前这一数值为0.8%，降低了90%。其核心是在镜片表面上做出“纳米级纹路”。

另外，vivo通过ALD镀膜工艺，让镜片上形成0.4nm均匀分布的光学膜层，从而使反射率均匀值到达0.25%左右。朱盼盼特别提到，这些工艺已到达成熟量产阶段。

为了解决“花瓣鬼影”问题，vivo通过色素旋涂技术，更好地实现了蔡司T*镀膜，可以提升红光的吸收率，从而改善眩光和鬼影问题。

去年vivo和蔡司成立了联合影像实验室，朱盼盼说，蔡司的团队给了他们非常大的帮助。

三、联手蔡司定义新色彩标准，深度神经网络赋能拍照算法

王兆丰继续介绍了vivo在拍照软件算法层面的突破，vivo通过三年10款机型的打磨，形成了自己一套成像色彩风格。

不过专业的创作者，更偏向于还原人眼看到的真实色彩，为此，vivo与蔡司联手打造了“蔡司自然色彩”色彩标准。

vivo在P3色域基础上，选择了140色卡指定色彩标准，与蔡司共同制定色彩标准，为了适应更加精细的色彩标准，vivo在粗调试中增加了色彩映射矩阵算法，将调试参数增加到384个。

通过这些调试，vivo将照片色相准确度提升了约15.5%。

另外vivo选择“复刻”蔡司Biotar镜头提升人像拍摄的效果，但是复刻需要解决不少难题，比如Z方向景深的模拟、XY方向像场的变化、还原镜头光斑。

在这其中，vivo通过深度卷积网络，学习了28W张人像分割照片、10W张手势分割图片；另外vivo建立了虚化模型，实现3D-POP虚化效果。

在还原镜头光斑形状方面，vivo通过散焦滤波核生成技术，对不同镜头的光斑进行更真实的模拟。

除了这些算法之外，vivo在人像拍摄、延时摄影、10bit Log视频拍摄、超级夜景等方面也进行了优化。

vivoRAWHDR3.0算法，提升了夜景拍摄样张的色彩表现，通过SuperRAW功能，实现了14bit色深，最大支持10帧合成。

结语：手机拍照领域，硬件软件结合加深

在自研ISP芯片V1、定制光学镜片、提升镜片加工工艺的同时，vivo也在算法上继续打磨，联合蔡司进行调教。

可以看到，算法的实现需要出色硬件的辅助，随着如今图像数据量增加，图像画质要求提升，算法对于硬件性能要求也“水涨船高”，自研ISP芯片无疑成为了厂商们找到了一个新的突破口。

小米、vivo纷纷推出自研ISP芯片，OPPO的自研ISP芯片也正在路上，如今在手机拍照领域，硬件+软件“两条腿走路”已经成为了大趋势。未来我们也期待厂商们能在芯片层创新上带来更多突破。

趁着OPPO发布影像专用NPU的机会 聊一聊ISP到底有啥用

昨天，OPPO正式发布首款自研NPU芯片——马里亚纳MariSilicon X，这颗芯片采用台积电6nm工艺和DSA新黄金架构，集成自研的MariNeuro AI计算单元以及MariLumi影像处理单元，在设计之初就将AI和图像处理进行了融合，相比传统的ISP有更高灵活性和更高性能，用计算摄影突破手机影像功能的极限。

在此之前，小米和vivo也都推出过自研的ISP芯片。问题来了，为什么现在手机厂商这么热衷于ISP的研发，这个模块对成像来说到底有多重要？

简单来说，ISP（Image Signal Process, 图像信号处理器，又称成像引擎）是手机拍照/摄像流程中的核心单元之一。一张照片，一段视频，最终呈现的色彩和细节都取决于它。

ISP所扮演的角色

当你按下手机相机APP的（虚拟）快门进行拍照或录像时，就会自动进入一场“视觉处理的接力赛”。

首先，光线通过镜头进入相机模组内部，经过IR Filter过滤红外光，然后到达CMOS传感器。这个时候，CMOS会将光学信号转换为电信号，再通过内部的ADC电路转换为数字信号，然后传输给ISP进行加工处理，再经历AI单元的一轮智能成像算法优化后，最终才能生成肉眼可见的图片或视频文件。

问题来了，镜头和CMOS在将光学信号转化为由0、1、0、1组成的数字信号时可能存在细节上的遗漏和错误，而ISP单元的主要任务就是进行“纠错”、“校验”和“补偿”。

这就好比让你用英文翻译一段中文成语或谚语，需要翻译官具备足够的文学素养，才能用英语准确表达出中文语境的博大精深。没错，此时ISP扮演的就是“翻译官”的角色。

细数ISP的补偿任务

智能手机的镜头是由5片起步的镜片、滤光装置、马达、陀螺仪等部件构成，“透光率”是权衡镜头性能的重要指标。

通常手机主摄的镜片数量要多于副摄镜片数量

CMOS更是核心部件，传感器尺寸、像素值大小、RGGB或RYYB滤镜结构、单位像素面积、多像素合一技术等等都会影响它的性能。

换句话说，镜头和传感器本身都存在物理缺陷，从7P→8P的镜头到IMX586→IMX700的CMOS，不断的迭代升级只能无限趋近完美，而这就意味着经由它们转化而来的数字信号的原始数据（raw data）都是不完美的。

CMOS传感器尺寸越大，理论上其成像底蕴就越好

另一方面，当我们进行拍照或视频录制时的环境光线条件多种多样，需要镜头和CMOS像人眼瞳孔缩放那般适应环境明暗。

作为翻译官的ISP，其主要任务就是对存在物理缺陷的原始数据进行优化补偿，并还原出最符合我们预期的明暗效果，比如防止逆光时过曝，看清暗光时的画面细节等。ISP是由很多功能模块构成，下面我们就简单介绍一下ISP的功能模块以及需要补偿的部分内容：

BLC：黑电平校正

数字信号对纯黑的原始数据定义为0。但由于CMOS存在“漏电流”的缺陷，将镜头放入一个纯黑的环境时，经过镜头和CMOS输出的原始数据却不为0。此时，就需要ISP内的BLC（BlackLevel Correction）模块登场，通过对所有像素减去特性的矫正值，获得一个矫正成功的结果，这一过程即黑电平校正，让原始数据可以显示纯黑画面。

LSC：镜头阴影校正

在拍照/摄像时，通过镜头到达CMOS中间的光通常要比到达CMOS边缘的光多，导致CMOS捕获的图像中间亮度高，周围边缘亮度低，容易形成所谓的“渐晕”问题。此时，ISP内部的LSC（Lens Shade Correction）镜头阴影校正模块就开始插手了，它会检测出图像中间亮度比较均匀的部分，并以此为基准，计算出周围区域需要补偿的因子。

Bayer Denoise：降噪模块

除了ADC器件以外，包含模拟部分的CMOS感光器件在信号的传输中也存在一定的噪声，拍摄环境的光线越暗，就越需要放大信号，从而产生更大噪音，落实到成像环节就是照片或视频画面中出现大量彩色雪花状的噪点。ISP内的Bayer Denoise降噪模块可通过多级滤波，显著降低信号中的噪声，减少成像噪点。

BPC：坏点校正

CMOS传感器属于物理器件，在长时间使用过程中难免出现坏点。ISP中的BPC（Bad Point Correction）坏点校正模块会自动进行坏点检测，找到坏点后则可通过中值滤波替换原来的值，从而纠正坏点，避免在全黑画面中出现彩点和亮点，抑或在纯白画面出现彩点和黑点。

Demosaic：颜色插值

CMOS传感器本身其实是个“色盲”，如果只靠它输出的照片都是黑白的，想要记录颜色，还需要搭配一个名为Bayer（拜耳）色彩滤波阵列（Bayer Color Filter Array，CFA）的滤光板，并将其覆盖在一个感光板上。Bayer色彩滤波阵列的结构主要以RGBW、RWWB、RGGB和RYYB为主，但由于拜耳阵列中的每一个像素只能采集一个颜色通道信息，另外两种颜色信息需要通过插值算法，结合相邻其他颜色的像素信息才能组成一个完整的色彩，这个有点类似于“去马赛克”的过程，就需要依靠ISP内的Demosaic插值算法模块实现。

AWB：自动白平衡

人脑的视觉系统可以自我修正，无论是阴天、晴天、室内、室外、白炽灯还是日光灯下都能识别出准确的白色，不会受到光源颜色的影响。但是，CMOS传感器却不具备这一特性，一张白纸在不同光源下输出的颜色存在偏差，比如低色温（如白炽灯）偏黄，高色温（户外阳光）偏蓝。这个时候，ISP中的AWB（Automatic White Balance）自动白平衡模块就能通过检测色温→计算增益→色温矫正这套流程自动校色，从而准确记录不同色温光线下的白色物体。

CCM：颜色校正

CMOS传感器各颜色块之间因颜色渗透可能产生颜色误差，因此经CMOS获取的图像与我们期望的颜色之间存在偏差。前面提到的AWB可以矫正白色，而CCM（Color Correction Matrix）颜色矫正模块则可校准除白色以外其他颜色的准确度，比如提升颜色饱和度，让画面色彩更艳丽。

AEC：自动曝光

光照强度会因时间和场景出现变化，人眼由于有着一定的自适应能力，可以根据光照变化作出及时的调整，但CMOS传感器却不具备这个能力。为此，就需要使用ISP中的AEC（Automatic Exposure Control）自动曝光模块根据光照强度自动调节曝光时间，并在必要时进行一定的曝光补偿。

HDR：高动态范围

自然界中的光照强度非常宽，但人眼对高亮度和极暗环境下的细节分辨能力却相对较窄，CMOS传感器能记录的范围则更窄，因此经由后者输出的画面极易丢失高亮和极暗部分的细节。ISP中的HDR高动态范围模块就是为此而生，它能通过Tone Mapping（色调映射）的方式，将像素值在特别暗的区域拉高，在特别亮的区域拉低，从而显露出高亮和极暗部分丢失的画面细节。

除了上述功能以外，ISP还包含RGB Gamma（伽玛校正）、RGBToYUV（色彩空间转换）、Color Denoise /Sharpness（色彩去噪/锐化）和Auto Focus（自动对焦）等模块。需要注意的是，上述都仅是ISP的基础功能，不同的ISP（包含独立芯片和SoC集成的ISP模块）可能会引入独有的或更强的特色功能。

虽然高通骁龙和联发科天玑等5G SoC内部已经集成了性能不俗的通用ISP，但它们很难100%匹配手机厂商自家的AI算法，因此通过自研ISP（NPU）来匹配自家的AI算法，自然就成为了手机厂商的突围之路，可以在硬件趋于同质化的当下实现更讨好用户审美的成像效果。

相关问答

npu和isp哪个好?

ISP,即“ImageSignalProcessor”(图像信号处理器)的缩写,是用来对前端图像传感器输出信号进行处理的单元。根据专业人士的介绍,ISP的具体处理流程是这样...

isp芯片最大供应商?

富瀚微是一家集成电路设计企业,专注于安防视频监控、汽车电子、智能硬件领域芯片的设计开发,为客户提供高性能视频编解码SoC芯片、图像信号处理器ISP芯片及完...

ISP是什么工艺?

ISP是指集成电路封装工艺(IntegratedCircuitPackaging),它是将芯片封装成可用于电子设备的实际产品的过程。ISP工艺包括芯片封装、引脚连接、封装材料选择等...

OPPO自研芯片成了吗?有没有新消息?

根据此前的爆料,OPPO的“马里亚纳计划”自研芯片很快就要开花结果了,其首款芯片采用台积电6nm制程工艺,可能是款ISP芯片,毕竟像集成式SOC对于任何一家科技企...

isp技术?

ISP有多个不同的释义,具体如下:1、isp:单片机ISP,即In-SystemProgramming,在线编程。具有ISP功能的单片机芯片,可以通过简单的下载线直接在电路板上给芯...

stc-isp找不到串口?

原因是:开了另外一个串口调试助手,串口被占用了。现在的串口调试助手多如牛毛,一个研发工程师或者学生的电脑上有很多这个类型的软件。当你打开一个串口调...

J-Link与isp的问题?

1.有区别,完全不是一个东西;2.JLINK是ARM仿真器,其接口为2X10的JTAG接口;3.ISP是ARM芯片的一个在系统编程功能,NXP的ARM芯片具有ISP下载功能,就是通过UAR...

ISP是手机相机传感器的意思吗?

不,ISP不是手机相机传感器的意思。ISP是图像信号处理器(ImageSignalProcessor)的缩写,是一种专门用于处理图像和视频信号的芯片或模块。在手机中,ISP负责...

单片机ISP，IAP什么意思?

ISP是指在系统编程,相比于过去编程需将单片机芯片从电路板上取下来,放在编程器上编程而ISP可以利用编程接口直接在电路板上烧写程序IAP更进一步,可以在运行中...

sr2z9是什么系列芯片?

sr2z9是一款由高通推出的移动通信芯片,属于骁龙处理器系列。它采用了14纳米工艺制造,具有八核心KryoCPU,最高主频达2.45GHz,可提供高效的计算能力。此外,它...