手机CMOS应用“退烧”

按照以往的惯例，伴随着高通和联发科新款移动旗舰SoC的发布，每年的一月到三月将迎来一波新机发布潮，主流安卓手机厂商的年度新旗舰会在该时段内接连亮相。新机型的到来也意味着手机影像实力的提升，相较于此前超高像素传感器的高调登场，今年的手机CMOS市场出现了一些新变化。

今年12月中下旬，摩托罗拉和小米发布了搭载骁龙8的新机型，在CMOS上摩托罗拉 edge X30和小米12/12X均使用高像素中底传感器。其中值得关注的是，小米12/12X弃用上一代的一亿像素传感器，转而使用许多手机厂商都在使用的IMX766。

不只是摩托罗拉和小米，包括今年的许多机型在内，都选择使用高像素中底CMOS。厂商们的选择说明了市场方向的改变，脱离片面的数字不再盲目追求超高像素，使用更成熟的硬件方案。

超高像素并不直接等同于高画质

需要提前说明的是，CMOS图像传感器是手机摄像头模组中的一部分，负责将穿过镜头的光信号转化为芯片能理解的数字信号。此外，手机摄像头模组还包括镜头和镜头模组，前者负责传递光线，后者是将镜头、CMOS、OIS光学防抖等模块封装在一起。而所谓的“高像素中底CMOS”，指的是规格为5000像素、1/1.5英寸左右的传感器，区别于一亿像素、1/1.3英寸左右的超高像素大底传感器。

要判断一颗CMOS素质的高低，可以看总像素、单位像素大小、传感器感光面积和对焦技术等。智能手机机身可利用面积有限，对主流手机而言直接塞下一颗超大尺寸CMOS并不现实，近年来厂商为了提升手机画质开始尝试走超高像素路线，通过缩小单位像素的方式提升传感器总像素数量。 如三星的HM1拥有1.08亿像素，但单位像素尺寸只有0.8μm，远小于1200万像素索尼IMX555的1.8μm。

超高像素传感器的优势在于，一方面可以用多像素合成的方式提升单位像素尺寸，三星HM1像素九合一后可输出1200万像素/2.4μm的照片；另一方面，一亿像素传感器利于产品宣传，容易靠超高像素的产品特性吸引消费者选购，特别是在下沉市场中，部分用户还认为高像素就一定等同于高画质。

理想很丰满现实很骨感，经过几年的发展6400万像素和一亿像素传感器并未成为市场的主流。不只是小米12系列回归5000万像素传感器，就连三星在自己的Galaxy S系列中也没有普及一亿像素，S20和S21两代产品仅Ultra机型搭载一亿像素CMOS，其他几款均使用“保守”的1200万像素传感器。超高像素难以流行开来，主要包括以下几大原因。

首先，超高像素传感器并未给手机成像画质带来质的飞跃，反而增加ISP的运算压力造成拍照卡顿和发热异常等问题，影响用户使用体验。不管是直接输出一亿像素照片还是像素多合一输出1200万像素照片，超高的像素短时间内极大增加ISP运算量，难以做到无感式拍照体验（即拍即得）。比如搭载一亿像素传感器小米 CC9 Pro就被部分用户吐槽拍照时取景器卡顿，快速点按快门会有一段等待的过程。

其次，像素越高、单位像素尺寸越小的CMOS越需要精密的制程工艺，即制造超高像素CMOS的成本更高。CMOS与手机SoC不同，不需要追逐最顶尖的制程工艺，但CMOS单位像素尺寸的缩小使得传统40纳米+产线无法做到精确切割，只能使用40-28纳米制程工艺。

在安卓手机步入4800/5000万像素时代后，三星在CMOS市场追上索尼的重要原因是自己拥有先进制程产线，而索尼自家的老工艺产线达不到制造超高像素CMOS的要求，现在只能找台积电合作。

前不久新发布的摩托罗拉 edge X30和小米12/12X均使用5000万像素中底CMOS，前者为1/1.55英寸的豪威OV50A、后者为1/1.56英寸的索尼IMX766。高像素中底CMOS兼顾成像表现和用户体验，在成本上也更有优势，更适合用在走量的机型上，而超高像素CMOS更偏向于Pro+或Ultra等追求极致的产品。

一亿像素等传感器还会继续存在，但高像素中底传感器会更普及，成为主流中高价位机型的标配。此外，部分“成熟”的传感器或会流行起来，搭载在更多新机型上。

“成熟”的CMOS将更受厂商欢迎

小米12/12X使用的索尼IMX766并非是最新款COMS，最早搭载的机型是2020年年末发布的OPPO Reno 5 Pro+，不过凭借较强的综合实力，IMX766在OPPO独占期过后被许多厂商采用。小米12作为小米的重要机型，未采用最新款CMOS突出小米求稳的发展特征，告别单一的CMOS硬件比拼。

对于手机厂商来说，使用已发布过一段时间的CMOS有诸多好处。在算法调试方面，市面上已发布的相关机型较多，厂商有更多可参考案例和调试时间，进而降低产品翻车的概率。 例如谷歌就曾连续几年打磨IMX363，靠算法的升级提升手机拍照实力。

在成本层面，应用成熟的CMOS在成本层面的优势不仅体现在采购价格上，还体现在算法开发与适配方面，厂商不需要重新开发一套算法适配新机型，更多的是根据不同镜头和ISP调整原来的优化策略。小米11 Ultra的超广角和长焦镜头均使用IMX586（原小米9的主摄），长时间的打磨和不错的硬件规格，让IMX586这颗成熟的CMOS焕发第二春，综合成像素质不输专门的超广和长焦CMOS。

应用成熟CMOS的方式并不罕见，只不过此前许多安卓手机厂商更喜欢追新，在中高价位段搭载成熟CMOS的手机并算多，不过，最近两年这一状况已迎来变化。

现在稍有不同的是，成熟的CMOS更多的用于手机主摄，有的甚至会出现一代CMOS用于三代机型的现象。OPPO和vivo在线下市场的成功，说明盲目地追逐超高像素并不可取，多数用户并不太在意部分CMOS是否是新款，更在意拍照的具体效果。同理，长焦微距和“显微镜”镜头强调的是玩法上的升级，均是采用多是小底低像素CMOS。

个人认为，智能手机行业已走过仅靠硬件堆料发展的蛮荒期，随着手机市场的成熟和经济的发展，许多用户在选购手机时也更在意手机厂商自己的自研技术。应用成熟CMOS不代表挤牙膏，只用新CMOS不提升自研算法实力才是真正的挤牙膏，供应链技术厂商们都能买，但要想寻求高端手机市场的突破只能从自研技术层面入手。

CMOS之外，自研软硬件模块已是行业趋势

现阶段，阻碍手机拍照/视频能力提升的主要原因在于物理层而非软件层，例如镜头，空间的限制使得手机镜头的镜片片数低于10片，且主要为透光性一般的塑料材质镜片。物理上的限制使手机厂商们在镜头模组上能做的改变并不多，只能转向算法和图像处理硬件。

经谷歌的推动，“计算摄影”已被认为是提升手机摄影瓶颈的主要方式之一，如手持超级夜景算法、多帧合成技术和广角畸变调整算法，突破镜头和CMOS物理层面的限制提升手机成像效果。华为、小米和vivo等国产厂商在发布会上都会强调自研算法的重要性，侧面降低CMOS在用户心中的影响力。可以说，曾经那个可以靠买第三方成像算法提升手机摄影质量的时代已一去不复返，品牌想要在中高端手机市场站稳脚跟，还得自己在软件算法上下功夫。

自研ISP和NPU是另一条提升手机影像实力的路线，更准确的说，在高端机市场有一席之地的玩家基本都自己的ISP。今年米OV三家都在ISP或NPU上发力，着力构建算法+影像硬件的自研体系，将影响手机成像质量的更多技术环节掌握在自己手里。

最后要说的是，功能机到智能手机的技术跨越，本质上是芯片技术的跨越，许多功能的升级都依赖于芯片算力的提升。对于尺寸有限的手机而言，“像素”起到的作用越来越小，一英寸CMOS似乎就是手机影像发展的临界点，行业物理层面天花板就在头顶，既然更高画质的照片难以靠硬件“堆”出来，那不如靠算法和芯片“算”出来。

趁着OPPO发布影像专用NPU的机会 聊一聊ISP到底有啥用

昨天，OPPO正式发布首款自研NPU芯片——马里亚纳MariSilicon X，这颗芯片采用台积电6nm工艺和DSA新黄金架构，集成自研的MariNeuro AI计算单元以及MariLumi影像处理单元，在设计之初就将AI和图像处理进行了融合，相比传统的ISP有更高灵活性和更高性能，用计算摄影突破手机影像功能的极限。

在此之前，小米和vivo也都推出过自研的ISP芯片。问题来了，为什么现在手机厂商这么热衷于ISP的研发，这个模块对成像来说到底有多重要？

简单来说，ISP（Image Signal Process, 图像信号处理器，又称成像引擎）是手机拍照/摄像流程中的核心单元之一。一张照片，一段视频，最终呈现的色彩和细节都取决于它。

ISP所扮演的角色

当你按下手机相机APP的（虚拟）快门进行拍照或录像时，就会自动进入一场“视觉处理的接力赛”。

首先，光线通过镜头进入相机模组内部，经过IR Filter过滤红外光，然后到达CMOS传感器。这个时候，CMOS会将光学信号转换为电信号，再通过内部的ADC电路转换为数字信号，然后传输给ISP进行加工处理，再经历AI单元的一轮智能成像算法优化后，最终才能生成肉眼可见的图片或视频文件。

问题来了，镜头和CMOS在将光学信号转化为由0、1、0、1组成的数字信号时可能存在细节上的遗漏和错误，而ISP单元的主要任务就是进行“纠错”、“校验”和“补偿”。

这就好比让你用英文翻译一段中文成语或谚语，需要翻译官具备足够的文学素养，才能用英语准确表达出中文语境的博大精深。没错，此时ISP扮演的就是“翻译官”的角色。

细数ISP的补偿任务

智能手机的镜头是由5片起步的镜片、滤光装置、马达、陀螺仪等部件构成，“透光率”是权衡镜头性能的重要指标。

通常手机主摄的镜片数量要多于副摄镜片数量

CMOS更是核心部件，传感器尺寸、像素值大小、RGGB或RYYB滤镜结构、单位像素面积、多像素合一技术等等都会影响它的性能。

换句话说，镜头和传感器本身都存在物理缺陷，从7P→8P的镜头到IMX586→IMX700的CMOS，不断的迭代升级只能无限趋近完美，而这就意味着经由它们转化而来的数字信号的原始数据（raw data）都是不完美的。

CMOS传感器尺寸越大，理论上其成像底蕴就越好

另一方面，当我们进行拍照或视频录制时的环境光线条件多种多样，需要镜头和CMOS像人眼瞳孔缩放那般适应环境明暗。

作为翻译官的ISP，其主要任务就是对存在物理缺陷的原始数据进行优化补偿，并还原出最符合我们预期的明暗效果，比如防止逆光时过曝，看清暗光时的画面细节等。ISP是由很多功能模块构成，下面我们就简单介绍一下ISP的功能模块以及需要补偿的部分内容：

BLC：黑电平校正

数字信号对纯黑的原始数据定义为0。但由于CMOS存在“漏电流”的缺陷，将镜头放入一个纯黑的环境时，经过镜头和CMOS输出的原始数据却不为0。此时，就需要ISP内的BLC（BlackLevel Correction）模块登场，通过对所有像素减去特性的矫正值，获得一个矫正成功的结果，这一过程即黑电平校正，让原始数据可以显示纯黑画面。

LSC：镜头阴影校正

在拍照/摄像时，通过镜头到达CMOS中间的光通常要比到达CMOS边缘的光多，导致CMOS捕获的图像中间亮度高，周围边缘亮度低，容易形成所谓的“渐晕”问题。此时，ISP内部的LSC（Lens Shade Correction）镜头阴影校正模块就开始插手了，它会检测出图像中间亮度比较均匀的部分，并以此为基准，计算出周围区域需要补偿的因子。

Bayer Denoise：降噪模块

除了ADC器件以外，包含模拟部分的CMOS感光器件在信号的传输中也存在一定的噪声，拍摄环境的光线越暗，就越需要放大信号，从而产生更大噪音，落实到成像环节就是照片或视频画面中出现大量彩色雪花状的噪点。ISP内的Bayer Denoise降噪模块可通过多级滤波，显著降低信号中的噪声，减少成像噪点。

BPC：坏点校正

CMOS传感器属于物理器件，在长时间使用过程中难免出现坏点。ISP中的BPC（Bad Point Correction）坏点校正模块会自动进行坏点检测，找到坏点后则可通过中值滤波替换原来的值，从而纠正坏点，避免在全黑画面中出现彩点和亮点，抑或在纯白画面出现彩点和黑点。

Demosaic：颜色插值

CMOS传感器本身其实是个“色盲”，如果只靠它输出的照片都是黑白的，想要记录颜色，还需要搭配一个名为Bayer（拜耳）色彩滤波阵列（Bayer Color Filter Array，CFA）的滤光板，并将其覆盖在一个感光板上。Bayer色彩滤波阵列的结构主要以RGBW、RWWB、RGGB和RYYB为主，但由于拜耳阵列中的每一个像素只能采集一个颜色通道信息，另外两种颜色信息需要通过插值算法，结合相邻其他颜色的像素信息才能组成一个完整的色彩，这个有点类似于“去马赛克”的过程，就需要依靠ISP内的Demosaic插值算法模块实现。

AWB：自动白平衡

人脑的视觉系统可以自我修正，无论是阴天、晴天、室内、室外、白炽灯还是日光灯下都能识别出准确的白色，不会受到光源颜色的影响。但是，CMOS传感器却不具备这一特性，一张白纸在不同光源下输出的颜色存在偏差，比如低色温（如白炽灯）偏黄，高色温（户外阳光）偏蓝。这个时候，ISP中的AWB（Automatic White Balance）自动白平衡模块就能通过检测色温→计算增益→色温矫正这套流程自动校色，从而准确记录不同色温光线下的白色物体。

CCM：颜色校正

CMOS传感器各颜色块之间因颜色渗透可能产生颜色误差，因此经CMOS获取的图像与我们期望的颜色之间存在偏差。前面提到的AWB可以矫正白色，而CCM（Color Correction Matrix）颜色矫正模块则可校准除白色以外其他颜色的准确度，比如提升颜色饱和度，让画面色彩更艳丽。

AEC：自动曝光

光照强度会因时间和场景出现变化，人眼由于有着一定的自适应能力，可以根据光照变化作出及时的调整，但CMOS传感器却不具备这个能力。为此，就需要使用ISP中的AEC（Automatic Exposure Control）自动曝光模块根据光照强度自动调节曝光时间，并在必要时进行一定的曝光补偿。

HDR：高动态范围

自然界中的光照强度非常宽，但人眼对高亮度和极暗环境下的细节分辨能力却相对较窄，CMOS传感器能记录的范围则更窄，因此经由后者输出的画面极易丢失高亮和极暗部分的细节。ISP中的HDR高动态范围模块就是为此而生，它能通过Tone Mapping（色调映射）的方式，将像素值在特别暗的区域拉高，在特别亮的区域拉低，从而显露出高亮和极暗部分丢失的画面细节。

除了上述功能以外，ISP还包含RGB Gamma（伽玛校正）、RGBToYUV（色彩空间转换）、Color Denoise /Sharpness（色彩去噪/锐化）和Auto Focus（自动对焦）等模块。需要注意的是，上述都仅是ISP的基础功能，不同的ISP（包含独立芯片和SoC集成的ISP模块）可能会引入独有的或更强的特色功能。

虽然高通骁龙和联发科天玑等5G SoC内部已经集成了性能不俗的通用ISP，但它们很难100%匹配手机厂商自家的AI算法，因此通过自研ISP（NPU）来匹配自家的AI算法，自然就成为了手机厂商的突围之路，可以在硬件趋于同质化的当下实现更讨好用户审美的成像效果。

相关问答

主机板上CMOS芯片的主要用途是-ZOL问答

硬盘最好用固态的,运行很快能做平面的这个价位也太低了1500想都别想CPUAMD速龙IIX4631/盒装1￥495主板映泰A55MH纪念版1￥499内存金士顿DDR3133...

CMOS的主要用途?

cmos是电脑主板上的一块可读写的RAM芯片。仅仅是用来存放数据的。CMOS是用于保存计算机基本启动信息(如日期、时间、启动设置等)的芯片。CMOS是Complementary...

主板上的BIOS和CMOS芯片的作用是什么?CMOS芯片靠什么供电?

BIOS是主板上的一块EPROM或EEPROM芯片,里面装有系统的重要信息和设置系统参数的设置程序(BIOSSetup程序);CMOS是主板上的一块可读写的RAM芯片,里面装的是关...

cmos的具体作用是什么?-JsIZIdx2GrL的回答-懂得

是用来保存主板里的各种设置,如时钟、各个硬件之间通讯的端口地址的分配,提供系统启动各个硬件时的参数等等cmos是电脑主板上的一块可读写的RAM芯...

cmos芯片?

CMOS芯片是一种低耗电存储器,其主要作用是用来存放BIOS中的设置信息以及系统时间日期。应该把它和BIOS芯片区别开。早期的CMOS芯片是一块单独的芯片MC146818A(...

CMOS是什么?CMOS能进行什么设置?

CMOS(ComplementaryMetalOxideSemiconductor),互补金属氧化物半导体,电压控制的一种放大器件,是组成CMOS数字集成电路的基本单元。CMOS设置内容:.....

什么是cmos芯片?

CMOS芯片是一种低耗电存储器,其主要作用是用来存放BIOS中的设置信息以及系统时间日期。应该把它和BIOS芯片区别开。CMOS芯片是一种低耗电存储器,其主要作用是...

cmos芯片由什么供电可保持?

CMOS芯片靠主板上钮扣电池供电,即使系统断电后信息也不会丢失。CMOS是主板上的一块可读写的RAM芯片,里面装的是关于系统配置的具体参数,其内容可通过设置程序...

BIOS芯片ROM与CMOS芯片RAM,只要是BIOS芯片,它们都存了什么?-...

电脑上那个芯片叫BIOS芯片有三家主要生产公司里面存储的内容叫CMOS设置保存电脑的一些基本设置和管理里面都是对电脑软硬件的一些控制例如启动项电脑状...

CMOS由什么器件构成?

CMOS是一种常用的集成电路技术,它由多种器件构成。以下是构成CMOS的主要器件:1.MOSFET(金属氧化物半导体场效应晶体管):MOSFET是CMOS中最重要的元件之一。...