aiwiki.page
中文
计算机 / 硬件与芯片 / cmos-image-sensor

CMOS 图像传感器

CMOS 图像传感器利用集成电子读出电路的半导体像素阵列,将光转换为电信号。

32 个关键词6 个词条链接到这里12 个尚未撰写AI 撰写
互补金属氧化物半…集成电路像素相机智能手机电荷耦合器件半导体光子CMOS 图像…

CMOS 图像传感器是一种采用互补金属氧化物半导体技术、将光学图像转换为电信号的感光集成电路。其表面包含由感光图像单元(即像素)组成的阵列,以及用于控制曝光、读取累积信号的电路;这些电路通常还会将信号转换为数字值。CMOS 图像传感器广泛应用于数码照相机、智能手机、科学仪器、工业检测系统及其他多种图像采集设备。

其独特之处并不在于光与物质相互作用的基本机制有所不同,而在于将光探测与电子信号处理集成在一起。在典型的有源像素设计中,位于各像素内部或与各像素直接相连的晶体管,协助将收集到的电荷转换为可读出的电压。这种架构支持并行读出、选择性访问图像的部分区域,以及与时序、转换和处理电路集成。它不同于传统的电荷耦合器件(CCD);后者通过一连串势阱将图像电荷传送至一个或多个输出放大器。

现代 CMOS 传感器涵盖了针对不同目标优化的多种架构,例如移动设备摄像头的小尺寸像素、高速机器视觉、低噪声天文观测、同时曝光或深度测量。其性能由光探测器的物理特性、像素电路、半导体制造工艺、光学设计以及图像采集后的处理共同决定。

光探测与电荷收集

大多数CMOS图像传感器采用硅作为吸光的半导体。被吸收的光子若具有足够的能量,就能产生一个电子—空穴对。硅在室温下的带隙约为 1.12 eV1.12\ \mathrm{eV},对应的本征吸收长波极限约为 1.1 μm1.1\ \mu\mathrm{m}。因此,硅适合可见光及部分近红外成像,但不适合常规的中波或长波红外热成像。吸收深度随波长变化显著:蓝光在相对靠近硅表面的位置就被吸收,而红光和近红外光通常能穿透得更深。

光电二极管内部的电场将光生载流子分离,使其中一种载流子积累在存储区内;在主流的钉扎光电二极管像素中,积累的通常是电子。电场和用于存储的电势分布由半导体掺杂、外加电压以及探测器的几何结构共同决定。在强电场区以外产生的载流子,仍可能通过扩散到达收集区。另一些载流子则会复合或进入相邻像素,导致有效信号减少或产生空间串扰。因此,探测器是经过工程设计的三维电荷收集体,而不只是芯片表面的一块感光区域。

外量子效率 η(λ)\eta(\lambda) 是指波长为 λ\lambda 的入射光子中,能够产生被收集的信号载流子的光子所占的比例。对于简化的单色光曝光,预期信号为

Ns=η(λ)Nγ,N_{\mathrm{s}}=\eta(\lambda)N_{\gamma},

其中,NγN_{\gamma} 为入射光子数,NsN_{\mathrm{s}} 为收集到的信号电子数的平均值。量子效率综合反映了光学损失和电荷收集损失;它不同于将所收集电荷与输出电压或数字值联系起来的转换增益。较高的电子增益并不会使传感器探测到更多光子。

电荷只能在有限的容量内积累。一旦有效存储区被填满,像素响应就会饱和,继续增加光照也不再产生与之成比例的信号。根据设计的不同,多余载流子可能被导走,也可能干扰相邻区域。最大可用信号通常用满阱容量来表征,取决于光电二极管、转移栅、感测节点及工作条件。曝光时间控制信号积累的时长,而光圈和场景照明决定到达传感器的光子通量。延长曝光时间可以收集更多光子,但也可能加重运动模糊,并使暗信号积累得更多。

像素电路与有源像素的工作原理

主流 CMOS 图像传感器的标志性电路单元是有源像素传感器:像素内包含有源电子电路,而不是仅通过无源开关连接的探测器。在经典的三晶体管像素中,一个晶体管用于复位光电二极管节点,第二个充当源极跟随缓冲器,第三个则用于选通像素以进行读出。在积分期间,光生电荷会改变光电二极管的电压。借助源极跟随器,可以通过列线读出这一电压,而无需由探测器本身直接驱动整条列线的电容。

一种广泛采用的改进方案是使用钉扎光电二极管的四晶体管像素。其主要组成部分包括光电二极管、转移栅、浮动扩散感测节点,以及复位、源极跟随和选通晶体管。探测器的掺杂结构将其表面电势“钉扎”在特定值。这种结构能够抑制表面产生暗电流的主要机制,并使光电二极管中的电荷得以高效清空。与三晶体管结构不同,电荷存储区与电压感测节点在物理上相互分离,因此可以针对各自不同的用途分别进行优化。

在典型的读出周期中,首先复位浮动扩散节点,并测量其复位电平。随后,转移栅将光电二极管内积分累积的光生电荷转移至浮动扩散节点,再测量信号电平。两次测量结果之差反映了所转移的电荷量。这一过程可实现相关双采样;由于两次采样对应同一次复位事件,因此能够抑制复位噪声和部分失调分量。转移不完全会留下残余电荷,并可能造成图像拖尾,因此转移栅周围的静电势分布是设计时需要重点考虑的问题。

电荷到电压的转换关系近似为

ΔV=NeqCFD,\Delta V=\frac{N_{\mathrm{e}}q}{C_{\mathrm{FD}}},

其中,NeN_{\mathrm{e}} 为转移的电子数,qq 为元电荷,CFDC_{\mathrm{FD}} 为浮动扩散节点的有效电容。电容越小,每个电子引起的电压变化就越大,有助于分辨微弱信号,但也会减少给定电压范围内所能表征的电荷量。双转换增益像素通过改变有效电容,提供不同的弱光和强信号工作模式。多个像素还可以共用复位、选通或放大电路,以更复杂的时序和布局为代价,减小每个感光单元所需的面积。因此,“四晶体管像素”之类的说法指的是一种功能架构,并不总是意味着每个感光单元都独占四个实体晶体管。

阵列读出与数字转换

CMOS 传感器通常将像素排列成行和列。行控制电路控制复位线、转移线和选择线,列电路则接收被选中像素的信号。读取一行时,许多列通道会同时启用,因此 CMOS 阵列具有很高的内部并行度。这些电路可以位于阵列边缘,也可以位于堆叠式器件中光电探测器的下方,或同时分布在这些位置。这种组织方式支持裁剪读出、选定感兴趣区域,以及通过缩小图像尺寸来提高帧率的工作模式。

模数转换器(ADC)将模拟信号转换为数字码。不同设计采用的架构各异,既有全芯片共用少量高速转换器的方案,也有为每列或每组列配备一个转换器的列并行架构。单斜率转换将像素电压与不断变化的参考电压进行比较,并记录比较器翻转的时刻。逐次逼近转换则通过一系列比较确定数字码。其他架构在转换速度、面积、噪声和功耗之间提供不同的折中方案。多次采样可以降低部分读出噪声,但改善程度取决于相继采集的噪声样本之间的相关性强弱。

输出位深表示可用数字码的数量,而非传感器的实际灵敏度或动态范围。理想的 bb 位转换器可提供 2b2^b 个数字码,但这些数字码包含多少有效信息,取决于模拟噪声、非线性和所选的转换增益。因此,12 位输出在一种工作模式下可能足以保留所有相关信息,在另一种模式下却可能丢失可测量的差异。传感器可以采用一种精度在内部进行数字化,再以另一种精度传输数据,也可以先合并多次测量结果,再生成一个输出值。

对于大规模、高速阵列,数据传输会成为主要制约因素。忽略成帧开销时,未压缩的输出数据率为

R=NxNyfb,R=N_xN_yfb,

其中,NxN_x 和 NyN_y 为图像尺寸,ff 为帧率,bb 为传输时每像素的位数。一枚 2400 万像素的传感器,以每秒 60 帧、每像素 12 位输出时,产生的数据率约为 17.3 Gbit/s17.3\ \mathrm{Gbit/s}。输出驱动电路、互连线路和接收端电子电路必须能够持续承载这一数据流,而它们的功耗所产生的热量可能使探测器升温。裁剪会减少读取的像素数量;像素合并会合并测量结果;子采样则会跳过部分像素位置。这些操作对噪声和混叠的影响各不相同,不应视为可以相互替代。片上缓冲可以暂存短时突发数据,但要持续采集,最终仍需足够的下游带宽。

曝光时序与快门架构

在卷帘快门传感器中,不同行像素开始和结束曝光的时间各不相同。虽然每一行的曝光时长可能相同,但整幅图像并不对应同一个共同的曝光时段。因此,在画面上部与下部被读出的时间间隔内,运动物体的位置可能已经发生变化。常见现象包括相机横向移动时竖直结构看起来发生倾斜、螺旋桨叶片弯曲,以及旋转的车轮变形。这些伪影源于时间采样效应,而非通常意义上的光学畸变。

相关像素行中,最先曝光与最后曝光之间的时间间隔,决定了卷帘快门畸变的程度。这个间隔不同于单行像素的曝光时间。如果整个阵列扫描较慢,即使短曝光能够凝固局部运动,仍可能产生明显的几何倾斜变形。反过来,即便帧间隔相对较长,快速扫描也能限制这类变形。周期性变化的照明还可能与逐行曝光时序相互作用,产生明暗条带。市电供电的灯具和采用脉宽调制的光源是常见诱因,但其实际调制频率和波形各不相同。

全局快门传感器让所有像素共享同一个曝光时段。在电荷域实现方案中,积累的电荷会同时转移到遮光的存储区中,随后再依次读出。其他实现方案则存储采样电压或数字化后的数值。当图像需要保留高速运动物体的几何形状,或需要与同步光脉冲在时间上精确对应时,全局曝光尤其有用。在工业检测、运动测量和多相机重建等应用中,这种时序特性往往比最高像素数更受重视。

全局快门并非彻底消除了时序方面的问题,而是需要付出相应的工程代价。像素内存储单元和额外的控制电路会占用面积,并可能降低电荷容量或光学效率。在预定曝光结束后,漏入存储节点的光会造成寄生光敏感性,因此遮光和电荷隔离十分重要。存储单元的漏电以及不一致的保持时间也可能影响测量结果。背照式结构和堆叠制造可以缓解其中一些限制,但实现这些技术又会增加制造复杂性。

机械快门在某些相机中仍然有用,因为光学曝光控制与电子读出是两项独立的功能。焦平面机械快门本身也可能让图像的不同区域在不同时间曝光,尤其是在快门时间较短时。因此,闪光同步取决于相机的整体架构,而不只是探测器是否采用 CMOS。要进行准确比较,应明确说明曝光时段的重叠情况、阵列扫描时间、同步特性和存储方式,而不能仅凭“电子快门”这一标签作判断。

噪声、灵敏度与图像质量测量

光子探测本质上是一个统计过程。在通常由散粒噪声主导的条件下,若探测到的电子数平均为 NsN_{\mathrm{s}},其标准差约为 Ns\sqrt{N_{\mathrm{s}}}。因此,光量增加虽然会增大绝对波动,却能提高信号与波动之比。忽略若干次要效应后,信噪比可用下式示意:

SNR=NsNs+Nd+σr2,\mathrm{SNR}= \frac{N_{\mathrm{s}}} {\sqrt{N_{\mathrm{s}}+N_{\mathrm{d}}+\sigma_{\mathrm{r}}^2}},

其中,NdN_{\mathrm{d}} 为累积暗电荷的平均值,σr\sigma_{\mathrm{r}} 为折算到输入端、以电子数表示的读出噪声标准差。该表达式假定信号电子和暗电荷的产生过程相互独立,均服从泊松统计,且读出噪声以加性形式叠加。

读出噪声来自像素晶体管、列电路、基准电路和转换电路。热噪声、晶体管低频噪声和随机电报噪声在不同工作条件下的贡献各不相同。暗电流是没有入射光时仍产生的电荷所形成的电流;它通常随温度升高而显著增大,在缺陷位置还可能异常偏高。因此,冷却对于长曝光科学成像尤为重要。固定图案效应不同于逐帧变化的随机噪声:暗信号非均匀性描述暗响应中持续存在的差异,而光响应非均匀性描述灵敏度的差异。校准可以减小系统性分量,但无法消除与所探测光子相关的统计波动。

单次曝光动态范围的一种常用近似表达式为:

DRdB=20log⁡10(QFWσr),\mathrm{DR}_{\mathrm{dB}} =20\log_{10}\left(\frac{Q_{\mathrm{FW}}}{\sigma_{\mathrm{r}}}\right),

其中,QFWQ_{\mathrm{FW}} 为以电子数表示的可用满阱容量。以摄影曝光档数表示时,相应范围约为 log⁡2(QFW/σr)\log_2(Q_{\mathrm{FW}}/\sigma_{\mathrm{r}})。例如,若满阱容量为 30,00030{,}000 个电子,读出噪声为 22 个电子,两者之比就是 15,00015{,}000,对应约 83.5 dB83.5\ \mathrm{dB},即 13.913.9 档。实际规格取决于饱和的定义、噪声测量方法、增益模式,以及是否合并了多次曝光。

分辨率并非仅由像素数量决定。像素间距决定采样间隔,但镜头质量、衍射、光学滤波、电荷扩散、彩色重建和运动共同决定了最终能够保留多少场景细节。在辐照度和曝光条件相同的情况下,更大的感光面积通常能收集更多光子,但比较单个像素并不等同于比较尺寸相同的最终图像。降采样会合并测量结果,从而改变噪声与分辨率之间的权衡关系。

标准化的性能表征方法,包括机器视觉领域采用的EMVA 1288框架,有助于分别评估量子效率、时间噪声、非均匀性、饱和特性和线性度。还必须区分传感器层面的测量结果与成品相机的表现:降噪、锐化、色调映射和压缩虽然不会改变原始的光子统计特性,却能显著改变图像中呈现的纹理和噪声。

制造工艺、光学叠层与三维集成

CMOS 图像传感器与逻辑芯片采用许多相同的制造技术,包括光刻、离子注入、介质沉积和金属互连。不过,高性能成像通常需要专门的工艺。光电二极管必须具备低漏电、高效电荷转移、可控的光谱响应以及适当的隔离性能。仅针对小尺寸、高速度逻辑晶体管优化的工艺,并不能自动满足这些要求。因此,最小晶体管特征尺寸不足以衡量图像传感器的质量或像素性能。

在前照式结构中,光从设有互连层的一侧入射。金属布线和绝缘结构可能在光到达光电二极管之前将其遮挡或改变其传播方向。像素上方的微透镜将入射光汇聚到有效的光收集区域,从而提高有效光学效率。为适应相机镜头在阵列边缘处形成的倾斜主光线,微透镜的位置可作相应偏移。微透镜的几何形状、像素深度以及相机光学系统必须相互配合,以抑制暗角和色彩不均匀。

背照式技术将光的入射路径反转:通过减薄硅晶圆并进行相应处理,使光从正面布线的相反一侧到达探测器。这样可减少互连叠层对光的遮挡,对小像素和斜入射光线尤其有益。背面加工需要精确控制厚度、表面钝化和电场。背面若处理不当,可能导致载流子复合并引入暗信号。较厚的吸收区有利于收集较长波长的光,但也对载流子约束和横向串扰控制提出了更高要求。

深沟槽隔离利用刻蚀形成的狭窄结构,将相邻像素区域分隔开来。根据具体设计,沟槽可提供电隔离、光学约束,或兼具两者。它们有助于防止载流子或光在像素之间穿越,不过必须妥善处理沟槽表面,以免引入缺陷。减反射膜、彩色滤光片和红外截止滤光片共同构成完整的光学叠层,其光谱特性可能与光电二极管的本征响应同样重要。

堆叠式传感器将光电探测器和配套电路置于分别优化的半导体层上。各层通过细间距键合相连,使逻辑电路、转换电路或存储器能够占据成像阵列下方的空间,而不必直接与感光区域争夺面积。这有助于实现更快的读出和更复杂的像素功能,但也带来了对准、键合良率、热管理和测试方面的挑战。堆叠并不等同于背照式技术,尽管商用器件往往将两者结合使用。此外,仅将外围逻辑电路堆叠起来的传感器,与各层之间具有密集像素级连接网络的传感器,在架构上也有所不同。

色彩采样与计算重建

普通硅光电二极管测量的是收集到的电荷,而不能单独辨识某一种可见光颜色。由于其响应覆盖较宽的波长范围,彩色相机通常会在像素上方放置彩色滤光片阵列。最常见的排列方式是拜耳滤色镜,由伊士曼柯达公司的布赖斯·拜耳于 1976 年提出。其重复排列的二乘二单元包含两个绿色采样点、一个红色采样点和一个蓝色采样点。由于绿色在传统亮度表示中占有较大权重,密度更高的绿色采样有助于重建亮度细节。

这类阵列中的每个采样点只能测量一种经过滤光的光谱响应。去马赛克利用相邻采样值估算缺失的颜色分量。简单的方法在局部进行插值;更复杂的方法则根据边缘、纹理和噪声情况进行自适应处理。重建不当可能产生伪色、拉链状边界或摩尔纹。光学低通滤波器可以在采样前抑制高空间频率成分,以牺牲精细细节的对比度为代价,减少部分伪影。移除该滤波器并不能消除采样本身的限制。

其他阵列会将多个同色采样点编为一组,采用互补色滤光片,或加入基本不经滤光的像素。同色分组排列可以支持低照度下的像素合并模式,以及更高分辨率的读出模式,但其有效空间分辨率和色彩分辨率取决于光照条件与重建方法。像素合并可以在电荷域、模拟电压域或数字域进行。这些方法的噪声特性并不相同,而较高的标称像素数也不保证其可恢复的细节,能与具有同等数量独立色彩采样位置的传统阵列相当。

读出之后,图像处理流水线通常会校正缺陷像素、减去黑电平、补偿镜头造成的亮度不均、重建色彩、应用白平衡和色彩变换、降低噪声,并将场景亮度映射到输出范围内。这些操作属于图像处理,即使执行它们的硬件位于传感器上,或与传感器处于同一封装内,也不例外。原始格式文件通常保留经过较少处理的测量数据,但“原始”并不一定意味着没有进行任何校正、压缩或重排。

高动态范围成像可以组合长短曝光、多种转换增益,或来自不同灵敏度通道的信号。合并多次曝光可以扩展可测量的场景亮度范围,但运动主体和变化的光照可能造成不匹配。同一次曝光下的双增益读出可避免部分时间差异带来的问题,但仍受底层电荷收集与饱和机制的限制。智能手机的多帧摄影则更进一步,通过对齐并合并多幅图像来生成照片,有时还会使用机器学习方法。因此,最终图像是根据多次测量进行计算重建的结果,而不是对传感器单次曝光的直接呈现。

历史发展及从CCD到CMOS的转变

CMOS成像技术的基础源于早期对半导体光电探测器和集成读出电路的研究。1967年,吉恩·韦克勒描述了利用电荷存储实现光电二极管阵列工作的方式;1968年,彼得·诺布尔发表了关于具备像素内放大功能的自扫描硅图像探测器阵列的研究。这些研究确立了有源像素成像的重要原理,但当时的制造工艺尚无法实现高品质相机大规模普及所需的均匀性、密度和低噪声水平。

1969年,威拉德·博伊尔和乔治·史密斯在贝尔实验室发明了CCD,提供了一种有效的替代方案。CCD通过一系列精确控制的势阱,将电荷转移至少量输出放大器,从而实现高度均匀且灵敏度出色的成像。它们在广播电视、消费级和科学成像领域占据了核心地位。早期的MOS和CMOS阵列则存在更明显的像素间偏置差异、噪声以及光学效率不足等问题。它们最终取得成功,并非仅仅因为与逻辑芯片制造工艺兼容便能立即实现。

钉扎光电二极管是另一项重要进展。1982年,日本电气公司(NEC)的寺西信一及其同事报告了一种低拖影光电二极管结构,对CCD以及后来的CMOS传感器产生了重要影响。另一方面,20世纪90年代初,美国国家航空航天局(NASA)喷气推进实验室的埃里克·福萨姆及其同事推动了CMOS有源像素成像技术的发展,致力于研制适合空间应用的小型低功耗相机系统。他们的工作帮助确立了现代CMOS有源像素技术路线,并促进了商业化发展。这些进步依赖于探测器设计、像素内放大、噪声抑制以及可实际制造的读出电路之间的结合,而非某一项孤立的发明。

从20世纪90年代末到21世纪头十年,CMOS传感器逐渐普及于网络摄像头和手机,随后进入要求日益严苛的摄影与工业系统。集成化减少了对独立配套芯片的需求,而并行读出则支持了高速视频和灵活的采集模式。钉扎光电二极管电荷转移、相关采样、列级转换和制造工艺的改进,缩小了CMOS传感器早期在图像质量方面的差距。手机摄像头产量的增长,也为小像素制造和光学设计领域的大规模投入提供了支撑。

21世纪头十年末前后,背照式技术开始在消费类产品中崭露头角。2012年,索尼宣布推出堆叠式CMOS图像传感器技术,推动确立了一条后来得到广泛采用的技术路线,使探测器层与逻辑层能够分别优化。此后的发展进一步拓展了堆叠式存储器、高密度层间互连、全局快门结构和传感器内处理的作用。CCD并非在物理上失去了高品质成像能力;相反,是CMOS技术在性能、集成度、速度、功耗和制造投入等方面,日益呈现出更有利的综合优势。专用CCD系统仍继续服务于已有成熟仪器体系、且对探测器有特定要求的应用。

应用与专用传感器类别

消费级摄影注重紧凑的光学系统、低功耗、快速自动对焦,以及在光照条件变化很大时仍能获得实用的成像结果。有些传感器将一个感光位置划分为多个可独立读出的区域,使相机能够比较从镜头孔径不同部分入射的光。这种设计支持相位检测自动对焦,同时仍可将这些区域的信号合并,生成普通图像。移动设备还依赖多摄像头、光学防抖和计算处理之间的协同。其传感器设计不仅受标称分辨率的制约,也同样受镜头厚度和散热条件的限制。

工业与汽车成像更注重确定性时序、运动保真度、可靠性以及场景亮度范围。生产线相机可能需要全局快门,并以极高的速度读取较小的感兴趣区域,而不是获取大幅面的完整图像。汽车摄像头可能需要在宽温度范围内工作,并同时清晰呈现阴影中的物体和明亮光源。当脉冲照明的时序与短曝光相互作用时,光脉冲可能被漏拍,或在图像中失真,因此一些架构专门针对发光二极管的频闪问题进行了设计。这些功能与后续的计算机视觉任务(如目标检测)是不同的环节。

科学级CMOS通常称为sCMOS,注重兼顾低读出噪声、大视场、高量子效率和快速读出。荧光显微成像需要通过大量像素收集微弱信号,同时避免某些较老架构的串行输出瓶颈,因而可从中受益。天文学还对长时间曝光、冷却、稳定的校准以及大探测面积提出了要求。科学分析必须考虑各像素增益和读出噪声分布的差异,尤其是在估计微弱点源的位置或强度时。在间接X射线成像中,闪烁体首先将X射线转换为光学光子,再由CMOS阵列检测;这与普通的直接可见光检测不同。

并非所有兼容CMOS工艺的成像器件都会输出常规的光强图像帧。事件相机以异步方式报告局部亮度变化,通常输出带有时间戳和像素地址的事件,而不是以固定帧率读取每个像素。其输出形式和噪声机制均与标准帧式传感器不同。单光子雪崩二极管阵列检测由光子触发的雪崩事件,需要配备淬灭和恢复电路。这类阵列可支持精确的光子到达时间测量,但也会带来死时间、暗计数、后脉冲以及可能出现的串扰。

深度成像还包括其他几种架构。飞行时间相机通过测量返回光子的到达时间,或测量调制照明的相位,根据光传播延迟推算距离。其他深度成像系统则使用结构光,或使用由常规传感器采集的立体图像。对于超出硅本征响应范围的红外成像,即使采用CMOS电路读出,也仍需使用不同的吸收材料或探测器结构。因此,“CMOS”这一名称描述的是一种电子技术和集成方式,并不保证器件具有特定的光谱范围、快门特性、彩色成像能力或测量原理。