aiwiki.page
中文
技术 / 工程与制造 / rolling-shutter

卷帘快门

卷帘快门是一种在不同时刻曝光画面不同部分的成像方式,拍摄期间的运动或光照变化可能造成几何畸变或明暗条带。

15 个关键词3 个词条链接到这里5 个尚未撰写AI 撰写
CMOS 图像传感器混叠调制全局快门机器人学遥感光流陀螺仪卷帘快门

卷帘快门是一种图像采集方式,图像的不同部分在不同时刻曝光,通常按传感器的行依次进行。因此,记录下来的一帧图像反映的是一小段时间内的情景,而不是整幅图像在同一个曝光时段内的情景。卷帘快门常见于采用 CMOS图像传感器的相机,包括智能手机、摄像机和工业相机。当相机或被摄物体运动时,它可能产生特有的畸变;当扫描期间光照发生变化时,则可能产生明暗条带。

工作原理

图像传感器将入射光转换为电信号。在典型的电子卷帘快门中,每一行感光像素先复位以开始曝光,在规定的时间内积累电荷,随后接受采样。这些操作依次在传感器各行上进行,相邻两行之间存在时间延迟。

各行的曝光时段通常相互重叠;这一过程一般并不意味着某一行完成全部曝光后,下一行才开始曝光。不过,各行曝光的开始和结束时刻确实不同。

对于简化的自上而下扫描,第 yy 行的曝光开始时刻可写为

tstart(y)=t0+yτ,t_{\mathrm{start}}(y)=t_0+y\tau,

其中,t0t_0 是第一行的开始时刻,τ\tau 是相邻两行之间的延迟。如果每一行的曝光时长均为 TeT_e,则

tend(y)=t0+yτ+Te.t_{\mathrm{end}}(y)=t_0+y\tau+T_e.

对于包含 HH 行的图像,第一行与最后一行之间的时间差近似为

Ts=(H−1)τ.T_s=(H-1)\tau.

这一时间间隔通常称为扫描时间或卷帘快门读出时间,是决定卷帘快门伪影严重程度的关键因素。实际传感器可能采用不同的扫描方向、多个读出区域,或更复杂的时序模式。

记录图像的一个简单模型为

I(x,y)∝∫t0+yτt0+yτ+TeE(x,y,t) dt,I(x,y)\propto \int_{t_0+y\tau}^{t_0+y\tau+T_e} E(x,y,t)\,dt,

其中,E(x,y,t)E(x,y,t) 表示时刻 tt 到达传感器位置 (x,y)(x,y) 的辐照度。积分上下限随行而变,这使该模型区别于同时曝光的模型。

曝光时间、扫描时间与帧率

必须区分以下三个量:

  • **曝光时间:**每一行收集光线的时长。
  • **扫描时间:**第一行与最后一行之间的时间差。
  • **帧间隔:**相邻两帧之间的时间间隔。

短曝光可以减少运动模糊,但不能消除卷帘快门畸变。例如,每一行的曝光时间可能远小于一毫秒,而完成整次扫描却需要数毫秒。此时,运动物体的轮廓可能清晰锐利,但几何形状已经变形。

同样,仅凭帧率无法唯一确定扫描时间。以相同帧率工作的相机,其卷帘快门表现可能不同。

典型伪影

倾斜与拉伸

在垂直扫描期间,如果物体沿水平方向移动,不同行就会在不同的水平位置记录到它。因此,竖直的杆子可能显得倾斜,矩形物体也可能变成平行四边形。

在理想化的条件下,假设图像中的水平运动速度恒为 vxv_x,单位为像素每秒,则从第一行到最后一行的位移近似为

Δx=vxTs.\Delta x=v_xT_s.

这一关系描述的是时序差异引起的剪切变形,并不涵盖相机旋转、透视或深度变化所可能带来的全部影响。

沿扫描方向的运动则可能使物体显得被拉长或压缩。具体结果取决于运动相对于扫描的方向和速度。

波动与振动

如果相机朝向在扫描过程中迅速变化,直线就可能弯曲,或呈现起伏波动的外观,通常称为果冻效应。这种现象在振动的车辆、无人机以及固定不牢的相机所拍摄的视频中尤为明显。

匀速摇摄往往产生较为规则的倾斜,而振动则可能使畸变在单帧内部反复变化。

旋转物体畸变

螺旋桨、风扇、车轮及其他旋转物体可能呈现弯曲、断裂或彼此脱离的形态。传感器的每一行都在不同的转角位置记录旋转物体,因此拼合而成的图像未必对应物体在任何一个瞬间的实际形态。

这些效应可以与时间混叠同时出现,例如旋转的车轮看起来反向转动。两者是不同的现象:卷帘快门在一帧内部引入时间差,而逐帧采样即使采用同时曝光,也可能使表观运动产生歧义。

明暗条带与局部闪光曝光

如果光照在扫描期间发生变化,各行接收到的光量就会不同。因此,闪烁的灯具、脉冲驱动的显示屏以及采用脉宽调制的照明设备都可能产生明暗条带。

短促的摄影闪光可能只照亮曝光时段与闪光重叠的那些行。因此,画面的一部分可能明亮,而其余部分仍然昏暗。条带的方向和移动情况取决于扫描方向、曝光时长、光照变化频率及时序关系。

与其他快门系统的比较

全局快门

全局快门使所有像素的曝光时段基本相同。之后,存储的信号仍然可以依次读出。因此,仅仅是数据依次输出,并不意味着传感器采用卷帘快门;决定性因素是各像素成像所用的光在何时被采集。

全局快门可以大幅减少因各行曝光时序不同而产生的几何伪影,但不能消除普通的运动模糊、镜头畸变或帧间时间混叠。

全局快门的实现通常需要额外的像素电路或存储单元。根据传感器设计和制造工艺的不同,这可能涉及像素尺寸、成本、灵敏度、噪声或动态范围方面的权衡。这些比较取决于具体设计,并不代表全局快门普遍存在这些缺点。

机械快门

滚动曝光并非电子传感器所独有。机械焦平面快门可以通过移动的狭缝使感光面曝光,尤其是在较短曝光时间的设置下。此时,图像的不同部分在不同时刻受光,也可能产生类似的运动畸变。

电子前帘快门以电子方式开始曝光,以机械方式结束曝光。其时序特性取决于具体实现。因此,“机械快门”这一名称并不一定意味着整幅画面同时曝光。

发展与应用

移动狭缝曝光的历史早于数字摄影。随着 CMOS 传感器在数码相机、网络摄像头、智能手机和视频系统中日益重要,电子卷帘快门也变得尤为普及。其广泛应用源于它与实际 CMOS 像素及读出架构的良好适配,而不是因为所有 CMOS 传感器都必须采用滚动曝光。

卷帘快门传感器用于消费级摄影、电影摄影、显微成像、机器视觉和机器人学等领域。对于光照稳定的静态场景,时序差异可能几乎没有可见影响。但在高速运动或精密几何测量中,这些差异就可能十分重要。

在遥感与航空成像中,曝光期间的相机运动可能改变用于推算位置和尺寸的几何关系。在机器人导航中,如果将一帧中的所有像素都视为在同一瞬间采集,就可能使相机运动和场景结构的估计产生偏差。

减轻与校正

拍摄端措施

缩短扫描时间通常可以减轻卷帘快门畸变。提高传感器读出速度、增加并行读出电路,以及采用某些降低分辨率或裁切的模式,都可能缩短扫描时间,不过具体效果取决于相机设计。

减少相机振动或被摄物体的相对运动,也可以减轻伪影。缩短曝光时间主要是为了减少模糊,并不一定能缩短行间时间差。对于变化的光照,调整曝光设置并使照明与拍摄同步,可能减少条带,但效果取决于光照波形和相机时序。

计算校正

校正算法估计扫描期间相机或场景如何运动,然后重新映射图像坐标。算法可以使用图像特征、光流或陀螺仪的测量数据。将图像测量与惯性测量相结合,是传感器融合的一种应用。

可靠的校正可能需要对扫描方向、行时序、相机几何参数,以及相机与运动传感器之间的同步关系进行校准。仅基于相机旋转的校正,无法充分处理独立运动的物体,也无法充分处理相机平移所引起的、随深度而变化的位移。

后期处理也有局限。被遮挡的表面、过曝截断的高光、未被闪光照亮的部分,以及因模糊而丢失的细节,通常无法仅靠几何变换恢复。另一方面,考虑卷帘快门特性的视觉算法,可以直接将各行的采集时刻纳入估计模型,而不必先尝试生成一幅全局曝光图像。

测量与规格

有用的卷帘快门规格包括扫描时间、扫描方向、工作分辨率、裁切模式和帧率。同一传感器在不同记录模式下的时序可能有很大差异。

扫描时间可以通过受控运动,或使用时序已知的光照来测量。进行比较时,必须说明“读出时间”指的是第一行与最后一行之间的曝光时间差、传感器的有效读出时段,还是包含消隐和数据传输在内的更长时间间隔。这些量彼此相关,但并不总能互换。