像素(pixel,英文 picture element 的缩写)是数字图像或成像系统中可单独寻址的元素。在光栅图像中,像素按有序阵列排列,每个位置具有一个或多个数值,用于表示亮度、颜色、透明度或其他量。在显示硬件中,这个词也指能够产生或调制光线的可控图像单元。这两种含义相互关联,但并不相同:图像像素是数据,而显示像素是物理部件。
像素是数字摄影、电子显示、计算机图形学和图像处理的基础。它们提供了一种通用的表示方式,使相机、软件、存储格式和屏幕能够交换图像。然而,像素并没有统一的物理尺寸、形状或颜色表示方式。如何解释像素,取决于采样的几何布局、数值编码、图像元数据,以及将其渲染出来的设备或过程。
图像采样与栅格几何
数字栅格图像通常表示为宽度为 、高度为 的矩形数组。每个像素都有一个地址,通常写作 ,其中 ,。许多图像格式和图形接口将原点设在左上角,纵坐标向下递增;其他系统则采用不同的约定。因此,寻址约定是解释图像时所依据的规则,而非像素的固有属性。从数学上看,单通道图像类似于一个矩阵,而彩色图像可以用多个这样的数组表示,也可以用一个数组表示,其中每条记录包含多个分量。
理解图像像素时,最好将其视为一个采样值,而不一定是一个小方块。使用最近邻插值放大图像时所见的方块,只是呈现这些采样值的一种方式,并不意味着原始场景由方形小块构成。相机的测量通常会汇集有限传感器面积和曝光时段内的光,而计算机生成的采样值则可能是对连续场景经滤波后贡献量的估计。在这两种情况下,存储的数值都代表具有一定空间范围的测量或计算结果。
一种理想化的图像采集模型将像素值表示为
其中, 描述连续的图像物理量, 描述成像系统的综合空间响应。光学模糊、传感器感光孔径以及有意施加的滤波,都可能影响这一响应。随后,量化过程将测量结果映射为允许取用的数值。该模型区分了采样位置与影响采样值的区域;相邻采样值可能包含来自重叠区域的贡献。
虽然矩形数组占据主流,但像素的水平和垂直间距不一定相等。有些视频系统采用非正方形的像素宽高比,科学仪器也可能先按不规则或六边形布局采集样本,再将其转换为常规栅格。像素宽高比描述的是像素在预期显示时的宽度与高度之比,而不是整幅图像的总宽度与总高度之比。
像素也可以承载可见颜色以外的量。深度图像可以存储距离,热图像可以存储温度,分割图像则可以存储类别标识符。这些数组具有相同的寻址结构,却不适用相同的算术运算:两个亮度值的平均值可能有意义,而两个类别编号的平均值通常没有意义。体素,即体积元素,将这一相关概念扩展到三维采样数据,但它指的是一种不同类型的元素,而不是一个特别大的像素。
术语与历史发展
像素概念并非源自某一项发明,而是在多种早期技术实践的基础上逐渐形成的。半色调印刷通过网点图案表现连续色调,电视将动态图像分解为扫描线,传真系统则通过依次扫描各个位置来传输图像。这些技术确立了在空间上分解图像的方法,不过,模拟电视信号本身并不包含固定数量的数字水平采样点。光栅是一种扫描或排列结构;当其中的位置和数值都以离散形式表示时,它就成为数字像素阵列。
20 世纪中叶,电子图像处理在科学和航天领域迅速发展。航天器传回的图像需要借助数字计算机进行校正、增强和重建。弗雷德里克·C. 比林斯利于 1965 年在介绍喷气推进实验室图像处理工作的出版物中使用了 pixel 一词。这个词由 pix(当时已通用的 pictures,即“图片”的缩写)和 element(“元素”)组合而成。较长的表达 picture element(“图像元素”)在此之前就已出现。技术文献中也使用缩写形式 pel,尤其是在成像、印刷和编码领域。
早期计算机图形系统并不总是采用按像素寻址的显示器。矢量显示器通过控制电子束沿几何路径移动来绘制线条,因此适用于示波器、工程制图和一些早期交互系统。相比之下,光栅显示器扫描的是规则排列的显示区域。随着存储器和电子元件成本下降,利用帧缓冲区存储屏幕上每个位置对应的数值变得切实可行。帧缓冲区能够支持填充区域、任意照片和通用图形,而不必仅用一组线条来描述画面。
像素与可用存储容量之间的关系深刻影响了早期系统。一幅 的单色图像,在每个像素占一比特且数据紧密打包存储时,需要 38,400 字节。同样尺寸的图像若采用三个各为八比特的颜色通道,则需要 921,600 字节。基于调色板的图形、位平面以及受限的颜色模式降低了这些存储需求。这些限制不仅影响硬件工程,也同样影响操作系统界面和游戏美术设计:图标、字体和精灵图往往都是针对特定网格和有限的调色板设计的。
后来的发展使数字图像越来越不再依附于某一种显示设备。同一个文件可以在桌面显示器上查看、打印到纸上,也可以在手持设备的屏幕上放大显示。高像素密度显示器进一步削弱了过去常见的一种假设,即一个软件坐标对应一个物理显示像素。因此,如今“像素”的用法仍保留着多个历史层次:它可以指存储的图像采样值、帧缓冲区中的位置、硬件图像元素,或逻辑布局单位。技术说明必须明确所指的是哪一个层次。
数值、颜色与透明度
像素的数值结构通常用其通道及每个通道的精度来描述。灰度像素可能只包含一个强度值,而 RGB 像素则包含红、绿、蓝三个分量。每个通道使用八个比特时,每个分量有 256 种可能的编码,因此共有 种 RGB 组合。这个数目描述的是可用的数值组合数量,而不是某个人能够分辨或某块屏幕能够再现的颜色数量。有些组合在转换或显示后也可能变得无法区分。
位深必须与存储大小区分开来。具有三个八位通道的像素包含 24 比特的颜色信息,但为了内存对齐或容纳额外的通道,可能占用一个 32 位的存储单元。科学计算和高动态范围工作流程经常使用 16 位整数或浮点数值。浮点像素可以表示高于标称显示白电平的数值,在某些处理阶段也可以表示负值。这些数值是中间量,并不是要求屏幕发出负强度光的指令。
仅凭 RGB 数值无法唯一确定一种颜色。解释这些数值需要指定色彩空间,其中包括基色、参考白点和传递特性的定义。广泛使用的sRGB色彩空间以非线性方式对数值进行编码。因此,两个编码值的算术平均值,通常并不等于对二者平均光强进行编码所得到的值。光的累加等具有物理意义的运算,通常需要使用与光强呈线性关系的数值。其他编码方式,包括视频和照片压缩中使用的亮度—色度表示法,会根据不同的处理或传输需求来组织各分量。
阿尔法合成中的阿尔法通道通常表示用于合成的不透明度或覆盖率。在前景叠加于不透明背景这一简单情形下,使用相互兼容、与光强呈线性关系的颜色值,可得
这里, 表示前景完全不透明, 则表示只保留背景。阿尔法值不一定是对材料透明度的光学测量;在渲染图形中,它往往还表示某个形状覆盖了像素所对应区域的多大比例。
与阿尔法相关的数据有两种不同的存储约定。非预乘阿尔法将颜色与阿尔法值分开存储,而预乘阿尔法存储的是已经乘以阿尔法值的颜色。混淆这两种约定,可能导致合成后的边缘出现暗边或亮边,经过滤波处理后尤其如此。其他表示方式还包括索引颜色:像素存储的是对调色板条目的引用,而不是明确的颜色分量。因此,调色板图像可以使用紧凑的像素编码,并从单独的表中获取实际颜色。这些区别说明,如果缺少格式和颜色元数据,就无法可靠地解释一个像素数值。
照相机与图像传感器中的像素
在数字照相机中,光由图像传感器转换为电信号。两种主要的传感器技术是电荷耦合器件和互补金属氧化物半导体图像传感器。两者都使用在半导体材料中制造的感光结构,但电荷转移和读出方式有所不同。感光单元在曝光期间积累与入射光相关的信号,随后由读出电路将信号放大并数字化,生成用于构建图像的数值测量结果。
传感器上的感光单元通常也称为像素,但它并不总是直接对应一个全彩输出像素。大多数传统的单传感器彩色照相机都在感光单元上覆盖一层彩色滤光片阵列。一种常见的排列方式是拜耳排列,与布赖斯·拜耳于1976年取得的专利相关。在这种排列中,每个重复单元包含两个覆有绿色滤光片的感光单元、一个覆有红色滤光片的感光单元,以及一个覆有蓝色滤光片的感光单元。每个感光单元主要测量一个较宽的光谱分量。去马赛克算法利用相邻单元的测量结果估算缺失的分量,从而在每个输出位置生成一个RGB值。
理解传感器分辨率时,这一区别很重要。具有2400万个感光单元的传感器可以生成一幅2400万像素的RGB图像,但每个输出位置的红、绿、蓝分量并非都是在该位置独立测得的。其他设计会为不同颜色使用独立的传感器,或采用垂直堆叠的光电探测器,以及不同的滤光片排列方式。单色传感器不使用彩色滤光片阵列,因此也无须对颜色分量进行插值。照相机的图像处理流程还可能对传感器的测量结果进行裁剪、合并或重采样,从而改变感光单元数量与最终输出图像尺寸之间的关系。
像素间距是相邻感光单元中心之间的距离。在其他条件相当时,更大的集光面积可以在一次曝光中接收更多光子。光子到达数量的波动会产生散粒噪声,其标准差大致与检测到的光子数的平方根成正比。在理想化的散粒噪声受限模型下,如果检测到 个光子,信噪比便与 成正比。实际传感器还存在读出噪声、暗电流、灵敏度不均匀、饱和及其他限制。
因此,像素间距小既不能全面反映图像质量,也不一定意味着劣势。光学质量、传感器总面积、曝光、量子效率、处理方式以及最终输出尺寸都很重要。通过像素合并来整合相邻感光单元的测量结果,可以牺牲空间采样密度,换取更强的单个输出像素信号。传感器架构也会影响运动成像:滚动快门读出在不同时刻对不同行进行曝光或读出,而全局快门则可以让整个阵列在同一时间段内完成图像采集。仅凭像素总数无法确定这两种工作方式中的任何一种。
显示器的物理像素与子像素
显示像素是可寻址的发光或光调制元素。在液晶显示器中,电信号控制液晶材料,改变背光穿过液晶材料、光学层和彩色滤光片的透射情况。在有机发光二极管显示器中,发光材料直接在相应位置产生光。其他显示技术则采用无机发光二极管、投射光或电泳粒子。这些技术的物理机制各不相同,但光栅接口都将它们表示为可控制的图像位置。
一个全彩显示像素通常包含多个子像素。传统的 RGB 条纹排列将红、绿、蓝子像素并排放置。在正常观看距离下,人眼会将它们发出的光融合为一种颜色。其他排列方式可能加入白色分量、采用不同的几何布局,或采用标称像素与各色发光单元之间关系更复杂的图案。因此,两台标称像素尺寸相同的显示器,未必具有相同的子像素结构,对不同颜色图案的细节分辨能力也未必相同。
像素间距和填充率会影响显示效果。像素间距是相邻像素上对应点之间的距离;填充率表示像素标称面积中实际用于发光或透光的比例。不发光的边界可能形成可见的网格,尤其是在放大观看或使用虚拟现实头戴设备时。光学扩散、子像素几何形状、观看距离和放大倍率共同决定了这种网格有多明显。仅凭显示器的像素数量,无法描述其亮度、对比度、色域、不同视角下的表现或响应速度。
原生分辨率是固定像素面板的物理阵列尺寸。输入尺寸不同的图像时,通常需要先缩放才能显示。一对一映射可以保持采样点对齐,而非整数倍缩放则会将源图像的数值混合后分配到目标像素。较早的阴极射线管显示器采用不同的工作方式:尽管输入信号可以经过数字采样,电子束扫描的却是涂有荧光粉的表面,而不是对一个由独立布线单元构成的固定矩形阵列逐一寻址。荧光粉的排列和电子束的特性都会影响细节表现,但不应将它们直接等同于现代面板的原生像素。
显示器也具有时间特性。刷新率为 120 赫兹,意味着在相应工作条件下,显示器每秒可以更新显示内容 120 次;这并不意味着每个像素都能瞬间达到指定亮度。液晶响应、发光驱动方式、扫描顺序以及发光持续时间都会影响动态图像的呈现。因此,像素不仅可以从空间维度分析,也可以从时间维度分析。卡滞像素、坏死像素和缺陷子像素属于与特定组件相关的硬件故障,与图像文件中的像素值损坏不同。
分辨率、密度与可见细节
图像的像素尺寸指横向和纵向的采样点数量,两者相乘即为像素总数:
一幅 的图像包含 8,294,400 个像素,通常称为约 830 万像素。这里的前缀 mega 表示一百万,而不是 。像素数量可用于描述阵列大小和估算存储空间,但并不能完整衡量图像实际分辨出的细节。光学模糊、运动、噪声、插值和压缩都可能减少这些采样点所承载的信息。
像素密度将像素数量与物理尺寸联系起来。对于像素为正方形、横向和纵向像素数分别为 和 、对角线长度为 英寸的显示屏,其像素密度为:
一块对角线为 24 英寸的 显示屏,每英寸约有 92 个像素。同样的像素阵列放在对角线为 6 英寸的屏幕上,每英寸则约有 367 个像素。采样点总数并未改变,但在较小的屏幕上,每个物理像素所占的面积要小得多。观看距离又决定了每个像素所张的视角,这有助于解释为什么在不同使用场景下,相同的像素密度未必会带来相同的主观清晰度。
在打印中,每英寸像素数与每英寸点数描述的是不同的概念。图像的 PPI 表示源采样点在纸张上的排布密度,打印机的 DPI 则表示打印机构的可寻址密度或标记密度。打印机可能需要使用多个墨点,才能再现一个图像像素所对应的色调和颜色。仅修改图像的 PPI 元数据,改变的是图像标称的物理输出尺寸,而非存储的采样点数量。一幅宽 3,000 像素的图像以 300 PPI 排布时,宽度为 10 英寸;以 150 PPI 排布时,宽度则为 20 英寸。
采样定理从理论上明确了采样密度与实际分辨率之间的区别。在满足适当假设的条件下,只要采样频率高于信号最高频率的两倍,就可以从采样值重建带限信号。真实图像中的锐利边缘和精细纹理,可能超出所选采样网格能够处理的范围。如果没有充分的预滤波,这些细节就可能产生混叠,表现为虚假图案、锯齿状边界和摩尔纹等。增加像素可以提高采样上限,却无法恢复因镜头性能不足或先前处理而丢失的细节。
因此,评估图像质量时,还需要使用像素尺寸以外的指标。调制传递函数描述了不同空间频率下对比度的传递情况。噪声测量、动态范围、色彩准确度和观看条件也能提供其他信息。低分辨率图像经放大处理后,输出像素可能更多,却不一定包含相应增加的、独立采集的细节。反之,一幅经过精心采样、噪声较低的图像,可能比像素更多但采集质量较差的图像更有效地保留有用信息。
重采样、滤波与渲染
几何变换通常需要计算不在原始采样网格上的像素值。因此,缩放、旋转、透视校正和图像防抖都依赖于重采样。最近邻插值选取附近的一个原始样本,能够保留离散值,但放大后会产生块状效果。双线性插值将矩形网格上相邻的四个样本组合起来,而双三次插值及其他重建滤波器则使用更大的邻域。这些方法在锐利度、平滑度、振铃效应、计算成本以及对输入的忠实保留程度之间各有取舍。
缩小图像时尤其需要谨慎。简单地每隔一个像素保留一个,可能会使精细的交替图案变成虚假的低频结构。在降采样之前应用低通滤波器,可以抑制较小的输出网格无法表示的空间频率。放大图像则面临另一种限制:插值可以估算新增的采样值,却无法唯一地恢复输入中缺失的信息。学习式重建方法可以利用机器学习推断出看似合理的纹理,但推断出的细节未必是对原始场景的忠实记录。
许多局部图像操作使用卷积或与之密切相关的邻域计算。模糊处理用邻近数值的加权组合替换原值;导数滤波器突出局部变化;锐化则添加选定的高频分量。对于离散核 ,二维卷积可写为
输出不仅取决于卷积核,还取决于边界处理方式、通道的解释方式和数值精度。将同一公式应用于非线性颜色编码值,而非线性光值,可能会产生明显不同的结果。
在三维图形中,光栅化将投影后的图元(通常是三角形)映射到屏幕采样点。像素着色器计算用于生成最终图像的数值,但不能认为一次着色器调用就对应一个最终可见的像素。深度测试、覆盖情况、透明度、多个渲染目标以及后续处理都可能改变或丢弃计算结果。相比之下,光线追踪沿着穿过场景的采样路径计算光的传输;在求平均和重建之前,多个样本可能共同贡献于一个输出像素。
抗锯齿方法通过多种方式处理欠采样问题。超采样以更高的密度计算图像,再通过滤波将其缩小。多重采样抗锯齿将部分覆盖计算与着色计算分开,尤其是在几何边缘附近。时域方法融合不同帧的信息,通常会有意偏移采样位置,并结合运动估计。这些技术可以减少锯齿和闪烁,但错误的运动对应关系可能导致重影。因此,输出像素往往是多次空间和时间测量的结果,而非在某个几何点上进行一次瞬时计算的结果。
内存布局、文件格式与压缩
工作内存中的像素需要采用明确的布局。在交错式 RGB 布局中,每个像素的各通道值存储在一起;在平面式布局中,各分量的整个平面则分开存储。不同系统在通道顺序、整数字节序、内存对齐和行填充方面也有所差异。步幅(stride),也称行间距,是内存中相邻两行起始位置之间的距离。它可能大于可见宽度乘以每像素字节数的结果,因此,假定各行紧密排列的软件,可能会误读本来有效的图像。
对于包含 个像素、每像素存储 位且紧密排列的图像,其标称数据大小为
一幅每像素 24 位的 图像,在不计填充和元数据的情况下,需要 24,883,200 字节,约合 24.9 MB 或 23.7 MiB。若采用每像素 32 位的表示方式,则需要 33,177,600 字节。反复读写这类数组会产生大量内存数据传输,这也是图形处理器和图像处理器围绕高吞吐量与并行计算进行设计的原因之一。
文件不一定要为每个像素显式存储一条未压缩的记录。便携式网络图形通过预测滤波和无损数据压缩,使其支持的像素采样值在编码与解码过程中得到精确保留。常见的 JPEG图像编码标准处理流程则对图像块进行变换、量化变换系数,再对结果编码。这通常会改变重建后的采样值,以换取更小的文件。压缩还可能对色度进行子采样,使保留的色差采样数量少于亮度采样数量。因此,显示出来的 RGB 像素可能是由编码信息重建而成的,而这些信息的组织方式与最终的像素数组截然不同。
因此,文件大小不仅取决于图像尺寸和标称位深。具有大片均匀区域的大图像可能很容易压缩,而细密的噪声通常难以压缩。有损压缩的强度又增加了一个变量。元数据可以描述方向、颜色解释方式、物理放置位置及其他属性。以某一数组形式存储的图像,可以根据方向元数据旋转显示,而无须改写已存储采样值的顺序。同样,色彩管理也可以在保留原始文件内容的同时改变渲染值。
在某些工作流程中,精确保留像素非常重要,但这并不保证外观完全一致。不同的显示设备、颜色变换、缩放设置或合成背景,都可能使相同的存储值呈现出不同的视觉效果。反过来,像素值不同的两个文件,渲染后也可能看起来相似。因此,工程上会区分文件字节完全一致、解码后的采样值完全一致,以及感知上相似这几种情况。这些区别对档案保存、自动化测试、图像编辑和计算机视觉都很重要,因为普通观看者察觉不到的变换,仍可能改变数值分析结果。
逻辑像素、界面与专门用途
图形界面经常使用独立于显示屏物理像素的逻辑坐标系。应用程序可以用逻辑单位指定按钮的尺寸,再由操作系统将这些单位映射到屏幕的设备像素上。这样,在像素密度不同的显示屏上,界面也能具有相近的物理尺寸或视觉大小。当缩放系数为二时,一个边长为 100 个逻辑单位的正方形可以占据 个设备像素。使用非整数缩放系数时,还需要进一步决定如何进行舍入、栅格化和滤波。
在网页中,层叠样式表(CSS)定义的 px 单位并不只是硬件像素的计数单位。CSS 将其与基于视角定义的参考像素关联起来;在屏幕显示中,具体实现通常会根据显示屏的像素密度和缩放设置,将 CSS 像素映射到设备像素。CSS 还在其绝对长度单位的换算体系中规定,每英寸等于 96 像素,但这并不意味着屏幕上的每个 CSS 英寸都必须等于一个物理英寸。因此,网页浏览器可以在物理像素阵列差异很大的设备上呈现同一个宽 800 像素的布局。
字体体现了几何形状与像素之间的相互作用。字形轮廓通常用曲线描述,然后针对特定字号和显示设备进行栅格化。字体微调可以调整字形特征,使其适应像素网格,而灰度抗锯齿则用于表现像素被部分覆盖的情况。子像素文本渲染可以利用可单独寻址的颜色分量,提高视觉上的水平细节分辨能力,但它依赖于预设的子像素排列方式,并涉及对颜色敏感的处理。因此,它并不适用于某些显示布局、变换和图像合成场景。
像素值也可作为分析系统的输入和输出。在语义分割中,软件为图像中的每个位置赋予类别标签;在深度估计中,软件预测距离;在光流估计中,软件估计图像平面内的运动。多光谱卫星图像可以将每个空间位置与多个光谱测量值关联起来。其地面采样距离描述的是采样中心投影到地面后的间距,但仅凭这一指标,无法确定能够可靠分辨的最小物体。传感器响应、大气、重建过程和对比度等因素仍然会产生影响。
在视觉艺术中,像素艺术有意将网格作为设计约束。艺术家会控制单个像素的位置、有限的调色板、像素簇以及边缘图案,而不是仅仅将栅格化视为不可见的制作环节。用最近邻插值放大此类作品,可以保留其预期的结构,而平滑处理则可能改变这种结构。在科学图像中,另一项区别至关重要:伪彩色映射将数值转换为可见颜色,因此,显示出来的像素颜色是一种可视化选择,未必是被摄物体的真实颜色。解读这两类图像时,都需要关注像素代表什么,而不只是图像包含多少像素。