JPEG 是一种用于压缩连续色调静态图像的标准,尤其适用于照片和扫描图像。其名称源自负责制定该标准的联合图像专家组(Joint Photographic Experts Group)。在日常使用中,“JPEG”通常指由 ITU-T T.81 建议书和 ISO/IEC 10918-1 标准规定、得到广泛实现的有损分块变换编码过程,以及常见的扩展名为 .jpg 或 .jpeg 的图像文件。更准确地说,该标准定义了多种编码过程,其中包括一种独立的无损编码过程;而常用的文件格式约定则为编码图像的交换规定了额外规则。
JPEG 能够大幅减少照片的数据量,同时保持可接受的视觉效果,因此成为数码摄影、万维网和电子图像传播的核心技术。其最常见的编码过程结合了颜色分量子采样、8×8 离散余弦变换、量化和熵编码。这些操作既利用了统计冗余,也利用了不同图像细节在视觉重要性上的差异。
要理解 JPEG,就必须区分编码标准、文件格式、编码器设置,以及同一委员会后来制定的其他标准。最初的 JPEG 标准并未规定统一的“质量”标度,也不要求使用某一种特定的色彩空间,更不保证所有符合标准的实现都能重建出完全相同的像素。它之所以能长期保持互操作性,依靠的是相对稳定的压缩数据语法,以及由编码器、解码器、相机、浏览器和图像编辑应用程序构成的庞大生态系统。
起源、标准化与适用范围
JPEG 起源于 20 世纪 80 年代为连续色调图像压缩制定国际标准的工作。联合图像专家组于 1986 年成立,由当时隶属于 ISO 和 CCITT 的国际标准化组织协作组建;CCITT 是国际电信联盟电信标准化部门的前身。这项工作面向照片以及其他色调平滑变化的图像,而非主要针对文本文档或简单的线条图。
在开发过程中,研究人员比较了多种相互竞争的编码方案,最终选定基于分块的变换方法,作为后来广泛使用的有损压缩过程的基础。纳西尔·艾哈迈德、T. 纳塔拉詹和 K. R. 拉奥在 1974 年的一篇里程碑式论文中提出了离散余弦变换,为将图像的空间信息表示为频率系数提供了一种高效方法。自然图像的大部分信号能量往往集中在相对较低的空间频率上,因此这种表示方式很适合有选择地降低精度。委员会将其与量化及统计编码相结合,而不是仅靠变换本身实现压缩。
ITU-T T.81 建议书于 1992 年获批,相应的 ISO/IEC 10918-1 标准于 1994 年发布。其标题《连续色调静态图像的数字压缩与编码:要求和指南》表明,它的涵盖范围比人们熟悉的基线 JPEG 文件更广。该规范包括顺序式和渐进式变换编码、霍夫曼和算术两种熵编码、预测式无损过程,以及分层模式。10918 系列的后续部分涉及符合性测试、扩展和交换约定等事项。
一个关键区别是:标准规定的全部功能并不等同于其基线过程。基线顺序式 DCT 编码采用 8 位样本和霍夫曼编码。由于其要求在当时的软件和硬件能力范围内易于实现,它成为图像交换中普遍兼容的基础。某个解码器如果只笼统地声称支持“JPEG”,可能仅实现了这一广泛使用的子集,而并不支持 T.81 中的所有过程。
此后,该委员会的名称也成为其他图像编码标准的统称,但这些标准并非只是为原始 JPEG 比特流提供了新的参数设置。JPEG 2000、JPEG-LS 和 JPEG XL 具有不同的编码结构和兼容性特征。同样,文件扩展名只是标识一种约定,并不能证明文件采用了某种特定的编码过程。因此,在更广泛的数据压缩发展史中,原始 JPEG 标准的影响既体现在一套具体的技术设计上,也体现在它确立了一个格外持久的互操作性基础。
图像分量、颜色转换与子采样
JPEG 处理的是以样本数组表示的图像分量。这些分量可以表示灰度、红绿蓝数值、类亮度信号与色差信号,也可以采用其他组织方式。核心编码语法本身并不为每个分量规定统一的颜色含义;具体如何解释,取决于所采用的数据交换约定及元数据。因此,说 JPEG“使用 YCbCr”描述的是常见做法,而不是编码标准的无条件要求。
大多数照片类 JPEG 文件都会将 RGB 数据转换为 YCbCr。其中, 是根据非线性 RGB 分量计算出的亮度信号, 和 则分别表示蓝色色差和红色色差信息。对于 8 位输入,一种常用的全范围转换近似为
这些公式属于常见的颜色编码约定,并不是 JPEG 压缩的数学定义。即使压缩系数被正确解码,不同的颜色解释方式或数值范围假设仍可能产生肉眼可见的差异。
将亮度与色度分离后,就可以进行色度子采样,降低色差分量的空间分辨率。人眼通常更容易分辨细微的亮度变化,而非细微的色彩变化,在一般照片观看条件下尤其如此。在典型的 4:2:0 采样方式中,每个色度分量的宽度和高度均为亮度分量的一半,因此,每四个亮度样本在每个色度平面上对应一个样本。4:2:2 采样方式将色度的水平分辨率减半,但不改变其垂直分辨率;4:4:4 则使各分量保持相同的分辨率。子采样不同于变换量化,在变换开始之前就可能造成不可逆的信息损失。
JPEG 使用水平和垂直采样因子来描述这些关系。在三分量交错的 4:2:0 扫描中,一个常见的最小编码单元包含四个 8×8 亮度块,以及来自两个色度分量的各一个块。因此,按亮度分辨率计算,它覆盖一个 16×16 的区域。采用 4:4:4 采样时,交错扫描中的最小编码单元通常由每个分量的各一个块组成,覆盖一个 8×8 的区域。这些分组方式决定了扫描的组织结构,并影响重启间隔和块域无损编辑。
子采样时需要滤波以避免混叠,而解码时则需要对色度进行上采样,以重建全分辨率的显示图像。所用滤波器和对样本位置的假设会影响清晰度及彩色边缘的表现。因此,即使变换量化程度较轻,细小的彩色文字、图示和高饱和度色彩边界也可能出现画质劣化。灰度图像完全不涉及色度编码,而四分量印刷工作流程可能采用 CMYK 或 YCCK 约定,解释这些约定时需要格外谨慎。颜色转换、采样和显示管理是彼此独立的阶段,每个阶段都可能改变最终的视觉效果。
分块变换与量化
常见的 JPEG 有损压缩流程会将每个分量划分为 8×8 的块。对于基线模式的 8 位样本,先将数值减去 128,使其标称范围变为 至 。随后,编码器将每个块的空间域样本变换为 64 个频率系数。这种分块结构使计算量和内存需求保持在可控范围内,但也形成了与 JPEG 特有的块效应伪影相对应的空间网格。
对于经过电平平移的块 ,二维变换可写为
其中,,当 时 ,而 的取值范围为 0 至 7。系数 称为直流(DC)系数,除变换所引入的缩放因子外,它表示该块的平均电平。其余 63 个交流(AC)系数描述水平和垂直方向上不同变化频率的图案。变换只是重新分配信息;在精确算术下,它是可逆的,本身不会丢弃图像内容。
信息损失主要发生在量化环节。将每个系数除以量化表中对应的正数项,再舍入为整数:
量化表中的数值越大,量化精度就越低。编码器通常对低频系数采用较小的量化步长,对高频系数采用较大的量化步长,这既考虑了典型图像的统计特性,也考虑了视觉敏感度。亮度分量和色度分量通常使用不同的量化表。标准提供了示例量化表,但并不要求普通 JPEG 文件统一使用某一对量化表。
量化为压缩创造了条件:许多数值较小的系数会变为零,而其余整数所需的位数也比原始高精度数值更少。明暗平滑变化的块可能主要由直流值和少数低频项表示。在相近的量化设置下,纹理丰富或噪声较多的块通常会保留更多非零系数。因此,即使两幅图像的尺寸完全相同,编码器的“质量”设置也相同,文件大小仍可能相差很大。
解码时,将每个量化后的系数乘以量化表中的对应项,再通过逆变换重建近似的样本值。之后,经过电平平移、舍入和范围限制,得到输出分量值。原始数值在各量化区间内的具体位置通常无法恢复。由于采用有限精度算术,不同的合规逆变换实现也可能产生细微差异。在逐像素精确比较时,这一区别尤为重要:有效的 JPEG 比特流并不一定意味着所有实现都必须为其生成唯一指定的整数输出。标准对重建精度作出了约束,但并未要求所有解码器采用相同的内部算术方式。
系数排序与熵编码
量化之后,JPEG 对系数值进行编码,不再有意引入额外的图像信息损失。这一阶段利用的是统计结构,而非视觉近似:以紧凑的形式表示连续出现的零、绝对值较小的数值,以及相邻块之间的相关性。因此,有必要区分有损的量化阶段与随后对量化结果进行的无损数据压缩。
在顺序 DCT 编码中,直流系数(DC)与交流系数(AC)分开处理。由于相邻块的平均值往往接近,编码器不会每次都对直流系数的绝对值进行编码,而是编码当前直流系数与该分量对应的预测值之间的差值。幅值类别表示该差值需要多少个附加位来表示。经过熵编码的类别与其后的数值位共同确定这个带符号差值。预测状态会在规定的边界处重置,包括遇到重启标记时。
63 个交流系数按之字形顺序遍历,大致从低空间频率移向高空间频率。这不会改变系数值,但通常能使连续的零系数集中在序列末尾附近。基线霍夫曼编码将前导零的个数与下一个非零系数的幅值类别组合起来。这个“游程/幅值类别”符号的两个部分各占 4 位。特殊符号分别表示块中非零系数的结束和连续 16 个零,因此,更长的连续零序列可以用重复的游程符号表示。
霍夫曼表为出现频率较高的符号分配较短的码字。编码器可以使用常见的通用表,也可以根据图像中符号的实际出现频率构建专用表。针对具体图像进行优化,可以在不改变量化方式或重建图像内容的情况下缩小文件,但这需要额外收集统计数据,而且对于小图像而言,可能会增加开销。为便于数据交换,压缩码流会在需要时携带表定义,因此解码器无需推断编码器所采用的统计方案。
最初的 JPEG 标准还规定了算术编码。这种编码通过基于概率逐步细分区间来表示一个序列,而不是为每个符号分别分配霍夫曼码字。历史上的专利顾虑和有限的软件支持,使其应用范围小得多。算术编码与渐进式呈现是两个不同的概念:渐进式 JPEG 可以使用霍夫曼编码,而使用算术编码本身并不意味着采用渐进式传输。
JPEG 的字节语法也确保熵编码数据与结构标记能够被区分开来。十六进制值为 FF 的数据字节后面会填充一个零字节,以免被误认为标记。可选的重启标记将熵编码数据划分为若干段,并重置相关编码状态。这些标记能够限制某些形式的错误传播,也有助于分段解码,但它们并不是纠错码,无法重建丢失的信息。
顺序、渐进、无损和分层编码过程
JPEG 的各种编码过程在图像信息的表示和传输方式上有所不同。最常见的是基线顺序 DCT 编码:采用 8 位采样精度和霍夫曼熵编码,在顺序扫描中传输各个块的量化系数。一次扫描可以交错传输多个分量,也可以通过不同的扫描分别传输各个分量。因此,“顺序”并不一定意味着整个文件恰好只包含一次扫描。
渐进 DCT 编码将系数分配到多次扫描中,使尚未接收完整的文件也能在全部细节到达之前呈现近似图像。频谱选择在不同扫描中传输选定的频段,例如先传输直流信息,再传输较高频率的交流系数。逐次逼近则先传输系数的高有效位,再在后续扫描中逐步细化。这两种技术可以在标准规定的范围内结合使用。渐进显示不同于在主图像之外另行存储缩略图的方式,它是根据主图像编码表示中陆续到达的各部分重建而成的。
对于相同的最终量化系数值,除实现层面的数值差异外,渐进表示和顺序表示可以重建出相同的图像。因此,渐进编码本身并不会提高最终图像的保真度。它可以改善用户感受到的加载体验,有时也能提高编码效率,但具体效果取决于扫描设计和图像内容。解码器通常需要保留系数信息,以便后续细化,因此其内存和处理需求与简单的流式基线实现有所不同。中间阶段显示的图像还取决于应用程序选择以何种方式、在何时更新显示。
原始标准中的无损编码过程采用预测,而非 DCT 量化。它根据已经解码的相邻样本预测当前样本,并对预测误差进行熵编码。可用的预测值包括左侧样本、上方样本、左上方样本,以及这些值的组合。当点变换设为零时,这一过程能够精确保留输入样本值。非零点变换会在编码前丢弃样本的低位,因此会改变可恢复的信息。原始的预测式无损编码过程支持 2 至 16 位的采样精度,但普通的照片 JPEG 软件并未广泛支持这一过程。
分层编码以多个分辨率表示图像,利用低分辨率信息辅助高分辨率图像的重建。它属于原始标准的一部分,但并未成为面向普通消费者的 .jpg 文件交换中的常见功能。扩展 DCT 编码过程同样支持超出基线的功能,包括 12 位采样精度。
这些区别说明,仅声称“支持 JPEG”并不能完整描述其功能。基线、渐进、12 位、算术编码以及原始无损码流,可能分别需要不同的解码器支持。JPEG-LS 尤其容易与原始无损模式混淆:它是一项独立标准,发布于 ISO/IEC 14495 系列,采用不同的预测编码设计,并具有自己的比特流语法。
文件组织、交换约定与元数据
JPEG 编码标准定义了一种结构化数据流,但广泛交换使用的文件还依赖一些约定,用于规定颜色的解释方式、元数据和封装方式。其中尤为重要的两种约定是 JPEG 文件交换格式(JFIF)和可交换图像文件格式(Exif)。一个文件可以同时包含经 JPEG 压缩的图像数据和应用程序专用段,因此,“JPEG 文件格式”往往指的是一套彼此兼容的约定,而非 T.81 中某个完全自足的定义。
典型的数据流以图像开始标记起始,以图像结束标记收尾。两者之间的标记用于引入量化表、霍夫曼表、帧信息、扫描头以及可选的应用数据。帧开始段指明编码过程、图像尺寸、分量标识符、采样因子以及量化表的分配关系。扫描开始段指明后续熵编码数据所使用的分量和编码参数。渐进式图像会随着系数表示逐步细化,重复出现扫描头和编码后的扫描数据。
大多数标记段都带有一个两字节的长度字段;该长度包含这两个字节,但不包含标记本身。因此,这类段的最大有效载荷为 65,533 字节。较大的元数据对象必须按照相关约定拆分到多个段中。并非所有标记都有长度字段:图像开始标记、图像结束标记和重启标记等就属于例外。帧尺寸使用 16 位字段,其规定的上限与应用程序出于安全或内存管理考虑而自行设定的较小上限不同。
按照 JFIF 约定,标识记录通常放在 APP0 段中,并为灰度图像和 YCbCr 图像规定通用的解释方式。Exif 通常使用 APP1 段,并通过 TIFF 风格的目录存储结构化元数据。在数码照相机或智能手机生成的文件中,这些元数据可能包括曝光时间、光圈、焦距、拍摄时间、方向,以及在有记录时的位置坐标。方向信息尤其重要:图像所存储的像素排列可能与预期的显示方向不同,忽略方向字段的应用程序可能会将图像显示为旋转或镜像后的状态。
其他应用段用于支持更多信息。ICC 色彩配置文件通常存放在 APP2 段中,并可能拆分为多条记录。Adobe APP14 信息有助于确定某些 RGB、CMYK 和 YCCK 数据的解释方式。XMP 元数据通常存放在 APP1 段中,采用另一套标识约定。这些记录各有用途,不能相互替代。
编辑或删除元数据,无须重新压缩图像系数。不过,如果丢失了关键的色彩配置文件或方向指令,删除元数据仍可能改变图像的外观。元数据还可能泄露与数据隐私有关的信息,例如拍摄地点。最初那些广泛使用的 JPEG 交换约定并未提供标准的 Alpha 通道;要实现透明效果,通常需要使用其他图像格式或应用程序专用的方案。
图像质量、伪影与编辑特性
JPEG 的压缩比并不是这一格式的固定属性,而是取决于图像尺寸、内容、分量采样方式、量化表、编码模式、熵编码表以及元数据开销。平滑的摄影棚背景比枝叶、胶片颗粒或传感器噪声更容易压缩,因为不规则的精细细节会产生更多不可忽略的变换系数。对于摄影图像,约 10:1 的压缩比往往仍能保留良好的视觉质量,但没有任何压缩比能保证在不同图像或观看条件下获得相同的质量。
软件提供的“质量”值是编码器的控制参数,并不是每个 JPEG 文件中都存储的标准化数值。不同程序会将 75 或 90 这样的数值映射到不同的量化表、采样方式和优化策略。即便在同一种实现中,质量设置也未必能反映所有损失来源。设为 100 通常并不意味着数学意义上的无损编码:颜色转换、色度子采样、系数舍入以及变换的具体实现仍可能改变样本值。因此,仅凭相同的质量数值来比较不同编码器生成的文件大小并不可靠。
典型的伪影源自处理流程的不同环节。当相邻的 8×8 块重建后在边界处出现明显的不连续时,就会产生方块效应。振铃会在急剧变化的区域附近形成振荡纹样,这是因为经过截断或粗量化的频率表示无法精确再现边缘。随着高频系数被舍弃,精细纹理可能变得平滑或斑驳。色度子采样可能使彩色边缘模糊或偏移,即使亮度部分仍然清晰。文字和线条图尤其容易暴露这些问题,因为它们的高对比度边界和平坦区域会让这些失真格外显眼。
反复解压缩和重新压缩可能引入代际损失。重新编码以已经过近似重建的图像为基础,进一步量化可能丢弃更多信息。损伤程度取决于块对齐方式、量化表、颜色转换和采样方式是否保持一致。重新压缩并不一定在每一代都造成同等程度的劣化;某些组合比其他组合更容易趋于稳定。若裁剪或旋转使分块网格发生偏移,后续重新压缩带来的变化可能尤其显著。
某些操作则可以直接对量化后的 DCT 系数进行。在满足适当对齐条件时,90 度旋转、镜像翻转和裁剪可以避免再次量化。这类“JPEG 无损变换”会保留与该操作有关的已编码图像信息,但边缘处不完整的块和最小编码单元的边界,使得精确保留的范围变得复杂。工具可能会裁去边缘、限制变换范围,或以不同方式处理边界。此外,系数域中的无损也不一定意味着所有解码器输出的像素都逐比特完全相同。
峰值信噪比等客观指标用于量化重建误差,而结构相似性则试图模拟感知结构的某些方面。两者都无法对每一幅图像完整预测人类的判断。观看距离、显示分辨率、图像内容、色彩保真度和预期用途,都会影响哪些失真最为重要。
实现、应用与相关标准
JPEG 在实践中的成功,既有赖于其数学设计,也离不开具体实现。独立 JPEG 小组的软件于 1991 年首次发布,提供了一套被广泛复用的实现,并推动编码器和解码器形成一致的行为。后来的 libjpeg-turbo 等项目利用处理器专用的向量指令,加速了与 JPEG 兼容的处理操作。经过优化的变换、颜色转换和熵编码处理,使 JPEG 在个人计算机、服务器和移动设备上的处理成本很低。专用硬件也使其能够切实应用于相机和其他资源受限的系统。
解码器的工作不只是执行逆变换。它还必须解析变长结构、验证尺寸和表、管理各分量的采样、解码经过熵编码的符号、重建样本、解读相关元数据,以及转换输出以供显示。对于存在缺陷的实现,格式错误的输入可能引发缓冲区溢出、整数溢出错误或过量的资源消耗。即使压缩文件的字节数不大,它所描述的图像在解码后也可能需要占用大量内存。因此,JPEG 解码既是一项多媒体功能,也是一项涉及安全的解析操作。
JPEG 尤其适合允许适度近似、又重视广泛兼容性的照片。它用于网页浏览器、照片档案、消息系统、出版工作流程以及相机输出。在互联网协议中,媒体类型 image/jpeg 用于标识 JPEG。广泛的支持使其成为一种经久不衰的内容交付格式,不过,常规的有损处理无法保留原始传感器采集数据或精确的科学测量结果。需要保留这些特性的应用会采用其他存储表示形式,或专门的无损编码方式。
相关格式针对这些局限或不同的侧重点提供了解决方案。便携式网络图形采用无损编码并支持透明度,适用于界面图形、示意图以及需要精确保留像素的场景。JPEG 2000 于 2000 年首次完成标准化,采用基于小波的编码,支持分辨率可伸缩性、有损重建和无损重建等特性。JPEG-LS 则着眼于连续色调图像的高效无损和近无损编码。这些格式都不能仅靠基线 JPEG 解码器来解码。
WebP 和 AVIF 则提供了照片压缩、无损模式、透明度和动画等功能的其他组合。它们在文件大小上的优势取决于内容、编码器投入的计算量和目标质量,并不存在统一的节省百分比。JPEG XL 将现代图像编码功能与对受支持的传统 JPEG 码流进行可逆转码的能力相结合,因而可以精确还原原始 JPEG 表示。这种能力不同于先解码图像,再生成一幅视觉上相似的新 JPEG 图像。
有些扩展保留常规 JPEG 图像作为兼容层,同时添加可供功能更强的软件使用的信息。例如,增益图方法将基础图像与用于高动态范围渲染的辅助数据关联起来。只能识别基础 JPEG 的应用仍可显示普通图像,而兼容的实现则会利用额外的表示信息。此时,图像的呈现效果不仅取决于基线 JPEG 解码,还取决于扩展的元数据、渲染规则和显示设备的能力。