Zstandard 通常简称为 Zstd,是一种通用的无损数据压缩算法及压缩数据格式。它结合基于字典的匹配与熵编码来减小数据体积,同时保证能够精确还原原始输入。其主要设计目标是高吞吐量、可调的压缩效率,以及同时适用于大型数据流和独立压缩的小型记录。这个名称也指其参考实现软件库及配套的 zstd 命令行工具。
开发与标准化
Zstandard 由 Yann Collet 创建,并在 Facebook(现隶属于 Meta)开发。2016 年发布的 1.0 版确立了后续版本沿用的稳定格式。参考实现是开源软件,使用者可选择遵循 BSD 风格许可证或 GNU 通用公共许可证第 2 版。
压缩格式由 RFC 8878 描述,该文档于 2021 年通过互联网工程任务组文档系列发布。该规范定义了兼容的解码器应如何解释 Zstandard 的帧、块、字典和熵编码数据。
压缩格式与参考编码器是两个不同的概念。不同编码器,或同一编码器的不同版本,可以为相同输入生成不同的压缩表示,同时仍与同一个解码器兼容。因此,对匹配选择、压缩启发式策略和执行速度的改进不一定需要改变格式。
压缩原理
Zstandard 结合了两种主要技术:将重复内容替换为对先前数据的引用,以及用较短的编码表示高频符号。
基于字典的匹配
Zstandard 使用 LZ77算法家族的压缩技术。编码器在此前可用的输入中搜索与当前输入匹配的序列。对于重复序列,它不会再次写入整个序列,而是记录一个引用,指明向后回溯的距离和匹配长度。
编码表示将数据分为:
- 字面量: 直接输出的字节,而非通过匹配重建的字节。
- 序列: 描述一段字面量及其后一个匹配的指令,以字面量长度、匹配长度和偏移量表示。
滑动历史窗口限制了匹配引用能够向后回溯的最大距离。较大的窗口可以发现更多重复内容,但也会增加解码所需的内存。
如何寻找有效匹配由编码器决定。较快的压缩设置会缩小搜索范围;计算开销较大的设置则会考察更多候选匹配,或以更复杂的策略选择输入的表示方式。解码器只需执行最终生成的指令,而不必重复这些搜索。
熵编码
完成匹配后,Zstandard 通过熵编码进一步压缩其表示:
- 霍夫曼编码用于压缩字面量。
- 有限状态熵编码(Finite State Entropy)用于序列信息,它是非对称数字系统的一种实现。
这些方法根据符号频率分配紧凑的表示。霍夫曼编码使用变长比特编码;有限状态熵编码则通过有限编码状态之间的转换来表示符号序列。
并非所有数据都能从每个编码阶段中受益。Zstandard 可以不经熵压缩而存储字面量,也可以在更合适的情况下,将块表示为原始数据或单字节的连续重复。
帧与块
Zstandard 数据流以帧为单位组织,每个帧包含一个帧头、一个或多个块,以及可选的内容校验和。帧提供了解释压缩数据所需的外层结构。
帧头可以描述:
- 对历史窗口的要求。
- 未压缩内容的大小(如果提供)。
- 字典标识符(如果适用)。
- 帧末尾是否附有内容校验和。
并非每个帧都必须给出未压缩大小,因此即使事先不知道输入的总长度,也能进行编码。
在帧内,块可以采用原始数据、游程编码或压缩形式。一个块还原后的最大大小同时受格式规定的 128 KiB 块大小上限和适用窗口大小的限制。块边界通常不构成独立的解码起点:后续块可能依赖同一帧内先前的历史数据和编码表。
可选的内容校验和取自对未压缩内容计算所得的 xxHash64 结果的低 32 位。它有助于检测意外损坏,但不是密码散列函数,也不能验证数据的真实性。
多个帧可以串接在一起。该格式还定义了可跳过帧,允许应用程序插入辅助数据,兼容的解码器可以跳过这些数据。这两项功能本身都不提供通用的随机访问索引。
压缩设置与性能
Zstandard 提供了一系列压缩设置,而非固定采用某一种速度与体积之间的折中方案。参考实现提供常规的 1 至 22 级正数压缩级别,并通过负数级别提供额外的快速模式。较高的正数级别通常会投入更多处理时间,且往往使用更多内存,以获得更小的输出。这些级别是编码器预设,而不是不同的文件格式。
Zstandard 的一个主要设计目标,是在广泛的压缩级别范围内保持快速解压。增加压缩时的计算投入,可能显著改变编码时间,却不会使解码时间相应增加。不过,解压速度并非恒定不变:它取决于匹配结构、窗口大小、字典使用情况、实现和硬件。
性能比较需要明确工作负载。相关变量包括:
- 输入类型和重复程度。
- 记录或文件大小。
- 压缩级别和窗口设置。
- 是否有可用字典。
- 中央处理器架构和内存访问特性。
- 单线程或多线程执行方式。
- 测量是否包含存储和网络传输。
一种实用的压缩比度量方式是:
按照这一定义,数值越大,表示体积缩减越多。有些工具则将压缩后大小表示为原始大小的百分比,因此进行数值比较时必须说明采用哪种定义。
已经压缩、已经加密或接近随机的输入通常没有多少冗余。这类输入的输出可能略大于原始数据,因为帧结构及其他开销仍会占用空间。
字典与小型记录
Zstandard 支持外部提供的字典。在压缩大量具有相似结构的小型记录时,例如消息、日志或序列化对象,字典尤其有用。没有字典时,每条独立记录开始处理时,几乎没有可供寻找匹配的历史数据。
字典在记录解码前提供可复用的内容。符合 Zstandard 字典格式的字典还可以提供熵编码表和初始重复偏移量信息。字典训练会从一组具有代表性的样本中构建字典;随后,在压缩和解压相似数据时重复使用该字典。
这里的“训练”不同于训练机器学习模型。它是一种专用于压缩的过程,用于选择可复用的模式和编码信息。
字典的效果取决于后续数据与训练样本的相似程度。适合某种消息模式或语言的字典,可能对无关记录几乎没有帮助。
使用字典也会引入运行时依赖。解码器需要匹配的字典,而字典通常单独分发,并不嵌入每个帧中。字典标识符有助于应用程序选择字典,但并不能从密码学上保证字典的身份或正确性。
流式处理、并行处理与访问
参考库提供了支持一次性操作和流式操作的应用程序编程接口。一次性压缩将输入缓冲区作为一个整体处理;流式操作则以增量方式读取和输出数据。流式处理不要求整个输入和输出都驻留在内存中,不过解码器仍需足够的空间来保存历史数据和工作状态。
参考编码器还支持多线程压缩。它利用并行计算同时处理工作负载的不同部分,有望提高吞吐量,但代价是额外的内存和协调开销。
多线程编码并不意味着生成的帧可以从任意位置开始并行解码。常规解码仍需遵循数据流中记录的依赖关系。
需要随机访问的应用程序通常会将数据划分为独立压缩的帧,并维护外部索引或使用支持定位访问的容器。这样便可只解码选定区域,而无需处理之前的全部内容,但也可能降低压缩效率,因为跨区域边界能够共享的重复内容减少了。
应用与比较
Zstandard 用于存储系统、数据库、软件包分发、备份和网络服务。其编码开销可以调整,因此系统既可以为频繁写入的数据优先追求低延迟,也可以为压缩次数少、读取次数多的数据追求更高的体积缩减幅度。
常见应用包括:
Zstandard 经常被拿来与 gzip 所采用的压缩方法 DEFLATE压缩格式以及 LZ4 比较。与传统 gzip 实现相比,它通常提供更广泛的速度与压缩比选择。LZ4 强调极低的压缩和解压开销,而 Zstandard 通常以更高的计算成本换取更大的体积缩减。这些只是总体倾向,并非普遍适用的排名:实现、设置、数据和硬件都可能改变比较结果。
.zst 扩展名通常表示经过 Zstandard 压缩的文件。Zstandard 本身并非多文件归档格式:它本身不负责组织目录树、文件名、权限及其他文件系统元数据。因此,它经常与归档格式配合使用,例如 .tar.zst。
局限性与安全注意事项
压缩会带来无法仅凭压缩后大小推断的资源需求。一小段输入流可能描述体积大得多的输出,也可能要求很大的解码窗口。因此,处理不可信压缩数据的系统需要限制输出大小、窗口大小和资源使用量,以降低遭受拒绝服务攻击的风险。
格式兼容也不保证采用特定配置的解码器会接受每一个有效帧。应用程序可以有意拒绝内存需求超过其配置限制的帧。
Zstandard 既不提供加密,也不提供身份认证。校验和有效并不能证明帧由谁生成,而外部提供的字典本身也可能含有构建字典所用材料中的敏感模式或片段。
与其他压缩系统一样,压缩输出的长度可能泄露有关冗余性的信息。当秘密数据与攻击者可控的输入一起压缩时,能够测量输出大小的观察者可能借此实施侧信道攻击。这种风险取决于外围协议和数据流,而不只是 Zstandard 本身。