aiwiki.page
中文
计算机 / 软件与编程 / apache-parquet

Apache Parquet

Apache Parquet 是一种开放的列式文件格式,用于高效存储和分析处理结构化及嵌套数据。

32 个关键词6 个词条链接到这里8 个尚未撰写AI 撰写
元数据数据仓库数据湖数据库管理系统Apache HadoopApache 许可证开源软件谷歌Apache Par…

Apache Parquet 是一种开放的列式二进制文件格式,专为存储和检索大规模分析数据集而设计。它在行组内部按列组织数据值,使软件能够只读取选定字段,而不必读取每条记录的所有字段。通过结合针对各列的编码、压缩以及描述性元数据,Parquet 在数据仓库、数据湖和分布式查询系统中得到广泛应用。

Parquet 是一种存储格式,而非数据库管理系统:它规定了数据及相关结构信息在文件中的表示方式,但本身不执行查询、不协调多个写入方的并发写入,也不维护跨多个文件的事务。它的重要性在于提供了一种通用的数据表示方式,让众多彼此独立的系统都能生成和读取这种格式的数据。该格式支持基本类型的值、嵌套记录、可选字段和重复结构,同时允许读取程序跳过与查询无关的数据部分。

Parquet 最初由 Twitter 和 Cloudera 合作开发,于 2013 年公开发布,并于 2015 年成为 Apache 软件基金会的顶级项目。它的设计融合了列式分析数据库的理念,以及 Google 的 Dremel 系统所引入的嵌套数据表示技术。

起源与设计目标

随着越来越多的组织使用 Apache Hadoop 保存海量事件日志、业务记录及其他分析数据,Parquet 应运而生。早期的 Hadoop 数据处理流水线通常将记录存储为文本,或使用面向整条记录读取的格式。这些方式便于数据摄取和逐条记录处理,但当分析查询只需要宽数据集中的少数字段时,效率就很低。读取用户标识符和购买金额,不应要求解码数十个无关属性。

Twitter 与 Cloudera 最初通过合作,将列式组织方式与对复杂嵌套记录的支持相结合,以解决这一不匹配问题。Julien Le Dem 及其他贡献者参与推动了该项目的开发,项目于 2013 年发布。Parquet 于 2014 年进入 Apache 孵化器,并于 2015 年 4 月成为 Apache 顶级项目。项目采用 Apache 许可证 2.0 进行开发,促进了商业产品和开源软件对它的采用,同时也使该格式不依赖于某个特定的执行引擎。

在设计理念上,Parquet 的一个重要先驱是 Dremel,谷歌研究人员于 2010 年发表了对它的介绍。Dremel 展示了如何将嵌套记录拆分为列,同时保留重建其结构所需的信息。Parquet 采用了其中定义级别和重复级别这一核心技术,从而能够表示可选值和重复值,而不必将每个嵌套对象都存储为内部结构不可见的序列化对象。这对事件数据尤为重要,因为一条记录可能包含可选的用户资料和长度可变的交互列表。

Parquet 的设计将存储表示与数据处理框架分离。尽管它诞生于 Hadoop 生态系统,但读取 Parquet 文件并不需要 Hadoop。只要读取程序能够获取所需的字节范围,就可以从本地文件系统、分布式文件系统或云对象存储访问同一个文件。这种分离推动了 Parquet 在桌面分析工具、云数据仓库以及围绕 Apache Spark 构建的服务中的普及。

该格式还将编码与通用压缩分离。对于包含大量重复国家代码的列,可以先用字典标识符表示,再使用压缩编解码器进行压缩。对于有序整数列,采用差分编码则可能更有效。这种模块化设计使写入程序能够根据数据特征调整处理方式,而不必更改应用程序的逻辑模式。其指导目标并非在所有情况下都让文件体积最小,而是在存储空间、选择性读取、解码开销和互操作性之间取得实用的平衡。

文件组织与元数据

普通的未加密 Parquet 文件以四字节标记 PAR1 开头,后面是编码后的数据及辅助结构。文件接近末尾的位置存放序列化后的文件元数据,其后依次是以小端序表示的四字节元数据长度,以及另一个 PAR1 标记。这种布局使读取程序能够先检查文件尾部、定位页脚,了解模式和数据位置,再请求读取文件中的相关部分。Parquet 的元数据结构使用 Apache Thrift 定义,并采用其紧凑协议进行序列化。

文件的主要组织层级依次为文件、行组、列块和页。行组包含数据集的一个水平子集,例如连续的数十万条记录。在一个行组内,每个叶子列都有一个列块,用于存放相应的值和结构信息。列块由页组成,页是编码和压缩的基本单位。对于嵌套数据,叶子列是沿嵌套模式逐层访问后到达的基本类型字段,不一定是应用中的顶层字段。

文件页脚描述模式和行组,其中包括列元数据、位置、编码方式、压缩编解码器,以及可用的统计信息。这些描述使读取程序能够确定所需字段对应的字节范围。因此,“列式”并不意味着某一列的所有值在整个文件中都占据一段连续的区域。通常,一列在每个行组中都有一个独立的列块,从而在按列访问与处理单元的可控规模之间取得实用的平衡。

每个页都有自己的页头,并承担不同的作用。数据页包含编码后的值,以及在需要时包含定义级别和重复级别。字典页提供其所在列块中字典编码数据页所引用的值。可选的页索引提供统计信息和偏移量,以便更细粒度地跳过不需要的数据。各列的页边界通常彼此独立,因此某一列的第三页不一定与另一列的第三页涵盖相同的记录。

通过页脚查找文件信息的方式会影响实际读写操作。读取程序通常需要支持类似定位读取或范围读取的访问方式,而且文件并不是由各自完整、相互独立的记录构成的简单数据流。写入程序通常在关闭文件时完成页脚的写入;如果写入中断,导致文件缺少可用的页脚,结果可能是文件无法读取。将两个完整的 Parquet 文件按字节直接拼接,并不能得到一个有效的合并数据集文件。数据集层面的汇总通常通过管理多个文件来实现,也可以读取这些文件的内容,再将其重写到一个新文件中。

物理类型、逻辑类型与模式

Parquet 区分值的物理表示和逻辑含义。其基本物理类型包括 BOOLEAN、INT32、INT64、INT96、FLOAT、DOUBLE、BYTE_ARRAY 和 FIXED_LEN_BYTE_ARRAY。这些类型描述数据在存储层面的形式。逻辑类型注解则指定应如何解释一个值,使同一种物理表示能够表达多种应用层面的概念。这种区分对于互操作性至关重要,因为不同编程环境使用的原生类型并不完全相同。

例如,日期可以用 INT32 表示,其中存储相对于 Unix 纪元的天数,并通过日期注解标明其含义。时间戳可以使用 INT64,同时指定时间单位,并标明是否已调整为 UTC。字符串通常存储为 BYTE_ARRAY,带有字符串注解,并采用 UTF-8编码。如果缺少恰当的注解,读取程序即使能正确还原字节,也可能无法判断这些字节表示的是文本、标识符,还是任意二进制内容。

十进制数值体现了逻辑精度与物理宽度之间的区别。Parquet 的十进制数注解指定精度和标度,所表示的数值按以下方式解释:

x=u×10−s,x = u \times 10^{-s},

其中,uu 是存储的未缩放整数,ss 是标度。根据精度和具体实现的不同,十进制数可以使用整数或字节数组物理类型。其表示方式不同于二进制浮点数,后者的舍入特性遵循另一套规则。FLOAT 和 DOUBLE 类型对应于 IEEE 754浮点运算标准中的二进制浮点格式。

Parquet 模式还描述分组和字段的重复属性:字段可以是必需的、可选的或可重复的。逻辑注解为列表和映射等结构定义了约定。标准列表表示使用嵌套分组来区分列表缺失、空列表以及包含空值元素的列表。历史文件有时使用较早的列表编码,因此读取程序需要应用兼容性规则。模式还可以携带字段标识符,一些表系统利用这些标识符来维持字段的身份,使其不受字段当前名称或位置的影响。

单个文件中嵌入的模式并不会自动确立整个数据集的数据库模式。如果不同文件包含不同的字段或类型,读取系统就必须决定如何协调这些差异。添加允许空值的列通常比较简单,因为读取旧文件时可以将该字段填为 null;但重命名字段或更改时间戳语义则需要额外的约定。旧式 INT96 类型是一个典型的兼容性问题:它过去常用于存储时间戳,却缺乏现代时间戳注解所具备的明确、标准化的逻辑解释。因此,仅仅能在物理层面读取数据,并不保证各系统对其语义有一致的理解。

嵌套值与缺失值的表示

对嵌套数据的处理是 Parquet 的一大特色。假设记录中包含一个可选的 address 组,而该组中又包含一个可选的 city 字符串。城市值缺失,可能意味着整个地址不存在,也可能意味着地址存在,但其中的城市字段不存在。如果只存储一串字符串和空值标记,就会丢失这一区别。Parquet 为叶子列中的条目附加定义级别,用于记录从模式根部到该叶子的路径上,有多少层实际存在。

叶子的最大定义级别由其模式路径上的可选节点和重复节点决定。每个这样的节点都会增加一个可能出现数据未定义的层级。定义级别低于最大值时,表示路径在哪一层开始不再有定义;达到最大值时,则表示存在一个实际的基本类型值。在地址和城市均为可选的示例中,定义级别为零可以表示没有地址,为一表示地址存在但没有城市,为二则表示城市值存在。只有达到最大定义级别的条目,才会从编码后的基本类型值流中消耗一个值。

重复结构还需要另一种信号,因为对于同一条逻辑记录,一个叶子列可能包含多个条目。重复级别用于标识新条目在重复结构的哪一层延续已有结构。重复级别为零,表示一条新的顶层记录开始;更高的级别则表示在某个可重复的祖先节点内继续。定义级别与重复级别相互配合,使读取器能够在分别读取各个叶子列的同时,重建嵌套记录。

一个简单的例子是:必需的 tags 组包含一个可重复的字符串字段 tag。假设三条记录的标签列表分别为 ["red", "blue"]、[] 和 ["green"]。叶子列的条目序列可以用重复级别 0,1,0,00,1,0,0、定义级别 1,1,0,11,1,0,1,以及物理存储值 "red"、"blue" 和 "green" 来描述。第三个条目记录了空列表,但不提供字符串值。如果列表本身可以为空值,且其中的元素也可以为空值,就需要更丰富的模式和额外的定义级别来区分这些情况。

这些级别流本身也会经过紧凑编码,通常采用游程编码和位打包技术。扁平的必需字段不需要定义级别或重复级别信息,因此,这一机制并不会给所有模式带来相同的开销。相比之下,深度嵌套的结构可能需要更多的结构解码工作,以及更复杂的重建逻辑。

这种机制的实际好处是可以选择性地访问嵌套结构中的叶子。计算订单中商品总价的查询,不一定需要加载无关的商品描述或收货地址字段。不过,要重建多个重复列之间的对应关系,就必须遵循它们的结构级别;如果把这些列当成彼此无关的数组,就可能产生错误的配对。因此,嵌套列式存储既能减少输入输出,又能保留足够的结构信息,确保正确重建记录。

编码与压缩

Parquet 通过两种相互关联但又不同的机制来降低存储和读取成本:值编码与无损数据压缩。编码利用列内各个值的结构特征,而压缩编解码器则作用于编码后得到的字节表示。最佳组合取决于基数、排列顺序、值的分布,以及处理开销与传输字节数之间的权衡。在符合格式规则且写入器具备相应能力的前提下,同一个文件可以为不同的列采用不同的编码和压缩编解码器。

朴素编码为每种物理类型提供一种直接的基准表示方式。字典编码则构建一个由不同值组成的集合,并存储指向该集合的整数标识符。因此,对于包含数百万个条目、但取值仅来自少量国家代码的列,可以只在字典中存储一次国家代码字符串,再用紧凑的标识符表示数据页中的值。字典归属于某个列块,而不是整个数据集。如果字典变得过大,或不再带来收益,写入器可以对后续数据页改用其他受支持的编码。

Parquet 的游程长度与位打包混合编码将重复出现的整数表示为游程,并仅用必要的位数来打包较小的整数。这种编码用于字典标识符和结构层级。差分二进制打包存储整数值之间的差值,并按块进行打包,适用于相邻值的变化具有可预测性的情况。差分长度字节数组编码压缩的是长度序列,而差分字节数组编码还会利用相邻字节数组值之间的公共前缀。因此,这些编码的效果在一定程度上取决于记录的写入顺序。

字节流拆分是另一种编码方式,尤其适用于某些定宽数值数据。它会重新排列字节,将连续多个值中处于相同位置的字节归入各自独立的流。这种变换本身并不减少字节数,但可以使某些模式显现出来,让后续压缩器更有效地加以利用。这也说明了为什么编码与压缩不能混为一谈:改变表示方式即使本身不缩减数据,也可以改善压缩效果。

Parquet 支持 Snappy、Gzip、Zstandard 和 Brotli 等压缩编解码器,也支持不压缩存储。不同读取器和不同版本的库所支持的编解码器各不相同,而旧版 LZ4 处理方式与 LZ4_RAW 之间的区别也关系到兼容性。压缩通常作用于页数据,而不是将整个文件作为单一数据流进行压缩,因此仍可访问选定的文件区域。数据页 V2 对层级信息的处理也不同于最初的页布局:其层级信息区段与可选择压缩的值区段保持分离。因此,仅凭所选的压缩编解码器,并不能完整描述数据在磁盘上的表示方式或其解码开销。

选择性读取与查询执行

Parquet 在分析处理方面的主要优势,是能够避免不必要的工作。列投影使引擎能够只读取查询所引用的列。对于包含数百个属性的表,对两个数值字段进行聚合可能只需读取已存储数据中的一小部分。实际节省的读取量取决于列宽、压缩方式、元数据请求以及存储系统,但无须任何特殊索引:这一能力直接源于各列块在物理上的分离。

谓词下推利用存储层附近可获取的信息,减少传递给上层查询算子的数据量。查询优化器可以将 temperature > 30 这样的条件传递给 Parquet 读取器。如果某个行组记录的最高温度为 18,该行组就不可能满足条件,因此可以跳过。最小值和最大值统计信息是用于排除不匹配数据的工具,并不能证明某个行组包含匹配的行。对于温度范围为 10 到 40 的行组,仍需进一步处理,才能确定哪些行满足条件。

可选的列索引和偏移量索引将这一原理扩展到了页面级别。列索引描述页面级的取值边界和空值信息,而偏移量索引则将页面与其存储位置及行位置关联起来。在读取器支持的情况下,这些结构可以避免读取无关页面,并帮助确定其他列中对应的行范围。它们的作用取决于数据的组织方式:随机混杂的值通常会形成较宽的取值边界,而按时间或其他常用筛选字段将记录聚集存放,则能形成更紧凑的区间。

Parquet 还可以存储布隆过滤器,提供另一种排除测试。布隆过滤器可以确定某个待查值不存在于某个列块中,但阳性结果只表示该值可能存在。当最小值和最大值边界覆盖的范围很大时,这类过滤器对于等值谓词尤其有用。它们不能替代能够精确定位匹配行的完整索引,而且会增加存储开销和写入端的计算量。

要正确跳过数据,就必须谨慎处理逻辑排序规则、空值、浮点特殊值,以及历史上采用的统计信息约定。读取器不得依据不可靠或不支持的统计信息丢弃数据。同样,传递给存储读取器的筛选条件在解码后可能仍需求值;“下推”并不意味着每个谓词都能仅凭元数据完成判断。

读取页面后,许多引擎会将值解码为批次,并针对数组执行算子,而不是逐个处理行对象。这种方式可以改善 CPU 缓存局部性,降低每条记录的处理开销。不过,这类向量化执行属于读取器和执行引擎的职责;Parquet 定义的是数据的存储表示,而非查询处理策略。

数据集布局、分布式存储与更新

单个 Parquet 文件往往只是大型数据集的一部分。分布式系统通常会写入多个文件,让各个工作节点能够独立生成输出,随后再并行扫描这些文件。在每个文件内部,行组又提供了更细一层的任务调度和数据跳过机会。因此,文件大小、行组大小和页大小之间的关系十分重要:三者分别控制着不同层级的访问粒度、元数据开销和并行任务划分。

行组大小的选择需要权衡,并不存在普遍适用的最优值。较大的行组可以提高压缩效果,降低元数据的相对开销,但可能需要写入端使用更多内存,而且用于数据裁剪的统计信息粒度也更粗。较小的行组有利于选择性访问,并能划分出更多处理单元,但会增加开销,有时还会降低压缩效果。页大小在更细的层面上也存在类似的权衡。合适的选择取决于行宽、嵌套结构、查询选择性、可用内存以及具体实现的行为。

目录分区是数据集层面的另一种约定。例如,year=2025/month=03/ 这样的布局可以让查询引擎在打开文件之前就排除整个目录。分区值可以从路径中推断,无须在每个文件中重复存储。这种机制不应与行组或 Parquet 的内部统计信息混淆。一个数据集可以同时使用分区裁剪、文件级元数据、行组统计信息和页索引,分别在不同阶段减少处理工作。

在云计算中,Parquet 经常存储在对象存储服务中。范围请求允许读取端只获取文件尾部和选定的数据区域,而不必下载完整对象。不过,每次请求都会带来延迟,有时还会产生直接的费用。因此,即使总数据量相同,扫描大量小文件也可能比扫描少量大小适中的文件更慢、成本更高。文件合并通过将许多小文件重写为较少的大文件,来解决这种“小文件问题”。

Parquet 并未定义记录的原地更新、数据集快照或跨文件原子变更协议。在通常的使用方式中,更新会生成新文件或替换文件,而不是覆盖某个压缩后的单独值。同样,向现有文件追加行也需要写入端能够更新文件结构和文件尾部;仅仅追加任意的记录字节并不足以完成这一操作。

Apache Iceberg、Delta Lake 和 Apache Hudi 等表格式在数据文件之上增加了元数据和提交协议。它们可以提供快照、模式管理和数据库事务支持,但各自采用的机制和支持的文件组织方式有所不同。这些能力属于表层,而不是 Parquet 本身。

实现及与其他格式的关系

Parquet 规范由多个库实现,并不依赖某个必须使用的运行时。Java 实现通常称为 parquet-java,在 Hadoop 生态系统中发挥了重要作用。Apache Arrow 中的 C++ 实现为基于 Arrow 的工具以及 Python编程语言中的 PyArrow 提供 Parquet 功能。其他系统则维护各自的读取器、写入器,或针对特定执行引擎的集成实现。各方遵循同一格式,使数据交换成为可能;但由于对各项特性的支持程度不同,具体实现细节仍然十分重要。

Apache Arrow 与 Parquet 解决的问题相互关联,但并不相同。Arrow 定义了面向高效计算和数据交换的列式内存布局,而 Parquet 定义的是一种用于持久化存储、经过编码且通常经过压缩的文件表示形式。将 Parquet 数据读入 Arrow,通常需要先解码,再将值按 Arrow 的布局组织到缓冲区中;一般不应将 Parquet 理解为可以直接使用的零拷贝内存映像。另一方面,Arrow 的内存组织方式使其很适合作为面向批处理的 Parquet 读取器的输出目标。

与逗号分隔值格式相比,Parquet 携带显式模式,通过类型和注解区分二进制数据与文本,并允许按需选择列进行访问。CSV 文件很容易用基本的文本工具查看,但使用方必须就分隔符、引号规则、字符编码、缺失值约定以及类型解释达成一致。JSON 能直接表达嵌套结构,适合数据交换和流式记录传输;不过,由于采用文本字段名和面向行的组织方式,对其反复进行分析扫描,通常比扫描组织得当的列式表示开销更大。

Apache Avro 体现了另一种设计侧重。其常用的对象容器格式将记录存储在一起,并提供明确的写入端与读取端模式解析规则。这适合以完整记录为中心,以及通过模式约束消息或数据交换的工作流。相比之下,Parquet 侧重于从大型数据集中读取选定的列。Apache ORC 则与 Parquet 更为接近:它也是一种列式分析格式,具备压缩、统计信息和索引功能,但使用不同的内部结构和编码。无论哪种格式,都无法在所有引擎和工作负载下始终更快。

评估互操作性时,不仅要看文件格式层面,也要看具体特性层面。读取器可能支持基本的标量列,却不支持较新的编码、加密模式、逻辑类型或嵌套布局约定。时间戳单位与时区解释、十进制数精度、无符号整数以及旧式列表表示,都是反复出现的差异点。兼容性测试往往不仅要确认文件能否成功打开,还需要验证解码后的值及模式的含义是否正确。

这种格式的广泛应用也不限于 SQL结构化查询语言分析。机器学习流水线使用 Parquet 存储特征表、训练样本和中间结果。这些应用能从选择性加载和紧凑存储中受益,不过,与顺序扫描或批量扫描相比,随机访问单个样本可能不那么方便。配套的数据加载器负责决定模型训练时如何调度文件和行组。

安全性、完整性与实现局限

Parquet 的模块化加密规范支持对文件组件分别进行保护,而不必将整个文件作为单个不透明对象加密。它允许不同的列使用不同的加密密钥,并支持加密页脚和明文页脚两种方式。这使系统既可以公开部分元数据,同时限制对敏感列的访问,也可以一并保护模式及页脚中的其他内容。该规范采用基于高级加密标准的加密模式,其中包括认证加密。

列加密并不等同于完整的授权系统。应用程序仍然需要密钥管理、身份管理以及访问控制机制,以确定哪些用户或服务可以获得密钥。外部存储的权限设置和传输安全仍然重要。元数据的设计也很关键:即使对列值的直接访问受到限制,模式、统计信息和辅助结构仍可能泄露信息。所选的加密配置决定了哪些组件受到保护,而不同实现对这些功能的支持程度也有所不同。

完整性机制在不同层面发挥作用。Parquet 页头可以包含可选的 CRC 校验和,用于帮助检测页有效载荷的意外损坏。这些校验和不属于密码学认证,无法防范能够重新计算校验和的攻击者蓄意篡改数据。认证加密提供了另一种保障,将受保护的内容与认证信息绑定。不过,即便如此,文件级保护本身也不能证明由多个文件组成的整个数据集是完整的、最新的,或未遭到未经授权的删除。

读取器还需要处理由外部提供的复杂二进制结构,必须校验长度、偏移量、嵌套层级、编码中的计数以及解压缩结果。格式错误的文件可能触发解析器或压缩库中的缺陷,而异常大的声明大小或过深的嵌套结构则可能消耗过多资源。这些属于实现层面的安全问题,并非列式存储独有的特性。格式的开放性使独立实现成为可能,但并不能免除防御性解析和持续维护依赖项的必要性。

Parquet 对工作负载的适用范围也存在与安全性无关的限制。它并非为取代带索引的事务型数据库而设计,不适合频繁更新单条记录或进行低延迟的单点查询。即使查询只筛选少量数据,也可能仍需检查元数据,并解码包含大量无关值的数据页。列数极多的模式可能使元数据膨胀,增加打开文件的开销;高基数列则可能几乎无法从字典编码中获益。对于值本身已经压缩或近乎随机的数据,压缩效果也可能不佳。

因此,性能测量结果取决于诸多因素,而不只是文件扩展名。编解码器的选择、排序方式、分区布局、行组大小、读取器实现、存储延迟和查询形式都会影响结果。对于同一个数据集,顺序扫描、按聚簇排列的时间戳进行筛选,以及查找随机分布的标识符,可能表现出截然不同的性能。这些差异源于 Parquet 的物理结构与使用这些结构的软件之间的相互作用。