aiwiki.page
中文
计算机 / 软件与编程 / apache-iceberg · 产品

Apache Iceberg

Apache Iceberg 是一种开放表格式,支持跨分布式存储系统和处理引擎的事务性、版本化分析数据集。

31 个关键词4 个词条链接到这里5 个尚未撰写AI 撰写
开源软件Apache Parquet数据库管理系统数据湖数据湖仓元数据Apache 许可证文件系统Apache Ice…

Apache Iceberg 是一种面向大型分析数据集的开源软件表格式。它规定了如何描述和协调数据文件、模式、分区及表版本,使不同的处理引擎能够读取和修改同一张逻辑表。Apache Parquet 等文件格式定义的是单个文件内记录的表示方式,而 Iceberg 定义的则是一张可能包含数百万个文件的表的组织与演进方式。它既不是独立的数据库管理系统,也不是查询引擎。

Iceberg 为存储在分布式文件系统和云对象存储中的数据提供了分析型数据库所具备的功能,包括原子性表更新、模式演进、一致性快照和历史查询。这些能力使其成为数据湖和数据湖仓的重要组成部分;在这些架构中,存储与计算分别管理。Iceberg 的设计不再依赖对目录名称和文件列表的约定,而是采用显式、版本化的元数据,使引擎能够准确识别某个时间点上哪些文件属于某张表。

该项目包括公开的格式规范、软件库,以及与各类处理系统的集成。它主要关注的技术问题包括:并发访问下表的正确性、可扩展的查询规划、避免不必要的数据重写的表演进,以及不同实现之间的互操作性。实际部署的 Iceberg 表所能提供的保障不仅取决于格式本身,也取决于配套的目录服务、存储系统、执行引擎和运维策略。

起源与架构设计目标

Iceberg 起源于 Netflix,由 Ryan Blue 和 Daniel Weeks 牵头开发,旨在解决按 Apache Hive 惯例管理大型表时遇到的局限。开发工作始于 2017 年,项目于 2018 年 11 月进入 Apache 软件基金会孵化器,并于 2020 年 5 月成为 Apache 顶级项目。该项目采用 Apache 许可证 2.0 发布,并依照基金会的社区治理模式进行开发。

传统的 Hive 风格表通常通过目录路径标识分区,并由元数据存储记录分区位置。按日期分区的表可能会将文件存放在类似 day=2025-01-01/ 的路径下。查询引擎结合元数据存储操作和目录列举来发现相关文件。在规模极大时,枚举分区和列举文件的开销可能变得十分高昂。更重要的是,仅凭目录内容,无法从事务层面界定哪些文件应当同时可见。

当写入方替换多个文件时,这种安排会引发数据正确性问题。如果读取方在替换过程中各自枚举存储中的文件,就可能读到新旧文件不完整或不一致的组合。不同存储系统的重命名行为,以及过去在列举一致性方面的差异,也进一步增加了实现的复杂性。Iceberg 的应对方式不是让目录发现机制变得更加复杂,而是不再通过目录发现来定义表状态:由已提交的元数据版本明确标识每个快照所包含的文件。

表格式与存储引擎之间的区别,是这一设计的核心。Iceberg 不要求由专用数据库服务器统一负责每一次数据读取。文件可以继续存放在对象存储或分布式文件系统中,而由 Apache Spark、Trino 和 Apache Flink 等引擎规划并执行查询。库和目录服务负责协调元数据变更,而不是让所有数据都经由单一服务传输。

这一架构与云计算中存储与计算分离的理念相契合。不同的计算集群无需共享本地磁盘或执行运行时,即可访问同一张表。由此带来的灵活性并不意味着不再需要协调,而是将协调工作转移到了表元数据、提交协议和目录服务上。因此,Iceberg 位于物理数据文件与将这些文件解释为持续演变的分析表的系统之间。

元数据层级与表的表示

Iceberg 表由一套分层的元数据表示,而不是由某个目录中的内容定义。在最顶层,目录服务或其他受支持的表加载机制负责定位当前的表元数据文件。该文件采用 JSON 编码,记录表的唯一标识符、模式、分区规范、属性、快照引用以及当前快照标识符等信息。替换作为权威依据的元数据引用,即可发布新的表状态。

快照表示表在其历史中某个特定时刻的数据状态。它引用一个清单列表,后者列出各个清单文件,并包含规划过程中使用的摘要信息。清单是一个 Apache Avro 文件,其中包含数据文件或删除文件的条目。这些条目描述文件路径、分区值、记录数、文件大小和列级指标,以及文件的添加或移除信息。清单会区分数据文件内容与删除文件内容。

这种层级结构支持大量复用元数据。追加操作可以添加描述新文件的清单,同时保留已有清单,无须重写包含所有记录的完整列表,也无须复制表的全部历史数据。清单列表还包含分区摘要,使规划器能够在打开清单之前排除其中一部分。这种设计将元数据分散到大小可控的多个文件中,而不是依赖一个不断膨胀的文件来描述所有细节。

数据文件通常采用 Parquet 格式,不过 Iceberg 规范也支持 Avro 和 ORC。这些格式负责物理编码、数据压缩和文件内部结构。Iceberg 则赋予其表级语义:适用哪种模式、文件由哪种分区规范生成、文件是否仍然有效,以及哪些删除信息会影响文件中的行。因此,一组 Parquet 文件并不会自动构成 Iceberg 表;管理这些文件的元数据和提交协议不可或缺。

这一结构中的大多数文件在创建后便不可变。更新操作会生成新的元数据,并在必要时生成新的数据文件或删除文件,而不是就地修改已发布的文件。这使历史状态能够重现,也避免读取方看到只修改了一部分的文件。不可变性也解释了为什么存储空间回收与逻辑删除是两个独立过程:过时的文件仍可能被较早的快照使用。

元数据层级并不是通用的行索引。它主要用于确定候选文件,以及这些文件与各个表版本之间的关系。文件级统计信息可以缩小扫描范围,但 Iceberg 本身并不提供 B树或专用数据库索引所具备的点查询能力。

模式演进与稳定的字段标识

Iceberg 使用持久的数字字段标识符来识别列,而不是仅依赖列名或物理位置。这一区别是实现数据库模式演进的基础。一列从 customer_id 重命名为 account_id 后,其标识保持不变,因此重命名之前写入的文件仍能得到正确解读。同样,调整列的顺序只会改变逻辑上的呈现方式,不会改变存储的值与字段之间的归属关系。

如果某个列名在该列被删除后再次使用,基于名称的解读方式就可能出错。假设一张表最初有一个名为 status 的字符串列,将其删除后,又添加了另一个同样名为 status 的列。Iceberg 会为新字段分配新的标识符,不会仅仅因为名称相同,就悄然将旧值归入新字段。字段标识符也适用于嵌套结构内部,包括结构体字段和集合类型的组成部分。

许多模式变更只涉及元数据操作,无须重写整张表。添加一个可选列,不需要向每个现有文件中插入实际值。读取器会将当前模式投影到旧文件上,并按照适用的模式和默认值规则解读缺失的字段。删除列会将其从当前逻辑模式中移除,但不会立即从现有文件中擦除其实际占用的字节。

类型演进受到有意的限制。支持的类型提升包括将整数扩展为长整数、将单精度浮点数扩展为双精度浮点数,以及在保持小数位数不变的情况下提高十进制数的精度。任意类型转换,例如将现有字符串列作为时间戳处理,并不属于同样的纯元数据变更。这类转换需要显式的数据处理,因为它们可能改变数据含义、无法处理某些值,或造成信息丢失。

对于从未写入 Iceberg 字段标识符的系统导入的文件,名称映射可以在文件字段名与 Iceberg 字段 ID 之间建立对应关系。这在注册现有数据集、而非立即重写数据集时尤其有用。能否正确解读数据,仍取决于映射是否准确反映了历史文件的情况;对于不一致的源数据,稳定标识符也无法事后消除所有歧义。

模式中的标识也不同于业务标识。Iceberg 可以记录用于标识行的标识字段,但这并不意味着该格式是一个强制执行关系约束的系统。标识字段声明本身并不是一个受到强制执行的主键,也不会自动防止重复记录。唯一性、参照完整性以及应用层验证,通常仍由写入程序、处理系统或配套的数据管理服务负责。

隐藏分区与布局演进

Iceberg 通过隐藏分区,将逻辑查询列与物理分区值分离。表可以使用 day(event_time) 这样的变换进行分区,同时仍将 event_time 暴露为普通的时间戳列。对该时间戳进行筛选的查询,无须额外包含一个手动维护的日期分区列。只要变换允许,查询规划器就会从原始谓词推导出分区过滤条件。

分区变换包括恒等、年、月、日、小时、分桶和截断,具体能否使用取决于类型兼容性。分桶变换使用规定的哈希过程,将值分配到固定数量的桶中。截断变换则按指定宽度或前缀规则对值进行分组。这些变换属于表规范的一部分,而不只是从目录名称推断出来的约定。

例如,假设一张表按 event_time 所在的日期分区。用于选择两个时间戳之间事件的谓词,可以映射到相应的日期分区。由于一个日期分区覆盖的范围比任意时间戳区间更宽,分区过滤可能采取保守策略:选出所有可能包含匹配行的分区。随后,剩余谓词会对单条记录或更细粒度的文件结构进行过滤,以保证结果正确。

分区演进允许更改分区规范,而无须重写全部历史数据。例如,一张表起初可能按月分区,之后随着数据摄入量增长而改为按日分区。旧文件保留写入时所用规范的标识符,新文件则采用新规范。查询规划会根据各组数据各自的布局分别进行处理。因此,同一张表可以同时包含多种历史分区方案。

这与对旧数据进行物理重组不同。更改规范会影响后续写入,但不会自动提高现有文件的分区裁剪粒度。按照新规范重写旧数据是另一项独立操作。这种区分允许逐步迁移,但也意味着分区演进对性能的影响取决于新旧数据的相对体量。

排序是另一项独立的布局属性。表可以定义排序顺序,供写入程序在文件内部或跨文件聚集记录,从而提高列取值边界的实用性。分区决定粗粒度的分组,而排序影响组内的数据局部性。无论声明排序顺序还是采用分桶分区,都不会创建一个在所有情况下均强制维护的行索引;实际布局取决于写入程序的行为和引擎支持情况。

事务、快照与并发提交

Iceberg 通过先准备好新文件和元数据,再发布新的权威元数据引用,实现表变更的原子性。写入方首先读取表状态,计算要执行的变更,并写入所需的数据文件和元数据文件。随后,它会尝试基于最初读取的状态提交变更。读取方看到的要么是此前已提交的状态,要么是新提交的状态,而不会看到仅发布了部分变更的中间状态。

其核心协调模型是乐观并发控制。写入方在执行大部分工作时,无须持有表的独占锁,而是在提交时验证先前的假设。如果其他写入方抢先完成了提交,该操作可以刷新表状态并重试。有些操作在重试时能够复用已经写入的文件;另一些操作则由于原有假设不再成立,必须失败或重新计算。

两个彼此独立的追加操作通常可以顺利合并,因为它们都不会删除对方引入的数据。删除、覆盖或合并操作则可能需要更严格的冲突检查。例如,某个写入方要删除满足指定谓词的行,就必须考虑并发写入方是否添加了可能包含其他匹配行的文件。如果不经验证就直接发布这两组文件,所得结果可能不符合预期的隔离级别。

Iceberg 针对不同操作提供与快照隔离和可串行化隔离相应的验证机制。具体细节取决于写入操作以及引擎的集成方式;不应将“支持 ACID”理解为毫无限制的承诺,认为所有引擎都会提供完全相同的行为。表的 ACID特性由多个层面共同保障:元数据的原子发布、对文件的一致解释、隔离性检查,以及对已提交对象的持久化存储。

查询通常会选定一个快照并读取这一稳定状态,即使执行期间有其他写入方提交了变更,也不会受到影响。这与数据库中的多版本并发控制密切相关。用户也可以显式选择历史快照来执行时间旅行查询。基于时间戳的查找会定位到记录中适当的快照,而不会重建任意未提交或已经过期的状态。

这些保证主要限于单个表。一个更新两个独立 Iceberg 表的 Spark 作业,并不会自动获得一个涵盖这两个表的原子事务。同样,成功提交到 Iceberg 本身,也不会自动协调外部消息的确认或另一个数据库中的更新。更广泛的数据库事务保证需要额外的协议或服务。在理解该格式的事务能力时,必须区分表级原子性与整个应用范围内的原子性。

查询规划与选择性读取

Iceberg 扫描首先解析表并选择一个快照。随后,规划器遍历该快照的清单列表及相关清单,构建扫描任务。由于哪些文件属于表已有明确记录,这一过程通常无需递归枚举所有存储目录。引擎会获得一组确定的候选数据文件,以及解读这些文件所需的信息。

过滤分多个层级进行。分区摘要可以排除整个清单,分区值可以排除文件条目,文件级列指标则可以进一步排除文件。根据列类型和指标配置的不同,这些指标可以包括下界、上界、空值计数和值计数。对于 price > 100 这样的谓词,如果某个文件记录的最大值不超过 100,就可以直接排除该文件,而无需读取其中的记录。

这些判断必须保持保守。如果元数据缺失、被截断,或不足以证明某个文件不可能包含匹配记录,规划器就会保留该文件。不同的变换和表达式形式所能支持的裁剪程度各不相同。这样做是为了避免错误排除:读取一个不必要的文件只是耗费时间,而排除一个包含匹配记录的文件则会导致错误结果。

对于保留下来的文件,底层文件格式还提供了进一步优化的机会。Parquet 的行组统计信息和列投影可以减少需要读取和解码的字节数。查询优化器也可以通过 Iceberg 连接器下推过滤和投影操作。这些机制彼此相关,但并不相同:Iceberg 负责裁剪表的数据文件,而文件读取器负责解读文件内部的元数据和编码。只要前面的裁剪不能做到精确筛选,最终仍然需要在记录级别求值谓词。

分布式引擎会将规划好的工作划分为多个任务,以并行处理文件或文件中的不同范围。规划开销取决于清单的组织方式、元数据缓存、文件数量,以及相关删除信息的规模。一张包含数十亿行数据、但文件数量适中且大小合理的表,可能比一张规模小得多、却分散在数百万个小文件中的表更容易进行查询规划。

Iceberg 在与多个引擎的集成中提供了元数据表,允许通过 SQL结构化查询语言或引擎 API 查看快照、历史、清单、文件和分区。这些视图让用户无需将存储系统的文件列表视为权威依据,就能检查文件大小分布、快照的祖先关系和分区增长情况。各集成中这些视图的具体名称和可用列有所不同;它们描述的是表的组织结构,而不是每一次外部访问的完整记录。

行级变更与流式摄取

Iceberg 既支持以追加为主的工作负载,也支持行级修改,但修改的实际开销取决于其表示方式。在写时复制策略中,修改部分行会导致受影响的数据文件被读取,并由新文件替换。这可以让后续读取变得简单直接,但一次很小的逻辑更新可能需要重写大量数据。

读时合并策略会单独记录变更,并在读取时应用这些变更。Iceberg 格式版本 2 引入了标准化的行级删除文件。位置删除通过数据文件路径和从零开始的行位置来标识记录。等值删除则通过指定字段的值来标识记录,从而无需逐一列出行位置,即可排除适用数据文件中与这些值匹配的行。

删除操作的应用受格式规则约束,这些规则涉及序列信息以及数据文件与删除文件之间的关系。删除文件并不是一个会无差别地作用于所有曾添加到表中的文件的谓词。顺序规则有助于区分引入删除操作时已经存在的数据和此后添加的数据。在重写文件或合并变更时,实现必须保留这些语义。

更新可以通过删除旧行并插入替代行来实现。MERGE INTO 等 SQL 操作由引擎转换为受支持的 Iceberg 写入操作;这些操作是否可用以及采用何种物理执行策略,取决于具体的集成实现。等值删除也不保证唯一性。如果多条适用记录具有相同的指定值,删除操作可能影响所有这些记录,而不是假定只影响一条主键对应的行。

对于流处理,引擎可以定期将新生成的文件分批提交为快照。Apache Flink 和 Spark Structured Streaming 的集成支持流式应用场景,但端到端交付语义取决于检查点机制、提交协调、故障恢复以及数据源的行为。Iceberg 表的原子提交机制只是精确一次处理流水线的组成部分,不能替代其他机制。

增量读取也需要同样谨慎地处理。扫描两个快照之间新增的文件,很适合以追加为主的变更历史。但这并不自动等同于一条完整的变更数据捕获流,后者应包含每一次逻辑插入、更新和删除。重写可能会替换文件,却不改变逻辑行;行级删除则可能需要显式解读。消费端必须区分物理文件变更与业务层面的记录变更,并据此使用其引擎提供的能力。

目录、互操作性与访问边界

目录将表标识符映射到加载和更新表所需的元数据。它通常提供命名空间、表的创建和删除操作,以及提交新元数据位置的机制。这一职责与用于数据发现、归属管理、文档记录和治理的通用数据目录有所重叠,但范围更窄。部署时可以将这两类功能集成在一起,但二者并不是可以互换的概念。

Iceberg 支持多种目录实现。基于 Hive 的目录使用 Hive Metastore;基于 JDBC 的目录使用关系数据库;其他实现则与云服务或专用元数据系统集成。REST 目录规范定义了一种基于 HTTP 的接口,旨在将客户端与目录的内部实现解耦。引擎可以通过标准化协议进行通信,而不必内嵌每种后端原生的目录逻辑。

提交操作的原子性取决于目录与存储的组合。有些实现使用条件式元数据更新或比较并交换操作;另一些则依赖适合其运行环境的锁机制或存储原语。面向文件系统、以重命名操作具有原子性为前提的机制,不能直接套用于所有对象存储。因此,要正确部署,仅仅将元数据文件放入共享存储桶还不够。

互操作性包含多个层面。两个引擎即使都能识别 Iceberg,也可能在支持的格式版本、数据类型、删除信息编码、目录身份认证、SQL 语法或写入操作方面存在差异。与并发写入涉及模式演进和行级删除的表相比,读取以 Parquet 为底层数据文件格式、仅执行追加写入的普通表,对兼容性的要求较低。格式兼容性和功能兼容性必须分别评估。

安全性同样分为多个层次。目录服务可以执行身份认证并对元数据操作进行授权,而存储系统则控制对数据对象和元数据对象的访问。在相关实现支持的情况下,REST 目录可以参与分发限定访问范围的存储凭据。然而,拥有广泛的直接存储访问权限的用户,可能绕过仅在查询层或目录层实施的限制。

公开的格式规范本身并未强制规定通用的行级安全或列掩码策略。这些控制措施通常由查询引擎和治理服务实现,而要在多个引擎之间一致执行,就需要协调集成。因此,表的可移植性并不意味着所有安全策略、审计记录或业务语义都能自动随之迁移。共享文件使跨引擎访问成为可能;共享的运行规则则使这种访问保持一致。

维护、保留策略与物理存储成本

Iceberg 的不可变文件模型会不断积累历史元数据,也可能积累旧的数据文件。快照过期操作会从表保留的历史记录中移除选定的历史快照;当不再有任何引用需要某些文件时,这些文件便可被删除。快照过期不同于删除当前行:它改变的是可用的表历史记录范围,而不是直接决定表当前的逻辑内容。

分支和标签使保留范围不再局限于单个当前快照。分支是一种具名引用,可以随着提交向前推进;标签则指向某个特定快照。这些机制支持保留某个已知的历史状态、隔离一系列写入等工作流程。它们本质上是快照引用,并不天然等同于源代码版本控制系统所提供的冲突解决和任意内容合并能力。

保留策略必须考虑仍在读取数据的任务和外部使用方。长时间运行的查询可能仍然需要访问其启动时所选快照中的文件。如果这些文件在查询完成前就被物理删除,仅靠快照一致性并不能保证读取继续进行。因此,保留窗口、引用策略和维护计划都与预期查询时长及恢复要求密切相关。

孤立文件清理解决的是另一个问题。写入程序可能已经创建文件,却在提交前发生故障,从而留下未被表元数据引用的存储对象。识别这些对象通常需要将存储中的内容与通过元数据可追溯到的文件进行比较。看似未被引用的文件,仍可能属于正在进行的写入,因此,合理设置文件存续时间阈值并正确处理路径,对于避免误删正常写入产生的文件至关重要。

文件合并会将许多小文件重写为数量更少的大文件,从而有望提高扫描效率并降低调度开销。它还可以将适用的删除操作落实到替换后的数据文件中。清单重写重新组织的是元数据,而非表中的行;当清单数量过多或其组织方式与查询模式不够匹配时,这种操作可以改善查询规划。这两种操作都并非没有成本:它们都会消耗计算资源和存储 I/O,并且可能暂时需要额外的存储容量。

维护的成本直接取决于工作负载的特征。频繁的小批量流式提交会产生更多快照,往往也会产生更多小文件;以更新为主的工作负载则可能积累大量删除信息,或导致反复重写。保留大量历史记录会增加存储需求,尤其是在数据发生重大变更后,旧文件仍可通过引用访问的情况下。因此,时间旅行是一项具有明确成本的历史保留功能,而不是无限容量的历史档案,也不能替代独立的数据备份或灾难恢复安排。

格式版本、生态系统与实际局限

Iceberg 将磁盘存储规范的演进与软件发布版本号分开管理。格式版本 1 确立了快照、清单和模式的基础模型。版本 2 增加了标准化行级删除及相关序列管理所需的机制。版本 3 进一步扩展了规范,包括删除向量和行级血缘机制。对特定格式版本或功能的支持情况,必须与引擎连接器或库的版本号区分开来。

格式升级可能改变能够兼容的读取器和写入器范围。仅支持旧格式的引擎可能无法正确解析新引入的元数据或删除信息表示方式。因此,在存在多个独立客户端的环境中,升级需要各方协调。公开规范有助于实现互操作,但并不能让旧软件理解其不支持的功能。

Iceberg 经常被拿来与 Delta Lake 和 Apache Hudi 比较,后两者也在文件存储或对象存储之上组织分析表。它们的元数据结构、变更表示方式、索引机制、与目录的关系以及引擎集成方式各不相同。三者都解决了单独使用列式文件格式无法解决的问题,但它们并不是同一张表的可互换编码方式。在这些格式之间迁移,可能需要重建元数据、调整运维流程或重写数据。

同样重要的是区分 Iceberg 与数据仓库。Iceberg 定义的是面向存储的表层;它本身不提供基于成本的优化器、工作负载管理器、SQL 服务器、用户界面或完整的治理系统。商业系统和开源系统可以将它与这些组件结合使用。反过来说,采用 Iceberg 文件也不意味着所有工作负载都能获得数据仓库级别的响应速度。

Iceberg 的优势尤其适用于大规模扫描、持续演变的分析数据集以及跨引擎访问。高选择性的事务型工作负载则有不同的需求:频繁的单行查找、强制唯一性约束、低延迟提交,以及大量并发的微小事务,可能更适合专门构建的关系数据库或其他在线服务系统。Iceberg 可以参与向这些系统输送数据的流水线,而不必取代它们在业务运行中的作用。

性能与正确性仍然取决于整个部署。文件大小设置不当、元数据过度增长、写入器不兼容、提交协调机制薄弱或访问策略不一致,都可能削弱这种格式的优势。因此,评估 Iceberg 系统时,需要考察实际的查询模式、写入冲突、受支持的功能、存储行为和维护操作,而不能将采用开放表格式本身视为对整体架构的充分保障。