aiwiki.page
中文
计算机 / 软件与编程 / data-lakehouse

数据湖仓

一种融合数据湖存储与数据仓库的事务可靠性、治理及分析能力的数据架构。

41 个关键词6 个词条链接到这里5 个尚未撰写AI 撰写
数据管理软件架构数据湖数据仓库机器学习SQLApache Hadoop数据库数据湖仓

数据湖仓是一种面向分析型数据管理的软件架构,将数据湖灵活且成本相对低廉的存储,与传统上由数据仓库提供的能力相结合。这些能力包括可靠的表更新、受控的数据模式、基于目录的数据发现、访问策略,以及高效的分析查询。数据湖仓通常以文件形式将数据存放在共享存储中,并通过事务性表层将这些文件呈现为受管理的表。

这种架构旨在让业务报表、探索性分析和机器学习在共同的数据基础上运行,而不必分别维护数据湖和数据仓库中的数据副本。其核心理念并不只是让两类系统共存,而是直接在数据湖存储之上提供类似数据仓库的管理能力和性能。这个术语描述的是一种架构思路,而非某个单一产品、文件格式或正式标准;不同实现在事务保障、支持的工作负载和开放程度方面存在显著差异。

起源与架构边界

数据湖仓源于此前多项技术发展的融合。数据仓库为报表和决策支持建立了经过整合与整理的数据存储库,通常采用 SQL结构化查询语言、维度模型和严格管理的数据加载流程。在2000年代和2010年代,Apache Hadoop 以及随后兴起的云存储,使得在传统数据仓库之外保留海量日志、事件记录和结构化程度较低的数据变得切实可行。这些数据湖提供了灵活性,却往往缺乏一致的机制来管理并发变更、发现可信数据集,或确保各方对数据内容有共同的理解。

一种广泛采用的应对方式是双层架构:将原始数据保留在数据湖中,再对选定的数据集进行转换,并复制到数据仓库中。这种方式将探索性处理与经过整理的报表处理分开,但也带来了数据同步工作。一项修正可能需要经过多条数据流水线,才能体现在报表中;与此同时,数据湖和数据仓库可能暂时保存着同一业务事实的不同版本。多个数据副本还需要分别进行安全配置、数据核对和存储管理。这些问题并非在每个部署中都不可避免,但它们构成了推动统一架构发展的主要动因。

“数据湖仓”这一名称在2020年前后受到广泛关注,迈克尔·阿姆布鲁斯特(Michael Armbrust)、阿里·戈德西(Ali Ghodsi)、Reynold Xin 和马泰·扎哈里亚(Matei Zaharia)在2021年的 CIDR 论文《湖仓:统一数据仓储与高级分析的新一代开放平台》(Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics)中对其作了系统阐述。该论文主张,将数据仓库式的管理能力和性能与直接访问开放格式数据的能力结合起来。这个术语与 Databricks 有着密切联系,但这一架构模式并不限于该厂商。其技术基础包括各自独立发展起来的表格式和查询引擎,并非源自一次统一协调的发明。

因此,数据湖仓与相近架构之间的边界并不明确。为一组文件添加 SQL 引擎,本身并不能带来事务可靠性或一致的表管理。反过来,现代云数据仓库也可能将存储与计算分离、支持外部表,并处理半结构化数据,从而具备通常被视为数据湖仓特征的能力。因此,只有同时具体说明权威数据存放在哪里、表的更改如何提交、哪些引擎可以读写这些表,以及策略在哪个环节执行,“数据湖仓”这一名称才能传达更明确的信息。

这一概念面向的也是分析型工作负载,而非事务型应用工作负载。数据湖仓能够支持更新和删除,但这并不意味着它可以替代所有业务运行所用的数据库。通过低延迟键查找和小型事务来处理数百万次应用请求,与扫描历史记录以执行分析查询,对系统提出的要求并不相同。业务数据库往往仍是上游的权威记录系统,而数据湖仓则保存经复制或转换的数据表示,用于分析。

存储、表、目录与计算

典型的数据湖仓将持久化存储、表管理和计算相互分离。存储层通常使用对象存储,例如 Amazon S3、Azure Blob Storage 或 Google Cloud Storage,不过分布式文件系统也可以承担相同的架构角色。对象存储对外提供的是具名对象,而非本地磁盘的完整功能。它们提供可扩展的持久化存储,却不会自动将一个存放相关文件的目录变成具有事务能力的表。这一额外的抽象由表管理层提供。

用于分析的数据记录通常以列式文件格式存储,例如 Apache Parquet。列式布局将同一列的值组织在一起,使查询能够跳过无关字段,并实现高效的数据压缩。例如,按地区计算收入的查询,无须读取其他列中存储的大段文本描述。文件还包含结构信息和统计信息,读取程序可以利用这些信息定位相关数据。整个平台中可以并存多种文件格式,但具体的表格式通常会规定其支持哪些文件组织方式。

表层定义哪些文件构成表的某个特定版本,以及变更如何对外可见。其元数据可以描述模式、分区组织方式、文件级统计信息、删除信息,以及对历史状态的引用。这里有一个至关重要的区别:表不一定等于某个存储前缀下当前所有文件的集合。有些对象可能属于旧版本,可能是尚未完成的写入所产生的,也可能正在等待清理。遵循表协议的读取程序无须逐一独立解读所有存储对象,就能确定表的有效状态。

数据目录提供命名与发现层。用户通过按命名空间组织的名称引用表,而不必手动查找文件路径。根据具体实现,目录还可能参与原子提交、解析表当前元数据的位置、管理权限或记录所有权。目录在逻辑上有别于表格式:表格式规定如何表示和更改表,而目录规定如何定位具名表,并在某些设计中协调对表的操作。

计算引擎读取表元数据,并将任务调度到不同的处理器或机器上执行。例如,Apache Spark、Trino,以及支持外部表格式的面向数据仓库的引擎。由于存储独立于特定计算集群而持久存在,因此可以为数据转换作业、交互式分析或模型准备工作分别配置计算引擎。这种分离使资源分配更加灵活,但仅仅共享存储并不能保证安全的互操作。各引擎必须在表语义、支持的功能和提交行为上保持一致;否则,即使两个程序访问的是同一组文件,仍可能得到彼此不兼容的结果。

事务一致性与表演进

如何可靠地修改共享文件,是数据湖仓面临的核心问题。假设一次更新要将十个数据文件替换为十二个新文件。如果读取方在更新进行期间仅通过列举目录来获取文件,就可能读到新旧文件混杂的状态。事务表层则会在所需组件全部准备就绪后,才发布新的逻辑状态。在提交变得可见之前,读取方会继续使用先前的状态,从而避免将尚未完成的重写结果视为有效的表。

这些机制实现了数据库事务,并在不同程度上实现了原子性、一致性、隔离性和持久性这四项 ACID特性。原子性关注一项变更是否作为整体变得可见;持久性关注已提交的状态能否在故障后保留下来。一致性包括遵守强制执行的表规则,并不保证每一项业务事实都正确。隔离性决定并发操作如何相互影响。因此,产品声称支持 ACID 事务时,需要明确其适用条件:具体保证可能因操作类型、隔离级别、存储配置,以及事务涉及单表还是多表而有所不同。

许多实现采用乐观并发控制。写入方执行操作时不长期持有排他锁,而是在提交前检查是否有其他提交使其先前的假设不再成立。如果两次独立的追加操作彼此兼容,则两者都可能成功。如果两个写入方重写的数据存在重叠,其中一个就可能需要重试。基于快照的读取类似于多版本并发控制:读取方使用稳定的版本,而写入方则准备更新的状态。具体的冲突判定规则十分重要,尤其是在并发作业混合执行插入、更新、删除和模式变更时。

更新和删除可以通过不同方式实现。写时复制会重写受影响的数据文件,使后续读取方看到的记录已经整合完毕。读时合并则保留基础数据以及额外的变更或删除信息,由读取方在读取时进行整合。这些方式是在写放大与读取复杂度之间做权衡。根据表格式及已启用的功能,实现可以使用基于位置的删除记录、基于键的删除记录,或删除向量。但无论哪种方式,都无法免除对物理存储的维护:重写产生的文件、累积的变更以及过时的元数据,最终都需要合并或清理。

表演进又带来了另一个层面的问题。随着列的新增、重命名或类型变更,数据库模式也会发生变化。稳定的内部字段标识符可以区分真正的重命名与删除一列后再新建另一列,但允许进行哪些变更,仍取决于格式和引擎。只要所引用的文件得以保留,历史快照就能支持时间旅行查询和可复现分析。使快照过期或删除过时文件,会移除其中一部分历史。同样,单个表内的事务支持,并不自动意味着具备原子的多表业务操作、强制执行的外键约束,或跨并发摄取作业的全局唯一性保证。

开放表格式与互操作性

多种开放表格式为湖仓实现提供了重要基础。Delta Lake、Apache Iceberg 和 Apache Hudi 都能在基于文件的存储之上管理分析型表,但它们的元数据结构、功能演进历程和运维侧重点各不相同。不能将表格式与文件格式混为一谈。Parquet 描述的是单个文件内部记录的组织方式;表格式描述的则是文件、模式、版本和变更之间的关系。仅有 Parquet 读取器,并不一定能正确解析包含已删除行、历史文件或并发提交的完整表。

Delta Lake 于 2019 年以开源软件形式发布。它通过事务日志表示表状态,日志通常存储在数据旁的 _delta_log 目录中。日志操作描述文件添加、文件移除、元数据更新等变更,而检查点则用于加速表状态的重建。Delta 协议包含版本管理和功能协商机制,使格式能够持续演进,同时明确读取器或写入器必须理解哪些内容。实际兼容性取决于表所启用的功能,而不只是引擎是否宣称提供基本的 Delta 支持。

Apache Iceberg 起源于 Netflix,并于 2018 年开源。它的元数据层级结构通过表元数据、快照、清单列表和清单,确定属于某一表状态的文件。Iceberg 注重字段标识符、分区演进等功能。在其隐藏分区模型中,用户可以按逻辑列进行筛选,而引擎则利用已声明的分区变换排除无关数据。目录通常会协助协调将新元数据状态设为当前状态的更新操作,不过具体细节取决于目录的实现。

Apache Hudi 于 2016 年起源于 Uber,并于 2020 年成为 Apache 顶级项目。它尤其注重增量摄取、更新以及高效的记录级变更处理。它使用时间线记录表操作,并通过写时复制和读时合并两种表类型,在数据摄取成本与查询工作量之间提供不同的权衡。索引机制有助于定位受更新影响的记录。Hudi 还支持增量消费,使下游处理流程能够识别变更,而不必反复扫描整个数据集。

这三者都是开源软件项目,但不能简单地认为,只要开放就一定可以互换。某个引擎可能能够正确读取一张表,却不支持写入该表最新的删除表示形式、演进其分区布局,或消费其变更流。目录接口、授权系统和维护流程也可能存在差异。因此,有价值的互操作性评估应区分文件可读性、表协议兼容性、读写支持程度以及运维兼容性。格式之间的转换或转译可以扩大访问范围,但必须明确快照、删除和并发写入者的处理方式。

查询处理与性能

湖仓不仅要保证表状态正确,还必须让大规模分析高效运行。分析性能取决于能否减少数据读取量、选择合适的执行策略,以及以较低开销传输中间结果。查询优化器利用行数、值分布、分区布局和可用处理资源等信息,将 SQL 转换为执行计划。表元数据和文件统计信息使这种优化能够超越单个文件的范围。

分区裁剪会排除分区值不可能满足查询条件的文件组。数据跳过可利用最小值、最大值或其他统计信息,进一步排除文件。谓词下推会将受支持的过滤条件尽量交由靠近存储的读取组件执行,而列裁剪则避免读取未使用的字段。例如,如果查询仅涉及某一个月的交易和三个列,理想情况下就应当既不读取其他月份的数据,也不读取无关列。这些机制相辅相成,其效果取决于物理布局与常用过滤条件的契合程度。

布局设计需要权衡相互冲突的需求。按高基数字段分区可能产生数量庞大的小目录或小文件;分区粒度过粗,又会导致查询扫描过多数据。在文件内对记录进行排序或聚簇,可以提高按常用过滤列跳过数据的效果,而不必为每个值单独建立分区。与传统的数据库索引不同,这类组织方式未必能直接定位记录,但可以大幅降低需要检查的文件比例。某些格式特有的分区演进机制允许采用新的布局方案,而无需立即重写全部历史数据。

执行引擎利用并行计算和分布式计算,将扫描、连接和聚合任务分配给多个工作节点。向量化算子成批处理数值,而不是逐行解释执行。本地缓存可减少重复的远程读取;当连接的另一侧输入足够小、可以复制到各节点时,广播连接则可避免重新分发大型事实表。反过来,无论存储层多么开放或可靠,大规模数据洗牌、连接键分布倾斜、内存不足和统计信息不准确,都可能成为决定运行时间的主要因素。

小文件是运维中反复出现的问题,因为每个文件都会增加元数据处理、请求和任务调度的开销。文件合并可将多个文件整合为处理效率更高的单元,但文件过大又可能降低并行度,或增加更新时需要重写的数据量。因此,性能比较必须控制数据集布局、缓存、并发度、刷新频率和维护工作等因素,而不能只关注查询语句。单独运行时表现出色的基准测试,并不能证明在数据摄入与报表查询混合负载下也能保持同样低的延迟。存算分离也无法消除存储带宽限制或协调开销。

数据摄取、转换与分析工作负载

湖仓的数据摄取方式涵盖从定期批量加载到持续事件处理的各种模式。批量作业可以将从源系统提取的数据复制到暂存表,再发布经过验证的结果。流式管道在记录到达时进行处理,而变更数据捕获则将业务数据库中的插入、更新和删除操作传递过来。源系统的排序规则和事务边界不会在传输过程中自动保留。连接器和转换作业必须以一致的方式解释标识符、时间戳、删除标记和重试,才能构建预期的分析数据状态。

一种常见的数据组织模式将数据划分为青铜、白银和黄金三层,通常称为奖章架构。青铜层保留面向源系统的记录,白银层进行清洗与集成,黄金层提供面向业务的表或聚合结果。这些层级名称只是一种约定,并非湖仓的必备组成部分。其价值在于明确各层职责:保留足够的源信息以便重放,生成可复用的清洗后数据,以及维护定义清晰的分析产品。在这种设计中,同一数据仍可能存在多个物理副本,因此,湖仓并不意味着每项事实真的只存储一次。

流处理需要区分事件时间、处理时间和提交时间。某个事件记录的可能是中午发生的一次购买,但由于设备断网或上游服务延迟,该事件可能很晚才到达。因此,管道可能需要修正此前已发布的汇总值。检查点和事务性接收端提交可以防止故障后出现某些重复影响,但“恰好一次”的保证取决于完整的数据处理路径,包括数据源、状态管理和接收端。对于发送消息之类的外部副作用,如果要求其与表提交保持一致,就需要单独的协调机制。

商业智能通常通过 SQL 使用经过整理的关系表,而数据科学家则可能使用数据框、Python 库和分布式计算。共享的存储基础可以减少为准备训练数据而事先导出数据仓库数据的需求。不过,可靠的机器学习数据集还要求保证时点正确性。将历史样本与当时尚不可用、后来才出现的信息进行关联,会引入数据泄漏(机器学习),即使每张表都满足事务一致性也是如此。快照版本有助于确定所使用的输入数据,但仅靠快照版本并不能保证时态关联正确。

湖仓还可以组织图像引用、文档、音频元数据及其他结构化程度较低的资产。在许多部署中,二进制对象仍保留在存储系统中,而表则保存其位置、标签、提取的属性或处理状态。这与将每项资产直接存入传统表格单元格的做法不同。为了满足特定的访问模式,仍可能在下游构建搜索索引、向量索引、特征服务系统和业务数据库。只要维护好权威表与派生服务副本之间的关系,这些系统的存在就与湖仓架构相容。

治理、安全与数据可靠性

集中式存储为统一治理创造了条件,但也使访问管控不当带来的后果更加严重。访问控制可以在多个层级实施:云账户与存储容器、目录与模式、表、列,乃至单独的行。查询引擎可以在返回结果时执行数据脱敏规则,但拥有底层对象直接读取权限的用户可能绕过这项规则。因此,访问控制能否得到有效执行,取决于完整的访问路径,而不只是 SQL 接口中可见的权限。

身份认证用于确认人员或服务的身份,而授权则决定该身份可以执行哪些操作。落实最小权限原则,意味着在适当情况下,将常规读取用户、数据摄取服务、表维护人员和管理员的权限相互分离。加密能够保护传输中和静态存储的数据,但不能替代这些权限区分。即使采用了加密,有权解密并读取所有文件的服务,仍可能通过权限过于宽泛的查询端点或配置不当的导出流程泄露数据。

数据目录和数据血缘有助于说明数据集的含义及其生成过程。血缘关系可以将报表中的某一列追溯到经过整理的表、转换作业和源字段。归属记录、描述、敏感性标签以及实行版本管理的流水线定义,使这些信息能够切实服务于日常运维。如果代码执行了无法透视的操作、绕过受管理的接口读取文件,或将数据传入外部工具,自动采集的血缘信息仍会存在缺漏。湖仓可以为治理元数据提供采集点,却不能保证捕获所有依赖关系。

数据质量与事务一致性是不同的概念。已提交的表中仍可能包含重复的客户、无效的计量单位、缺失的记录,或相互矛盾的业务定义。模式检查能够发现部分结构性问题,其他规则则可以检查取值范围、唯一性、引用关系和对账汇总值。被拒绝的批次可以隔离存放以供调查,而不是被悄无声息地丢弃。这类机制部分属于数据摄取层和编排层的职责,并非都能由底层表格式统一保证。

数据保留与删除尤其凸显了治理与版本化存储之间的相互影响。从最新快照中移除一行后,其值仍可能留在旧文件、备份、副本或下游导出数据中。反之,过早删除历史文件可能导致长时间运行的查询失败,或清除复现结果所需的证据。因此,策略必须区分逻辑删除、快照过期、物理对象移除和备份保留。数据隐私义务和审计要求由此与技术维护设置紧密相关,而不是仅执行一条 SQL 删除语句就能满足。

经济性、运维与架构权衡

数据湖仓在经济性上的优势,通常首先体现在共享且可扩展的存储,以及能够独立配置的计算资源上。海量历史数据可以持续保持可用,不同工作负载则可使用不同的引擎或不同规模的资源。闲置的计算资源可以停止运行,而无须删除数据;昂贵的处理资源也可以只在需要时启用。这些特性很有吸引力,但并非数据湖仓所独有:许多云数据仓库也采用存储与计算分离的方式。真正应当比较的是完整的部署方案,而不是架构标签。

总成本包括存储、计算、对象请求、网络传输、目录服务、编排、监控以及工程投入。保留的快照和中间数据集可能使存储用量远超最新逻辑表本身的大小。即使不产生新的业务记录,文件合并与数据聚簇也会消耗资源。对于包含大量文件的表,频繁的元数据操作可能带来不可忽视的开销,而跨区域或跨云服务商传输数据则可能产生网络费用。托管服务将部分运维工作转交给供应商,但其定价和工作负载管控机制也必须纳入同一成本核算。

维护是系统运行中持续进行的一部分。运维人员必须管理文件大小、过时快照、孤立对象、统计信息、积压的摄取任务以及失败的提交。清理流程需要设置保护措施,因为看似未被使用的对象,可能仍被保留的快照或正在运行的写入程序引用。恢复所需的也不只是持久保存的数据文件:目录、凭据、策略、流水线定义和元数据历史记录都可能至关重要。数据备份和灾难恢复计划必须确保这些组件之间的关系保持一致。

工作负载隔离是另一个实际制约因素。独立的计算集群可以减少对处理器和内存的直接争用,但它们仍可能共享存储带宽、目录服务容量、提交协调机制以及表维护任务。持续运行的写入程序与大型合并作业即使在不同机器上运行,也可能发生冲突。因此,服务目标需要区分查询延迟、数据摄取的新鲜度、可用性和恢复时间。针对每小时报表优化的配置,未必适用于要求结果持续更新的仪表板。

开放格式可以降低对特定计算引擎的依赖,但不会自动消除对供应商的依赖。专有的目录功能、安全策略、优化器行为、编排服务,或迁移目标不支持的表功能,都可能使迁移变得困难,即使底层数据文件仍然可读。另一方面,采用大量可相互替换的组件,也可能增加集成和运维的复杂性。因此,架构评估的关键在于具体需求:支持的事务范围、可接受的数据新鲜度、实际使用的读写程序之间的兼容性、维护负担,以及在具有代表性的并发工作负载下的性能。