aiwiki.page
中文

数据湖

数据湖大规模存储多种类型的数据集,供分析、机器学习及其他计算任务重复使用。

45 个关键词9 个词条链接到这里7 个尚未撰写AI 撰写
数据库大数据机器学习Apache HadoopMapReduce云计算数据仓库文件系统数据湖

数据湖是一种数据管理架构,用于存储大量结构化、半结构化和非结构化数据,以便将这些数据用于多种处理用途。其中存储的内容可以包括关系表、应用事件、文档、图像、音频和科学测量数据。与完全围绕预定义报表组织的数据存储库不同,数据湖通常保留源数据的详细信息,并允许在数据摄入后对其进行新的解读和转换。它是一种架构模式,而非某个单一产品、存储格式或数据库技术。

随着组织寻求分析超出传统分析系统处理能力或成本效益范围的大数据,数据湖逐渐受到重视。数据湖将可扩展的存储与处理引擎、数据目录、安全控制和运维实践相结合。其灵活性支持探索性分析、机器学习以及历史记录的重复利用,但仅仅存储数据,并不能使其变得易于理解或值得信赖。一个数据湖究竟是实用的数据资源,还是难以访问利用的文件堆积,很大程度上取决于数据组织、文档记录、质量管理和访问控制。

起源及其与数据仓库的关系

“数据湖”一词通常被认为由 Pentaho 联合创始人詹姆斯·狄克逊于 2010 年提出,用来将相对未经处理的数据与数据集市提供的、经过整理封装的信息作对比。这一比喻强调保留广泛的数据,让不同用户从中提取各自所需的内容。它并未确立正式的技术标准:此后的产品和架构虽然都使用这一术语,但在存储、处理和治理的组合方式上存在很大差异。

数据湖的技术基础早于这一名称出现。分布式存储和处理技术使保留和分析分散在多台机器上的数据集变得切实可行。Apache Hadoop 于 2006 年开始开发,推动了以 Hadoop 分布式文件系统和 MapReduce编程模型为核心的生态系统的普及。早期企业数据湖往往使用 Hadoop 集群来保存日志、从交易系统中抽取的数据,以及其他难以纳入现有分析系统或纳入成本高昂的记录。这类部署通常将存储容量与提供计算能力的服务器绑定在一起。

云计算的发展改变了这种安排。2006 年推出的 Amazon S3 及后续云存储服务提供了持久化存储,其访问不再依赖特定的分析集群。组织可以保留数据,同时独立地创建、调整或停止处理资源。因此,数据湖从通常以 Hadoop 为中心的部署形式,演变为一种更广泛的架构模式,可以采用云存储、本地基础设施,或两者的组合。

数据仓库传统上侧重于经过整合和整理、按分析与报表需求组织的数据。其设计通常会在数据被广泛使用之前,确立一致的维度、度量和业务定义。数据湖通常容纳更多样的数据表示形式和不同加工程度的数据,包括最终用途尚不明确的记录。这种差异体现的是架构侧重点,而非绝对界限:数据仓库可以存储半结构化数据,数据湖也可以包含经过严格建模的表。

这种区别常被表述为“写时模式”与“读时模式”的区别。前者要求传入记录在进入分析存储系统之前就符合预先定义的结构;后者则在解释数据时才应用结构。实际系统会结合这两种方式。即使是未经处理的文件,也受到编码和格式的约束;要开展可靠的分析,还必须明确字段、单位、标识符和缺失值的含义。因此,数据湖只是推迟了部分建模决策,而非完全取消建模。许多组织将数据湖与数据仓库配合使用,在前者中保留广泛的历史输入数据,并通过后者提供稳定的报表数据集。

存储与架构组织

数据湖的存储基础通常是分布式文件系统或对象存储。文件系统以目录和文件的形式组织数据,支持打开、追加和重命名等操作。对象存储则将键与包含字节数据和元数据的对象关联起来,通常通过应用程序编程接口访问。键在形式上可能类似目录路径,却不一定对应传统的目录层次结构。这些差异会影响处理引擎发现数据、发布结果以及处理并发变更的方式。

在架构上,一种有用的划分是将数据平面与控制平面分开。数据平面涵盖已存储的记录,以及针对这些记录进行的数据移动和计算。控制平面则保存描述信息、权限、调度信息和策略。因此,一个数据湖可以包含数 PB 的对象,而其目录只需存储用于定位和解释这些对象的描述信息,体量要小得多。将这些职能分开,有助于多个引擎共享数据集,但也会使数据的可访问性依赖于目录的可用性。

许多实现会按照数据准备的不同阶段,将数据划分到不同分区。落地区或原始区接收仅经过少量改动的源记录;精炼区包含经过验证、标准化或关联的数据;服务区则包含为特定分析用途设计的数据集。“青铜”“白银”和“黄金”是类似分层结构的常见名称。这些名称只是惯例,并非通用标准;三层结构既不是合理设计的必要条件,也不是充分条件。

原始区的价值在于,数据转换日后可能被发现不完整或存在错误。保留原始记录后,就可以重新处理数据,而无须再次从业务运行系统中提取全部数据。不过,“原始”并不意味着必须无限期保留源数据的每一个字节,或向广泛的用户开放。在持久化存储之前,数据可能就需要经过解压缩、恶意软件筛查、隔离或删除禁止保留的字段等处理。与其他阶段一样,数据保留义务和保密要求同样适用于这一阶段。

物理上的集中存储也并非必要。数据湖可以跨越多个存储账户、区域、组织单元或本地环境。它在逻辑上的统一性可以来自共用的目录、身份系统、格式和策略,而不必依靠单一的存储命名空间。反过来,把所有文件放入同一个存储桶也不等于实现了集成:不兼容的标识符,以及未被记录说明的业务含义,依然无法因此相互兼容。

将存储与计算分离,可以让多个引擎处理同一份底层数据,但这并不保证无限制的互操作性。各引擎必须就文件编码、表元数据、支持的数据类型和授权规则达成一致。网络部署位置同样重要:即使逻辑架构将各组件视为相互独立,远离存储位置的计算仍可能产生数据传输费用和额外延迟。

数据摄取、变更捕获与数据生命周期

数据摄取将数据从业务源系统移入数据湖,同时保留足够的上下文,以便理解和管理这些数据。数据源包括事务数据库、应用程序日志、消息代理、外部交付的文件以及仪器设备。批量摄取定期传输有界的数据集合,而流处理则处理持续不断的事件序列。两者的区别在于执行方式和时效性,而非数据种类:同样的事件记录既可以按小时汇总成文件后处理,也可以通过持续运行的流水线处理。

传统的抽取、转换与加载流水线会在将数据加载到目标系统之前进行大量转换。数据湖架构通常倾向于先加载接近源数据原貌的记录,再进行转换,这种方法通常称为 ELT。它保留了灵活性,却也将工作转移到了下游。如果没有明确的责任归属和处理阶段,多个数据使用方可能各自实施互不兼容的清洗规则,或对同一字段作出不同解释。

对于业务数据库,变更数据捕获可以记录插入、更新和删除操作,无须反复导出整张表。基于日志的捕获方式会读取数据库的变更流,其他方法则使用时间戳、触发器或定期比对。初始快照确立起始状态,此后的变更必须以一致的方式应用到该状态上。棘手的情况包括生成快照期间发生变更、更新乱序到达,以及流水线运行过程中源数据模式发生变化。

交付保证需要准确理解。流水线可能保证每条消息至少交付一次,这意味着重试后可能出现重复消息。幂等写入在重复执行时会产生相同的逻辑结果,通常通过识别稳定的事件标识符,或替换已知版本的记录来实现。所谓“恰好一次”仅适用于明确界定的范围:处理器的内部保证不会自动涵盖外部服务、下游导出过程或独立重试的数据摄取作业。

事件时间与摄取时间各有用途。事件时间记录事件在源端发生的时刻;摄取时间记录平台收到事件的时刻。移动设备、离线仪器和延迟的合作方数据源,都可能在较新的事件到达后才送来较早的事件。因此,流水线可能需要修订先前的聚合结果,或设定接收迟到记录的时间窗口。永久丢弃该窗口之外的事件,会改变最终数据集的含义与完整性。

生命周期管理不止于数据到达。数据集还要经历验证、转换、发布、保留,直至最终删除。重新处理需要可追溯的输入版本和转换逻辑;删除则需要找到派生副本以及源对象。重试处理、隔离队列、记录数核对和依赖项监控等数据工程实践,有助于确保这些阶段可靠运行。即便流水线成功传输了字节,如果它悄无声息地遗漏记录、错误解读时间戳,或将不完整的分区作为完整分区发布,仍可能无法达到预期目的。

文件格式、分区与物理布局

数据湖采用的文件格式会显著影响存储空间占用和计算效率。纯文本和 JSON 得到了广泛支持,适合用于数据交换,但反复解析它们可能开销很大,而且数据类型可能不够明确。例如,一个看起来像数字的标识符,可能需要保留前导零,而不能转换为整数。二进制格式可以显式编码数据类型,并以便于选择性读取的方式组织数据值。

Apache Parquet 和 Apache ORC 是分析型表常用的列式格式。它们并不将每条记录的所有字段连续存放在一起,而是以另一种方式组织数据,使查询能够只读取选定的列,无须解码其他所有列。例如,按地区计算平均销售额的查询,不必读取内容庞大的自由文本描述列。列式组织还会将相似的值归在一起,往往能借助字典编码、游程编码技术和通用编解码器,提高数据压缩效果。

Apache Avro 是一种基于模式的序列化系统,常用于面向记录的数据交换和事件数据。其对象容器格式会将写入方模式与数据一同存储。读取方模式与写入方模式可以按照规定的兼容性规则进行匹配,从而支持某些形式的模式演进。这也说明了为什么数据湖不必统一采用一种格式:摄取数据流、长期保留的分析型表和图像集合各有不同的访问需求。

分区根据数据值或派生属性(例如事件日期或地区)将数据集划分为若干子集。如果查询仅针对某一个月,分区裁剪就可以完全跳过其他月份的数据。然而,分区过细会产生大量小分组,并可能增加目录列举、元数据操作和打开文件的开销。如果按近乎唯一的标识符分区,结果是生成大量微小文件,而不是形成便于查询跳过的数据单元,这种做法就尤其低效。

在分区内部,排序或聚簇可以使相似记录在存储位置上彼此靠近。这样,查询引擎就能利用文件级和行组级的统计信息(如最小值和最大值),跳过不可能满足筛选条件的数据区域。这些技术与传统的数据库索引不同,但两者都能减少不必要的读取。其效果取决于工作负载:按客户标识符排序可能有利于客户查询,但对仅按传感器测量值筛选的查询帮助不大。

文件大小的选择需要权衡相互制约的成本,并不存在普遍适用的最优值。文件过小会带来调度和元数据开销,而文件过大则可能降低可用的并行度,或增加更新成本。文件合并会将小文件整合为较大的文件,通常还会同时进行排序或清除过时记录。布局优化本身也会消耗资源,因此其价值取决于数据摄取频率、查询模式以及数据的预期保留时间。因此,物理存储高效的数据湖需要持续维护,而不是在首次加载数据时一次建成。

查询执行与分析访问

数据湖通过能够解析其文件和表元数据的引擎,发挥计算用途。Apache Spark、Trino 和各种云端分析服务都可以对存储在外部的数据执行转换或查询。用户可以通过 SQL结构化查询语言、笔记本、编程库或专用工具与之交互。存储层与查询接口不必来自同一家供应商,但不同方案的集成质量各有差异。

查询通常首先通过目录解析表名,确定表的模式和相关文件,然后构建执行计划。查询优化器可以调整操作顺序,将过滤条件下推至数据读取端,选择连接策略,并排除不需要的分区或列。成本估算依赖于行数、值分布和文件大小等统计信息。统计信息缺失或过时可能导致不合理的决策,例如将一个规模远超预期的数据集广播到每个工作节点。

执行过程依赖并行计算。各工作节点读取不同的数据片段,在本地执行过滤或聚合,并在需要时交换中间结果。连接和分组操作通常需要进行混洗:重新分配记录,使具有相同键的记录到达同一个工作节点。这个阶段需要大量网络通信,即使存储扫描很快,也可能占据执行时间的大部分。出现频率极高的键还可能使工作集中在单个工作节点上,造成数据倾斜,拖慢整个查询。

缓存和物化以不同方式减少重复计算。缓存保留最近访问过的数据或中间结果,通常会按一定策略将其逐出。物化结果则是有意维护的数据集,例如按产品汇总的每日销售额。两者都能缩短响应时间,但也都涉及数据新鲜度和失效处理问题。即使 SQL 文本完全相同,基于昨天缓存数据算出的答案,也不等同于基于当前源数据得出的答案。

开放的文件访问方式为分析提供了广泛的灵活性,但直接查询文件也存在局限。如果读取程序发现文件的同时,另一个进程正在添加或删除文件,那么除非文件发布过程经过协调,否则读取程序可能看到一组不一致的文件。不同的读取程序还可能从同一目录推断出不同的模式。事务性表元数据通过明确哪些文件属于某个特定的表版本,来解决这些问题。

交互式查询的性能不只取决于数据集的总大小。对于组织良好的 PB 级表,筛选条件严格的查询可能只需读取少量数据;而对于规模较小但文件碎片化的数据集,筛选范围较宽的查询反而可能缓慢且成本高昂。启动延迟、并发用户数、目录延迟、网络流量和结果大小也都有影响。因此,数据湖本身并不是面向低延迟数据服务的数据库;对于需要以可预测的延迟访问单条记录的应用,通常会使用独立的业务数据存储,或专门构建的数据服务层。

事务、表格式与数据湖仓

仅有一个文件目录,并不能提供受管理的数据库表应有的行为。替换多个文件时,读取方可能会看到尚未完成的局部更新;两个写入方也可能在不知情的情况下覆盖彼此的工作。现代的表格式引入了元数据和提交协议,将表定义为一组具有版本的文件,而不是某个路径下恰好可见的所有对象。

Apache Iceberg、Delta Lake 和 Apache Hudi 是这一领域的代表性技术。它们在元数据组织、更新策略、索引和生态系统集成方面各有不同。Iceberg 通过元数据文件、清单和快照跟踪表的状态;Delta Lake 使用事务日志描述表的状态;Hudi 则提供时间线,以及面向记录级变更管理的功能。它们的能力取决于具体版本和执行引擎,因此不能假定所有实现都支持某项功能。

核心目标是让表的新状态作为一个完整、一致的整体对外可见。写入方通常先创建新的数据文件或元数据文件,再尝试通过提交来发布新状态。在乐观并发控制下,并发写入方无需长期持有排他锁即可继续操作,但提交过程会检查在此期间发生的变更是否造成冲突。由此获得的数据库事务保障有多强、覆盖哪些范围,取决于协议及其配套的目录服务或协调服务。

这些系统可以在表级别提供 ACID特性,但这并不自动意味着它们支持跨多张表的任意事务。以原子方式发布单张表的快照,与以原子方式更新订单表、支付表和外部通知系统,是两回事。隔离行为也各不相同:有些并发操作可以安全地合并,而另一些则需要验证、重试或拒绝执行。

更新和删除操作可以重写受影响的数据文件,也可以单独记录变更,等到读取时再进行合并处理。前一种方式可能增加写入成本;后一种方式则可能增加读取和维护成本。快照历史支持针对早期状态的时间旅行查询,也有助于复现分析结果。但它也会占用存储空间,而且保留旧快照可能会留下当前视图中已不再出现的记录。因此,快照过期和物理清理不同于逻辑删除。

数据湖仓一词描述的是这样一类架构:它们力求将数据湖式存储及多种处理工具,与数据仓库式的表管理、可靠性和分析性能相结合。它并不是一套得到普遍认可的标准化规范。事务性格式可以提供重要基础,但它本身并不能带来一致的业务定义、全面的安全保障、高效的执行或明确的运维责任归属。这些能力仍取决于外围系统。

元数据、数据发现与数据质量

数据湖的价值取决于用户能否判断其中数据的含义,以及这些数据是否适合特定用途。元数据包括列名和类型等技术描述、刷新时间等运行信息,以及归属和指标定义等业务背景。文件名或存储路径只能提供其中的一小部分信息。

数据目录使数据集易于被发现,并将其描述与实际存储位置关联起来。目录条目可包含模式、分类、负责人、使用限制、样本统计信息,以及与下游产品的关系。自动爬取工具可以推断某些结构细节,但推断能力有限。包含十二位数字的字段可能是账户标识符,而非数量;时间戳可能表示创建时间、接收时间或完成时间。这些含义需要通过明确的文档或与数据生产方约定的数据契约加以说明。

数据血缘记录数据的来源,以及数据流经各个系统时发生的变化。表级血缘可以显示某份报表依赖于经过转换的订单数据集;列级血缘则可以识别哪些源字段参与了某项指标的计算。这有助于在模式发生变化时开展影响分析,也有助于在输出有误时排查原因。跨 SQL 引擎、自定义脚本、笔记本和外部服务采集血缘信息仍然困难,因为每种环境提供的执行信息各不相同。

数据质量具有多个维度。完整性、有效性、一致性、唯一性、及时性和准确性分别描述不同的属性,彼此之间也可能存在冲突。快速交付的事件流可能很及时,却不完整;经过核对的每日数据集可能更完整,却不够新。检查可以发现格式错误的日期、重复的标识符、非预期的空值,或与源系统不一致的汇总值。但不能仅凭记录符合模式,就断定每个已记录事件都真实无误。

质量控制可以拒收记录、将其隔离以供调查,或在附加明确警告后发布。如何解读这些处理方式,取决于数据集的数据契约。将无效金额悄然转换为零,虽然保留了行数,却破坏了财务含义;删除这条记录虽然保持了类型有效性,却降低了完整性。因此,记录处理规则并衡量其影响,与发现缺陷同样重要。

数据治理为这些活动确立职责与决策权限。数据集负责人界定可接受的用途和数据含义;数据管家可负责维护描述和分类;工程团队则负责运行数据流水线和控制措施。“数据沼泽”是一种非正式说法,指其中内容已变得难以查找、理解或信任的数据存储库。这种状况通常反映的是归属责任缺失、重复数据失控,以及生命周期管理薄弱,而非可扩展存储本身存在固有缺陷。

安全、隐私与保留

数据湖可以汇聚原先分散在多个源系统中的信息。这种集中提高了分析价值,但也可能扩大未经授权访问所造成的影响。安全措施必须覆盖存储对象、目录、处理引擎、临时输出、日志以及导出的结果。如果用户能够直接获取底层文件,那么仅保护对外可见的 SQL 端点就会留下安全漏洞。

身份认证用于确认用户或服务的身份,而访问控制则决定其获准执行的操作。权限可以在存储桶、对象、表、行或列级别生效。细粒度策略通常由分析引擎而非存储系统本身实施。如果用户同时持有权限宽泛的存储访问凭据,就可能绕过表级限制。因此,要让策略切实生效,就必须协调所有访问路径上的身份与权限。

最小权限原则将每个身份的权限限制在其角色所需的资源和操作范围内。在数据湖中,这可能意味着将数据摄取服务、数据转换作业、目录管理员和分析人员的权限彼此分离。临时凭据可以降低长期有效的密钥等机密凭证所带来的泄露风险。策略设计还必须考虑派生数据集:读取机密源记录的服务所生成的输出,即使文件名或数据模式看起来无关敏感信息,也可能仍然具有机密性。

加密可以保护传输中和静态存储的数据,但不能取代授权。获准解密数据集的引擎,仍可能通过查询或导出泄露其中的内容。密钥管理、审计记录、凭据处理和网络边界可与加密相互补充。审计跟踪应将人员或服务身份与其访问的数据集及执行的操作关联起来,而不只是记录匿名的对象请求;这样才能发挥更大的作用。

数据隐私控制还涉及其他问题,包括目的限制、数据最小化以及身份识别属性的处理。令牌化、掩码和聚合可以降低信息暴露风险,但以标识符替换姓名,并不一定能阻止他人利用其他属性重新识别个人身份。为开发、模型训练或故障排查而制作的副本,可能使敏感信息扩散到原本受控的表之外。

在采用版本管理和副本复制的系统中,数据保留与擦除尤为复杂。从当前表中删除一条记录后,该记录仍可能留存在旧快照、缓存、导出文件和备份中。反过来,保留要求可能规定,即使按照常规到期计划应当删除某些记录,也仍须将其保存。因此,必须将数据备份和灾难恢复机制与历史查询功能区分开来:位于同一管理域和故障域内的快照,并不一定是独立的恢复副本。安全的生命周期管理既要跟踪数据在逻辑上是否可见,也要跟踪物理数据最终是否已被处置,或是否在受保护的状态下予以保留。

分析用途、经济性与实际局限

数据湖支持的工作负载,其输入和处理需求往往过于多样,无法纳入单一的报表模型。工业企业可能需要整合设备遥测数据、维护记录和检查图像;零售商可能需要将交易与应用事件、商品目录关联起来。科研用途则可能需要将仪器产生的大量数据与校准记录、衍生测量结果结合起来。这些用途的共同特点是,围绕多个问题重复利用详细数据,而不是仅服务于一种预先设定的查询模式。

机器学习流水线是数据湖的主要应用场景之一,因为它们通常需要大量历史数据和专门的处理流程。数据湖可以存放源文档、标签、特征和模型输出,同时保留实验所用的各个版本。然而,要保证可复现性,仅保存文件还不够:数据筛选规则、预处理代码、标签定义和转换环境同样重要。对于涉及时间的预测,不严谨的连接操作可能会引入数据泄漏(机器学习),将做出预测时尚无法获取的信息关联进来。

数据湖也支持文本和多媒体处理。文档可以经过内容提取、分段和索引,用于搜索或检索增强生成;图像则可以经过转换,作为计算机视觉系统的输入。原始对象、提取出的文本以及可供检索的表示是不同的数据资产,对更新时效和访问权限的要求各不相同。删除源文档或限制其访问,并不会自动从所有索引或应用中移除由它衍生的表示。

从经济性角度论证数据湖的价值,通常会先提到批量存储相对较低的单位成本,以及处理能力可以独立扩展这一优势。但总支出还包括数据摄取、查询执行、元数据服务、网络传输、编排、维护和人员工时。保留闲置数据的每吉字节成本可能很低,但如果还需要进行分类、安全审查、复制以及最终删除,累计成本仍可能很高。压缩和保留策略既影响财务成本,也影响运营风险。

查询成本取决于实际执行的工作量,而不只是存储的数据量。对于按扫描量计费的服务,可以用以下简化表达式表示:

Cquery=Bbillable×Pscan,C_{\text{query}} = B_{\text{billable}} \times P_{\text{scan}},

其中,BbillableB_{\text{billable}} 为扫描数据的计费量,PscanP_{\text{scan}} 为适用的单位价格。实际计费可能设有最低收费,并遵循各项服务特有的规则。按集群计费的系统则更侧重于分配的资源和运行时长。分区裁剪、列选择以及可复用的聚合结果能够减少工作量,但过度的数据压实或冗余转换可能抵消这些节省。

这种架构也有实际的适用边界。高频事务更新、延迟稳定在毫秒级的查找,以及涉及多条记录的复杂业务事务,可能更适合由专用数据库处理。同样,即使财务报告的历史源数据存放在数据湖中,稳定的财务报告业务仍可能依赖治理严格的数据仓库模型。因此,评估平台时,需要将工作负载特有的要求——数据新鲜度、并发能力、一致性、恢复能力、可移植性和成本——与保留大量数据的一般能力区分开来。