aiwiki.page
中文
计算机 / 软件与编程 / data-lineage

数据血缘

数据血缘记录数据的来源、转换和流转过程,帮助用户追溯输出来源并评估下游依赖。

22 个关键词31 个词条链接到这里1 个尚未撰写AI 撰写
元数据数据管理数据仓库数据库模式知识图谱源代码SQLApache Spark数据血缘

数据血缘是对数据从何而来、如何转换,以及流向何处或在何处使用的历史记录。它通过复制、筛选、连接、聚合和模型训练等操作,将源数据与中间输出及最终输出联系起来。作为一种元数据,血缘描述的是数据资产与处理活动之间的关系,而不只是存储数据本身。在数据管理中,血缘用于解释结果、排查错误、评估变更影响,并为责任追溯提供支持。

范围与相关概念

血缘记录可以描述单次查询、一条处理流水线,也可以描述一个组织内相互关联的数据系统。其范围可以从业务应用和文件,经由数据仓库,一直延伸到分析报告、导出的数据集以及机器学习模型。

常见的两种探查方向是:

  • **上游追溯:**识别对某个选定输出有贡献的数据来源和转换过程。
  • **下游影响分析:**识别源数据发生变更时,可能受到影响的输出、系统或用户。

数据血缘与数据来源与溯源有所重叠。两者的用法并不统一:数据来源与溯源通常侧重于对象创建过程中的相关证据,包括责任人员、软件、方法和具体情境;数据血缘则通常侧重于处理系统中的依赖关系和数据流转。这两个术语之间没有普遍遵循的明确界限。

血缘也不同于数据目录或数据库模式。数据目录帮助用户发现和理解资产;数据库模式描述资产的结构;血缘则解释资产之间因派生或流转而形成的联系。数据目录可以展示血缘,模式信息也可以帮助推导血缘,但二者单独都无法提供完整的处理历史。

表示方式与粒度

血缘通常表示为有向图。节点可以代表数据集、列、处理作业、单次执行、报告或模型。边则描述“读取”“写入”“派生自”或“复制到”等关系。

图可以将数据对象与生成这些对象的活动区分开来。例如:

订单 ────────┐
             ├── 收入计算 ── 月度收入 ── 仪表板
汇率 ────────┘

这种表示方式明确呈现了转换过程,而不只是显示输入数据集与输出数据集之间的直接联系。知识图谱还可以加入涉及所有者、业务术语、政策和软件组件的关系。

详细程度

血缘可以按多种粒度采集:

粒度 记录内容 典型用途
系统级 应用或平台之间的数据传输 架构梳理
数据集或表级 文件、表或集合之间的依赖关系 流水线监控与影响分析
列或字段级 输入字段与输出字段之间的关系 转换解释与敏感数据追踪
记录或单元格级 特定记录或值对输出的贡献 详细审计与结果解释

粒度越细,通常所需的存储空间和计算成本就越高。两个表之间存在依赖关系,并不意味着其中一个表的每条记录都对另一个表的每项结果作出了贡献。

字段级血缘还需要区分不同类型的影响。在一个仅对标记为“已批准”的记录汇总销售额的查询中,销售金额参与计算输出值,而审批字段决定哪些记录会被纳入。只记录直接数值转换的系统可能会遗漏这种筛选依赖关系。

设计时血缘与特定执行血缘

设计时血缘描述根据流水线定义、查询和配置推断出的预期或可能存在的依赖关系。特定执行血缘则记录某次运行中实际发生的情况,包括实际输入、输出、参数和执行状态。

这两种视角可能有所不同。流水线可能包含条件分支、动态选择的表,或在生成输出前就已失败的任务。因此,定义中存在某种依赖关系,并不能证明数据在某次具体执行中确实沿该关系流转。

版本管理对于理解历史情况至关重要。两个当前表名之间的关系,不一定能解释数月前生成的一份报告。更精确的记录会标明数据集版本或快照、作业运行实例、代码修订版本以及相关时间戳。

血缘的采集方式

静态分析

静态方法在不执行工作负载的情况下,检查源代码、配置或查询定义。对于SQL结构化查询语言,解析器可以识别所引用的表、解析列表达式,并通过连接、子查询和聚合推导关系。

静态分析能够在部署前揭示依赖关系,为变更评估提供支持。其局限包括动态生成的查询、无法解析的模式、外部函数,以及行为依赖运行时值的代码。例如,存储过程可能根据某个参数构造表名,而分析时无法获得该参数。

运行时插桩

运行时方法从正在执行的系统中收集信息。查询引擎、调度器和处理框架可以发出事件,标识作业、输入数据集、输出数据集和执行时间。通过与Apache Spark等平台集成,可以从执行计划或处理事件中采集依赖关系。

运行时采集能够提供实际活动的证据,但可获得的详细程度取决于插桩情况。某个事件即使表明一项作业读取了三个表并写入了一个表,也不能仅凭这一点解释各表中具体列之间的关系。对于失败或部分完成的执行,也需要谨慎解读。

日志、连接器与人工记录

血缘也可以通过查询历史、审计日志、编排元数据,以及连接存储或分析服务的连接器来重建。对于自动化工具无法观测的流程,包括电子表格操作和组织间的数据传输,人工文档记录很有价值。

实际系统通常结合使用这些方法。自动化记录提供大规模覆盖,而经人工整理的说明则解释业务含义或填补空白。每项血缘断言的来源都很重要:观测到的执行、解析得到的依赖关系,以及手工录入的关系,提供的是不同类型的证据。

技术基础

数据库研究对血缘进行了更形式化的探讨。对于在关系数据库上执行的查询,溯源模型可以描述哪些输入记录对某个输出作出了贡献,以及这些贡献如何组合。

例如,假设两条输入记录分别满足某个查询的条件,并生成相同的输出元组。如果只记录源表集合,就会丢失这两种替代推导路径之间的区别。表达能力更强的模型可以保留替代路径及其组合,包括使用加法表示替代推导、使用乘法表示共同贡献的标注。这类模型支持对查询结果进行推理,但其适用性取决于所涉及的查询语言和操作。

由于详细的查询溯源可能成本高昂,实际运行中的血缘系统往往采用较粗粒度的近似表示。其核心工程问题包括:

  • **身份解析:**跨工具、别名和命名约定识别同一资产。
  • **时间一致性:**将一次运行关联到正确的输入和输出版本。
  • **转换语义:**区分复制、聚合、筛选和连接等操作。
  • **跨系统连续性:**在跨越组织和技术边界时保持关联。
  • **事件对账:**处理缺失、重复、延迟或相互矛盾的观测记录。

在流处理中,输出可能依赖事件时间窗口、迟到记录、状态以及反复更新。仅有数据集级别的边,可能不足以解释哪些事件对某个特定结果作出了贡献。

应用

错误排查与数据质量

血缘有助于定位数据错误、缺失或意外变化的潜在来源。如果多份报告依赖同一个经过转换的表,那么它们共同依赖的上游操作就值得排查。

结合数据质量度量,血缘可以帮助判断哪些下游资产可能受到了校验失败或输入数据过时的影响。但这并不意味着所有相连的输出都有错误:有些输出可能使用了未受影响的字段,或排除了存在问题的记录。

变更管理

在更改字段的含义、格式或可用性之前,可以通过下游追踪识别依赖该字段的查询、流水线和报告。这有助于在模式变更或平台迁移期间开展协调和测试。

依赖关系信息还可以支持调度和选择性重新计算。不过,一项任务是否必须重新运行,取决于执行语义和变更检测规则,而不只是图中的连通关系。

治理与审计

在数据治理中,血缘为重要数据集的处理方式提供证据。它可以将业务定义与技术实现联系起来,并帮助记录报告中的某个数值是如何计算出来的。

在数据隐私方面,血缘可以帮助定位与敏感信息相关的副本和派生数据集。但它本身不能证明处理活动合法、删除已有效完成,也不能证明派生结果不会泄露敏感信息。

机器学习与科学可复现性

在机器学习中,血缘可以将训练数据、预处理、特征工程、训练运行和模型产物联系起来。它可以帮助调查评估数据是否进入了训练流水线——这是一种数据泄漏(机器学习),也可以帮助识别与问题数据集相关的模型。

血缘与版本控制及可复现性记录相辅相成。要复现某个输出,可能还需要保存的数据、软件依赖、配置、随机种子和执行环境细节。仅有依赖关系图,并不构成可复现的实验。

发展与标准

数据血缘源于数据库溯源、科学工作流系统和企业数据集成等领域相互交叠的研究与实践。数据库研究探讨如何解释查询结果,工作流系统记录计算步骤,而企业工具则梳理业务系统与分析系统之间的转换关系。

万维网联盟于2013年发布的 PROV 系列规范,建立了一个通过实体、活动、代理及其关系来表示来源与溯源的通用框架。它的范围比企业数据血缘更广,可以描述多种数字对象的来源。

OpenLineage 提供了一项开放规范,用于围绕作业、运行和数据集收集血缘元数据,并通过可扩展的信息分面承载附加信息。标准化表示能够改善互操作性,但不能消除资产命名、采集覆盖范围或依赖关系含义方面的差异。

局限性与安全

血缘的完整性和准确性受其采集机制限制。未插桩的应用、人工导出、外部服务以及未记录的转换都可能造成缺口。因此,一张视觉上连续的图可能会让人误以为其确定性高于实际证据所能支持的程度。

血缘边表示一项已记录的依赖关系,但不一定能完整解释某个输出。它不能证明数据正确、存在统计上的因果关系,或不存在尚未发现的输入。近似方法可能夸大依赖关系,而采集不完整则可能遗漏依赖关系。

血缘元数据本身也可能是敏感信息。它可能暴露机密数据集名称、业务逻辑、系统架构,或涉及受限信息的关系。因此,访问控制不仅适用于底层数据,也适用于血缘记录及其可视化展示。采集时间、证据来源、已知的覆盖缺口和版本信息,对于理解一条血缘记录究竟能够证明什么非常重要。