aiwiki.page
中文
计算机 / 软件与编程 / data-engineering

数据工程

数据工程负责设计和运行数据采集、转换、存储与交付系统,为分析和业务运行提供可靠数据。

51 个关键词10 个词条链接到这里12 个尚未撰写AI 撰写
软件工程数据库分布式计算机器学习应用程序接口数据管理关系数据库SQL数据工程

数据工程是一门致力于构建和运行系统、使数据能够得到有效利用的学科。它涵盖从源系统获取数据、以一致的方式表示数据、传输和转换数据、高效存储数据,以及按照明确的质量、时效性、安全性和可用性要求交付数据。其产出包括经过整理的数据集、分析表、事件流、数据服务及其支撑基础设施。它融合了 软件工程、数据库技术、分布式计算和运维实践。

这门学科之所以重要,是因为数据最初的形态很少能直接满足使用者的需求。业务交易、科学仪器、应用程序日志和外部服务所产生的记录,在格式、含义、更新模式和访问限制上各不相同。要将这些记录转化为可供报表编制、研究、自动化决策和 机器学习使用的可靠输入,仅仅复制文件远远不够。工程师必须在转换过程中保留数据的含义,处理故障,协调相互冲突的记录,并适应变化,避免下游结果在不知不觉中失效。

因此,数据工程既是一项技术活动,也是一项组织活动。一个正常运作的平台不仅依赖存储和处理算法,也依赖各方认可的定义、明确的权责归属、文档以及事件处理流程。它的核心关切并不只是处理了多少数据,而是如何确保源头事件与最终使用的信息之间保持可靠的对应关系。

范围及与相邻学科的关系

数据工程涵盖数据在不同系统和用途之间流转的整个生命周期。典型的职责始于确定业务事件的权威数据源,继而进行数据摄取和转换,最后落实为持续维护的接口,供使用者获取可用信息。这类接口可以是表、一组文件、持续更新的数据流,也可以是应用程序编程接口。工程工作还包括配套的管控措施:部署、监控、访问管理、故障恢复和容量规划。一条流水线即使成功运行,只要产出的结果具有误导性,就没有实现其目的。

范围更广的数据管理领域包括数据治理、数据管护、架构、质量管理和组织政策。数据工程负责实现许多使这些活动落地运行的机制。例如,治理政策可能规定数据保留期限;工程工作必须将这一要求落实为删除任务、存储设置、异常处理,以及证明该期限确实得到执行的证据。同样,业务上对“活跃客户”的定义,也必须转化为明确、可测试的转换逻辑,而不能停留在非正式的描述上。

数据库管理与数据工程有所重叠,但关注重点不同。数据库管理传统上侧重于特定数据库系统的可用性、配置、安全性和性能。数据工程则更多地关注数据在多个系统和处理阶段之间的流转。软件工程同样提供了必不可少的方法,但数据系统还带来了额外的难题:历史记录的存续时间可能长于创建它们的应用程序;一次代码变更可能改变数十亿条既有输出;而结果是否正确,可能取决于初次处理很久之后才到达的事实数据。

数据分析和数据科学主要利用数据回答问题或构建模型。数据工程师为这些活动建立可重复使用的基础,不过各组织对职责边界的划分并不相同。分析师可能会构建生产环境中的数据转换流程,工程师也可能会调查统计结果中的差异。与其根据职位名称,不如从职责角度理解这种区别:工程工作强调持续交付和运行保障,而分析工作强调解释与推断。

一种实用的职责划分单位,是持续维护、使用者明确且有文档说明预期要求的数据产品。例如,每日营收数据集应明确说明是否包含退款、采用何种汇率换算、一天的数据何时视为完整,以及如何发布更正。这些细节使经过工程化建设的服务,有别于恰好可用却没有文档说明的数据提取结果。

历史发展

现代数据工程并非源于某一项发明,而是吸收了多种早期技术传统。早期商业计算采用批处理方式读取交易文件、更新主记录并生成报表。由于存储和计算成本高昂,处理任务的调度和记录的物理布局在很大程度上决定了系统设计。许多沿用至今的实践——控制总数核验、对账、可重启作业,以及对被拒绝记录的明确处理——都是在这些运行约束下发展起来的。

关系数据库的发展改变了数据的表示和访问方式。埃德加·F. 科德于1970年发表的关系模型论文,将数据的逻辑组织与许多物理存储细节分离开来。此后出现的关系型系统和SQL结构化查询语言,使声明式查询成为商业计算的核心。不过,业务数据库通常针对记录当前交易进行优化,而不是针对反复扫描多年的历史数据进行优化。分析工作负载可能会干扰订单录入、会计核算或其他业务功能。

数据仓库应运而生,用于整合历史信息以供分析,同时将分析工作负载与事务处理分离。在20世纪80年代和90年代,比尔·恩蒙和拉尔夫·金博尔等人的工作确立了颇具影响力的企业数据集成和维度建模方法。抽取、转换和加载逐渐成为一套明确的工程工作流程。数据仓库也暴露出一些至今仍是核心挑战的组织层面问题:标识符不一致、业务定义相互冲突、源数据不可靠,以及难以重建历史状态。

互联网规模的服务带来了新的压力。海量网页、日志和用户事件数据超出了许多传统部署环境的实际处理能力。谷歌于2003年发表的分布式文件系统论文,以及2004年发表的MapReduce论文,推动确立了一些颇具影响力的集群大规模数据处理方法。随后,Hadoop生态系统将相关理念融入广泛可用的软件之中。这一时期,大数据系统得到普及,也推动了基于分区、分布式存储以及常态化机器故障恢复机制的系统设计。

从2000年代末开始,云计算使基础设施资源的供给更具弹性,也减少了自行拥有所有组件的必要性。托管式数据仓库、对象存储、事件平台和分布式处理服务,改变了系统架构与成本管理方式。Spark研究项目于2009年在加利福尼亚大学伯克利分校启动,Apache Spark后来成为重要的通用处理框架。此后的发展将数据仓库式表结构与对象存储相结合,增强了持续处理能力,并将工程职责扩展到机器学习数据集和非结构化内容。旧技术并未消失;批处理文件、关系型数据集成和大型机数据抽取,至今仍与较新的平台并存。

架构与数据生命周期

数据流水线是将数据从生产者传递给消费者的一系列操作或操作网络,其阶段通常包括采集、校验、转换、存储和发布。这些阶段是概念上的划分,不一定对应独立的服务:一次数据库操作就可能完成其中多个阶段。架构设计需要明确各部分的职责、哪些边界需要持久化存储,以及故障如何传播。流水线还必须明确,在输入缺失、重复、格式错误或被更正时应如何处理。

源系统、集成系统和数据服务系统通常各有不同的用途。支付应用必须快速、可靠地记录交易;分析平台则可能侧重于优化大规模扫描和历史数据比较;为仪表板提供数据的服务层可能优先保证并发访问时响应时间的稳定性。在这些环境之间复制数据可以减少相互干扰,但也会引入延迟,并可能造成数据不一致。因此,架构设计还需要明确数据新鲜度要求、可接受的不一致程度,以及哪个系统作为权威数据来源。

许多平台将数据组织为逐步精炼的多个层次。原始层保留源数据的原始表示形式;标准化层统一数据类型、标识符和计量单位;精炼层则表达业务实体与度量指标。这些只是惯例,并非普遍适用的法则。保留原始数据有助于重放和问题调查,但也会带来存储、安全和删除方面的责任。精炼层能提高数据的易用性,但如果转换过程缺乏完善的文档,也可能掩盖源数据的细节。有些工作负载只需要少量定义清晰的表,而不需要复杂的分层结构。

两种影响广泛的架构模式探讨了历史数据处理与持续处理之间的关系。Lambda 架构分别维护批处理路径和流处理路径,并在服务层合并两者的输出。这种架构既能支持全面重算,也能提供低延迟更新,但会造成逻辑重复,并使一致性管理更加复杂。Kappa 架构则强调通过事件流进行处理,并在可行时通过事件重放完成重新处理。它减少了处理路径的数量,但依赖于事件保留、重放能力,以及流式计算对任务的适用性。无论采用哪种模式,都仍需仔细考虑数据更正和状态管理。

架构还会将数据流动与管理数据流动的控制系统区分开来。调度、策略执行、目录管理和部署可以独立于读写记录的引擎运行。这种分离既允许集中监管,又不必让所有处理都经过同一个服务。合理的边界有助于理解故障的影响:数据目录服务中断不应破坏已存储的数据,仪表板故障也不应阻碍数据摄取。反过来,共享的身份、网络或元数据服务也可能成为共同依赖,一旦发生故障,就会影响原本相互独立的流水线。

数据摄取与集成

数据摄取是将外部记录或业务系统中的记录引入处理环境的过程。常见方式包括文件传输、数据库抽取、API 调用、消息消费以及直接发布事件。每种方式都有不同的故障模式:文件可能只传输了一部分,API 可能有调用频率限制,数据库查询可能使源系统过载,消费者也可能在读取消息后、发送确认前失去连接。摄取方案必须应对这些情况,而不能认为传输成功就意味着数据集完整且正确。

全量抽取会复制源数据集的全部内容,增量抽取则只捕获发生变化的数据。根据更新时间戳定期查询是一种简单的方法,但其正确性取决于时间戳的赋值方式,以及记录是否可能在时间戳不变的情况下发生变化。抽取边界的设置必须避免漏掉时间戳相同的记录。一种常见做法是采用稳定的排序方式,例如按时间戳和主键组合排序,并让相邻的抽取时间窗口有所重叠,再进行去重。即便如此,除非源系统提供删除信息,或通过比较快照来识别删除,否则仍然无法检测到物理删除。

变更数据捕获用于记录插入、更新和删除操作,通常通过读取数据库的事务日志来实现。基于日志的捕获可以减少反复扫描,并在源系统所能提供的保证范围内保留事务顺序。但它也引入了其他复杂问题:日志可能过期,模式变更可能改变事件格式,初始快照也必须与后续的日志消费相协调。如果快照与日志之间没有一致的衔接边界,记录就可能被遗漏或重复出现。此外,捕获变更并不会自动揭示业务意图;多次底层更新可能只对应一次逻辑操作。

应用程序发布的事件可以携带更明确的含义,例如“订单已确认”,但事件发布必须与底层事务相协调。写入数据库与发送消息如果各自独立进行,就会产生双写问题:其中一个操作可能成功,而另一个失败。事务发件箱模式将待发送事件与业务更新记录在同一个数据库事务中,然后异步转发事件。这种做法减少了一处可能发生不一致的环节,但消费者仍需处理重传和重复消息。

集成还涉及对数据含义的理解。源字段即使名为 amount,如果没有币种、缩放比例、正负号约定以及税费处理方式等信息,其含义仍不完整。日期可能表示本地日历时间,而不是全球统一时间轴上的某个时刻。Unicode统一码 等字符编码、JSON 等序列化表示形式,以及 Protocol Buffers 等二进制格式,解决的是数据表示的不同方面,而不是语义一致性问题。因此,摄取系统通常会在保留标准化字段的同时,保留源标识符、抽取时间戳、源系统名称和原始值,以便在出现差异时仍可追溯。

数据建模与语义一致性

数据建模定义了理解数据集所需的实体、属性、关系和约束。实体-联系模型是表达这些结构的一种成熟方法。面向业务运营的模型通常侧重于保障事务完整性,并避免重复数据之间出现不一致。分析模型则侧重于让查询易于理解、支持历史比较,以及高效完成聚合。这些目标可能使同一个底层业务流程呈现为不同的数据表示,但并不意味着其中任何一种表示本身就是错误的。

分析建模中的一个关键选择是粒度,即每一行所代表的确切事件或观测。订单表、订单明细表和发货表各有不同的粒度。如果在连接这些表时忽视这些区别,就可能导致度量值被成倍重复计算。例如,将一个订单与三条订单明细和两条发货记录连接,可能产生六行数据,导致订单级总额被反复计入。因此,定义键以及预期的关系基数,是保障正确性的必要机制,而不仅仅是编写文档。

维度建模通常将记录事件或测量结果的事实表,与描述产品、客户、日期等实体的维度表分开。星型模式将事实表直接连接到维度表。这种组织方式可以简化分析查询,并集中管理描述性属性。不同度量的聚合特性也有所不同:销售额可以跨产品和日期相加,而库存余额通常不应跨时间求和。对于转化率等比率,通常需要先分别汇总分子和分母,再做除法,而不是对预先计算好的百分比取平均值。

历史数据建模需要明确处理时间。客户当前所属的地区,可能与销售发生时记录的地区不同。缓慢变化维技术可以覆盖属性值,也可以通过有效时间区间保留各个相继版本,或保留选定的历史值。双时态建模则进一步区分:某个事实在所建模的现实世界中何时有效,以及系统何时获知或记录该事实。当更正信息延迟到达,或分析必须重现过去某个日期已知的信息时,这种方法尤其有用。

规范化与反规范化是各有取舍的设计选择。规范化通过分离逻辑上不同的事实,减少某些更新异常。反规范化可以减少连接操作、简化数据使用,但会造成值的重复存储,并可能增加更正成本。两者都不能保证语义一致性。语义一致性取决于是否明确界定了标识符、单位、类别、数据缺失的含义以及业务规则。“净收入”这样的共享指标,需要有持续维护的定义,涵盖退款、取消、时间归属和货币换算等事项;仅仅在多个表中使用相同的列名,并不能确保这些定义一致。

存储系统与物理组织

数据存储方案的选择取决于访问模式、持久性要求、更新方式和成本。业务数据库通常支持按条件读取数据,以及频繁的记录级修改。分析系统则更适合跨大量行扫描部分列。对象存储能够以相对较低的成本持久存储大型对象,但其本身并不具备数据库所提供的全部事务和查询语义。因此,文件系统、对象存储和表管理层属于不同的抽象,即使它们都用于存储类似的记录。

行式格式将一条记录的各个字段存放在一起,适合应用通常需要读取单条记录中大多数字段的场景。列式格式则按列组织数据值,使分析引擎能够只读取所需属性,并高效压缩重复或相似的值。Apache Parquet 和 Apache ORC 是广泛使用的列式文件格式。其内部的数据组、数据页、统计信息和编码方式有助于引擎跳过无关数据。有效的数据压缩可以减少存储空间占用和输入输出量,但解压缩会消耗计算资源,因此最佳配置取决于具体工作负载。

分区是根据某个键(例如事件日期或客户所在地区)划分数据。当查询对该键设有限定条件时,分区裁剪可以避免扫描无关分区。然而,过度分区会产生大量小对象和元数据操作。按单个用户标识符分区的数据集,可能会生成数百万个微小文件,而不是形成有用的数据访问结构。在较大的分区内进行聚簇或排序,可以改善筛选效率,同时不必为每个值创建独立的目录或对象组。文件合并将小型输出文件整合成更大的单元,以额外的维护工作换取更高的读取效率。

数据湖通常存储多种数据集,往往使用对象存储,并由其他系统提供数据解释和治理功能。数据湖仓则在这类存储之上增加面向表的能力,包括事务性更新、模式管理和基于快照的读取。Apache Iceberg、Delta Lake 和 Apache Hudi 等表格式通过元数据和文件管理协议协调变更,但各自的具体能力有所不同。文件格式与表格式不应混淆:表格式可以管理许多 Parquet 文件,同时提供 Parquet 本身不具备的语义。

存储生命周期管理包括保留、归档、删除和恢复。从表的当前视图中删除一行后,其数据值仍可能保留在旧快照或底层文件中,直到维护操作将其清除。同样,时间旅行功能不能替代独立的数据备份,因为二者可能处于相同的故障域,并受同一管理权限控制。可靠的存储设计会考虑如何将元数据、加密密钥、副本、快照和归档一并恢复,而不会假定只要数据文件能够持久保存就足够了。

批处理与数据转换

批处理对有界的输入集合执行计算。一个批次可以包含一天的交易、一份新到达的文件,也可以是选定用于重新计算的历史数据集。批处理的本质特征是输入有界,而不是运行时长固定:批处理可以每分钟运行一次,也可以持续数小时。批处理系统依然重要,因为有限的输入使验证、对账、结果复现和资源规划更加简单。它尤其适合定期报表,以及依赖完整记录组的转换。

抽取、转换与加载和抽取、加载与转换这两个术语,描述的是数据转换相对于目标平台发生的位置。前者在数据加载到目标平台之前完成主要处理;后者先加载源数据,再利用目标平台的处理能力进行转换。两者的区别并非绝对,实际系统往往兼用这两种方式。例如,可以在加载前移除敏感字段,在加载后再进行连接和聚合。这种选择会影响安全边界、可扩展性、调试,以及复用原始输入的能力。

数据转换包括筛选、类型转换、去重、连接、数据丰富和聚合。声明式 SQL 允许查询优化器选择执行策略,而通用编程代码则支持专门的解析过程或算法。无论采用哪种方式,都仍然需要理解执行过程。连接两个大型数据集可能需要通过网络重新分布数据,而广播一张小型查找表则可以避免这一过程。尽早筛选数据、选择所需列可以减少数据移动,但转换必须保持数据含义不变:先筛选再聚合,并不总是等同于先聚合再筛选。

增量处理只更新输出中受影响的部分。对于仅追加数据的源和简单的求和运算,维护聚合结果可能只需加上新增数据的贡献值。更新和删除则更难处理,因为必须撤销先前的贡献值,或者重新计算。修正一个客户标识符,可能会影响连接、维度,以及所有使用这些连接和维度的下游聚合。因此,增量处理逻辑需要明确规定有关数据可变性、延迟到达和依赖范围的假设。全量重算通常更简单,也可以作为核验增量结果的参照,但其成本可能过高,不适合日常使用。

设计良好的批处理任务会以原子方式,或通过具有同等效果的版本化机制发布结果。直接向可见的输出位置写入数据,可能会在作业尚未结束时暴露不完整的结果。替代方案包括先加载到暂存表再切换指针、提交事务,或发布已完成的快照。在发布之前,可以核验行数、去重后的键数量、金额总和等控制总量。保留输入版本和转换版本,可以使结果可复现,也能在某次运行失败或结果错误时,明确无歧义地将其替换。

流处理与时间语义

流处理面向可能无界的数据,支持持续更新的仪表盘、欺诈检测、服务监控和业务通知等应用。与有限的批次不同,数据流没有一个自然的时间点,可以认定所有相关记录都已到达。因此,流式系统必须明确:如何在信息不完整的情况下产出有用的结果。低延迟是采用流处理的动机之一,但其核心技术问题是如何针对不断变化的状态持续进行计算。

事件时间是所描述事件发生的时间,处理时间则是引擎处理该事件的时间。设备缓冲、网络延迟、重试或故障中断都可能导致两者不同。一笔在 23:59 发生的购买可能在午夜之后才到达,但仍应计入前一天的销售额。基于处理时间的计算在运行上可能更简单,但以不同速度重放同一批事件时,结果可能发生变化。事件时间处理使时间含义更加明确,但也需要制定处理迟到记录和乱序记录的策略。

窗口将事件划分到有限的范围内。滚动窗口连续且互不重叠;滑动窗口彼此重叠;会话窗口则将活动间隔小于指定空闲时长的事件归为一组。水位线表示对事件时间推进程度的估计或预先配置的界限,使引擎能够决定何时输出结果或清理状态。它并不能证明此后绝不会再有更早的事件到达。系统可以丢弃过度迟到的记录,将其转交其他流程单独处理,或修正此前发布的结果。对于期望汇总值保持稳定的消费方,这些选择会产生不同的影响。

有状态操作会在处理不同事件的过程中保留信息。例如,按账户统计事件数量、在流连接中跟踪尚未匹配的记录,以及维护滚动平均值。状态必须采用一致的分区方式、定期保存检查点,并能在故障后恢复。如果无界连接没有过期条件,状态就可能无限累积。因此,保留规则和时间约束既是语义的一部分,也是资源控制的一部分。流式系统还会使用背压,防止较快的生产者或上游算子压垮较慢的处理阶段;不过,持续过载仍需要通过调整容量或工作负载来解决。

处理保证取决于从数据源到输出端的完整链路。引擎可能精确恢复了内部状态,但恢复过程中仍将同一条外部通知发送了两次。反过来,幂等的数据库更新可以使重复处理不产生不良影响。消息代理提供传输和数据保留方面的特性,但其本身并不能确保应用结果正确。流式架构必须协调偏移量、检查点、事务性写入、去重机制以及下游行为。因此,“实时”描述的是延迟要求,并不意味着不存在延迟,也不保证结果能够立即定稿。

分布式正确性与故障恢复

分布式数据处理将工作分配给多台机器,以提升容量、吞吐量或容错能力。分区将数据子集分配给工作节点,复制则保存多份数据副本。这些机制引入了单个不中断进程中不会出现的故障情形:工作节点可能在产出结果后失联,网络超时可能掩盖一次成功的写入,两个协调器也可能暂时对归属权存在分歧。系统必须区分逻辑上的工作与每一次具体的执行尝试,因为重试是常态,而非例外。

交付语义描述了这类行为的某些方面。至多一次交付可能丢失工作,但不会重传。至少一次交付会重试执行结果不确定的工作,因此可能产生重复。恰好一次处理旨在确保每个逻辑输入在指定边界内只产生一次效果。它并不是某个产品名称所自带的普遍属性。实现这一点可能需要协调输入处理位置、持久化状态以及事务性输出;边界之外的效果仍可能重复发生。只有明确说明适用范围和故障假设,关于恰好一次行为的声明才有意义。

幂等性使重试更加安全。对于数学运算 ff,其定义性质为

f(f(x))=f(x).f(f(x)) = f(x).

在数据流水线中,将一条记录设为某个确定值可能是幂等的,而对计数器执行递增通常不是。以稳定的事件标识符为键进行写入、使用带有适当版本检查的更新或插入操作,或替换整个分区,都可以让重复执行收敛到相同的结果。去重需要明确键的唯一性规则和保留期限:只保留七天的标识符,无法消除一个月后再次出现的重复数据。

事务提供了另一种正确性边界。数据库事务可以将相关写入归为一组,使数据使用方不会只看到一次更新的部分结果。原子性、一致性、隔离性和持久性分别描述了不同的保证,而不同隔离级别允许不同的并发行为。在跨越独立服务时,单个事务可能无法使用,或者运行成本过高。此时,工程师会采用分阶段发布、补偿、对账或精心设计的最终一致性方案。这些方法都要求明确说明哪些临时状态可以接受,以及如何检测尚未解决的不一致。

恢复必须同时还原计算状态和数据。如果检查点记录的进度超出了最后一次持久化输出所对应的进度,就可能导致数据丢失;如果落后于输出,则可能导致重复。重放还依赖于保留所需的输入、兼容的模式、转换代码和参考数据。备份、副本和检查点各有不同用途:复制可能会同步误删除操作,而源数据保留期届满后,检查点也可能无法使用。因此,需要针对具体的故障场景测试恢复流程,包括输出损坏、元数据丢失、凭据过期以及部署只完成了一部分等情况。

编排、部署与可复现性

工作流编排协调处理任务之间的依赖关系、执行时机和执行状态。许多工作流以有向无环图表示:一个任务必须完成,另一个任务才能开始。例如,每日报表工作流可能先摄取交易数据和汇率,再构建标准化表,接着计算指标,最后发布报表。图表达了依赖关系,但其本身并不能保证底层数据完整或在语义上正确。

按固定时间调度很简单,却可能不够稳健。计划在凌晨 02:00 执行的转换任务,可能在延迟的源文件到达之前就已启动。数据感知调度则在指定的输入或分区可用时触发任务。即便如此,也必须谨慎定义何为“可用”:对象存在并不意味着上传已经完成,数据库表也可能只包含一天中的部分数据。与基于时间的假设相比,完成标记、事务快照、源数据清单以及显式的数据新鲜度检查能提供更可靠的信号。

重试时应区分临时故障和确定性错误。网络超时可能在第二次尝试时消失,而模式不匹配通常不会。指数退避和随机延迟能减少大量任务同步重试引发的风暴,重试次数上限则能防止资源被无限消耗。任务粒度同样重要。过大的任务失败后需要重复执行过多工作,而过小的任务则会增加调度开销,使状态管理变得复杂。当中间输出能够持久保存、可被明确识别且可安全复用时,重启点最有价值。

可复现性所需的不只是保存源代码。结果可能取决于库版本、配置、输入快照、时区数据库、查找表以及非确定性函数。版本控制记录代码和配置的变更,而构建系统和部署制品则保留可执行环境。转换逻辑的版本可以附加到输出元数据中。如果难以做到逐字节精确复现,系统仍可定义所需的等价程度,例如行集合完全相同,或聚合结果在文档规定的容差范围内数值等价。

部署实践往往借鉴持续交付,但必须兼顾持久化数据。回退代码不一定能撤销已经按照新模式写入的数据。安全变更可能需要采用先扩展、后收缩的步骤:引入兼容字段,更新写入端和读取端,回填历史值,然后移除旧的数据表示。回填应被视为受控的生产工作负载,因为它可能使源系统过载,挤占常规处理资源,并更改大量已发布数据。验证、速率限制、独立的计算资源以及明确的数据替换边界都有助于降低这些风险。

数据质量、测试与可观测性

数据质量指数据对特定用途的适用程度,而不是一个通用的评分。常见维度包括完整性、准确性、有效性、一致性、唯一性和及时性。数据集可能符合其模式要求,却包含错误的事实;也可能内容准确,却因到达太晚而无法用于决策。因此,质量要求必须将技术检查与预期用途联系起来。对于全国销售分析,邮政编码缺失或许可以接受;但对于分配配送路线的工作流程,这种缺失就不可接受。

测试在多个层面开展。单元测试使用受控输入检查转换逻辑。集成测试检查与存储系统、模式和权限的交互。数据集断言检查键值非空、类别取值在允许范围内、引用关系成立、汇总总额核对一致等属性。基于属性的测试可以生成多样化的输入来检查不变量,例如,对有效表示进行转换再转回后,其含义是否保持不变。历史测试样本有助于覆盖已知的边界情况,但如果不能反映数据源当前的行为,也可能产生误导。

模式验证必不可少,但其作用有限。字段类型可能仍是整数,计量单位却已从“分”变成“元”。数据源也可能保留列名,却改变了这些列所描述的业务流程。数据契约旨在明确数据生产方与消费方之间的约定,包括类型、含义、归属责任、兼容性和服务预期。这些约定可以在开发、摄取或发布阶段强制执行。契约并不能阻止所有变化,而是让变化显现出来,并明确由谁负责处理其后果。

可观测性不止于判断断言通过与否。有用的信号包括记录量、摄取滞后、处理延迟、空值率、键基数、分布变化以及核对差异。端到端的数据新鲜度应以相关源事件的发生时间或源数据统计周期的结束时间为起点衡量,而不能仅以最近一次任务成功执行的时间为依据。流水线即使每五分钟运行一次,也可能只是在反复处理未发生变化的源数据。异常检测可以识别不寻常的模式,但季节性、产品发布和政策变化会使自动告警的判断存在不确定性。告警阈值和预期运行范围都需要结合具体情境设定。

发现缺陷时,控制影响往往与诊断原因同样重要。可以隔离可疑记录、暂缓发布新版本的表,或将消费方重定向到最近一次通过验证的快照。这些措施各有取舍:维持可用性可能意味着提供较旧的信息,而严格的正确性检查则可能导致发布暂停。事故记录应注明受影响的数据集、时间区间和消费方,而不只是失败的作业。这样既能有针对性地修正问题,也能确定是否需要重新生成下游报告和模型,或重新作出相关业务决策。

元数据、数据血缘与治理

元数据描述数据及处理数据的系统。技术元数据包括模式、分区、存储位置和更新时间。业务元数据包括定义、负责人、分类和预期用途。运行元数据记录执行情况、资源消耗、验证结果和事件。这些类别相互关联:要理解一个字段,往往既需要了解其业务定义,也需要了解生成该字段的转换过程。数据目录将这些信息汇集起来,但其实际价值取决于覆盖范围、更新及时性,以及与日常工作的融合程度。

数据血缘记录数据源、转换过程和输出之间的关系。数据集级血缘表明一张表的数据参与生成了另一张表。列级血缘可以展示某个输出字段如何由特定输入推导而来。运行时血缘记录实际执行的过程,设计时血缘则描述预期的依赖关系。两者都有用,但都不能天然保证完整。动态生成的 SQL、外部脚本、手动导出和应用端转换,都可能造成仅靠静态解析无法填补的缺口。

数据血缘有助于开展影响分析和问题调查。在修改源字段之前,工程师可以找出依赖该字段的表和报表。发现汇率数据源有误后,可以借助血缘定位受影响的汇总数据。不过,存在依赖关系并不总是意味着实际受到影响:下游表可能引用了某个数据源,却没有使用其中出错的记录或列。要精确分析事件,可能需要分区级的数据来源记录、执行日期和版本信息。保留每一行数据的完整推导过程可能成本高昂,因此,血缘的粒度本身也是一项架构决策。

数据治理明确与数据有关的决策权和问责责任。技术平台可以强制执行访问策略,却无法独立判定每个业务概念的合理含义。数据所有者和数据管家负责厘清定义、批准变更,并明确允许的用途。共享参考数据,例如产品类别、地理编码或组织层级,需要在受控流程下维护,因为变更可能改变跨时期比较的结果。主数据管理实践则处理实体的识别与整合问题,这些实体在多个源系统中可能有不同的表示方式。

元数据系统同样面临可靠性和访问方面的问题。即使底层数据集受到保护,包含样例值的数据目录仍可能泄露敏感信息。过时的归属记录可能将事件转交给已经不存在的团队。策略标签若未传递到衍生数据,就会留下执行漏洞。因此,治理也成为工程层面的问题,需要通过自动分类、访问控制集成、基于血缘的策略传递,以及检查元数据是否与实际数据资产保持同步来落实。如果文档的生成或验证被纳入创建和修改数据的同一套工作流程,文档就最容易得到持续维护。

安全、隐私与访问控制

数据工程系统汇集来自众多来源的信息,因此是信息安全和数据隐私的重要保护对象。平台可能将单独来看风险较低的记录组合成能够识别个人身份或揭示机密活动的数据集。因此,保护工作不仅取决于各个数据源是否安全,还取决于是否理解数据整合后能够揭示哪些信息。开发环境中的副本、临时表、日志和导出的报告,可能与生产环境中的主要数据表同样重要。

访问控制将身份与权限区分开来。身份认证用于确定是谁或什么实体在发起请求;授权则决定允许执行哪些操作。人员用户、定时任务和服务通常需要使用各自独立的身份,以便审计活动并限制权限。基于角色和基于属性的控制机制可以在数据集、列或行的粒度上限制访问。最小权限原则将访问权限限制在完成任务所需的范围内,但在实际执行时,必须考虑中间数据集,以及通过衍生输出间接访问数据的途径。

加密可保护传输中和静态存储的数据,其效果取决于密钥管理和端点安全。如果系统虽然对存储进行了加密,却允许不受限制的查询访问,那么它仍然容易受到授权访问被滥用或凭据失陷的威胁。密钥、机密信息和服务凭据需要受到存储管控,并定期轮换。网络边界、私有连接和审计日志可以增加保护层次。审计记录本身也需要完整性控制和适当的保留期限,因为其中可能包含敏感的查询文本、标识符或运行细节。

不同的隐私转换方法提供的保障各不相同。假名化会替换直接标识符,但借助额外信息,记录仍可能关联到个人。在缺乏充分保护的情况下,对电子邮件地址进行哈希处理并不能使其匿名,尤其是在可能的地址可以被猜出的情况下。聚合和抑制可以降低部分信息泄露风险,但当群体规模较小,或多次发布的数据相互重叠、使差异暴露时,这些方法可能失效。差分隐私提供了一个形式化框架,用于限制输出在多大程度上会揭示某个人是否被纳入数据集;不过,在实际应用中,需要谨慎选择查询、噪声以及累计隐私损失的控制方式。

数据保留与删除必须贯穿整个数据生命周期。删除请求或策略可能影响源数据副本、整理后的数据表、搜索索引、缓存的特征、导出数据以及历史快照。备份处理可以遵循单独受控的生命周期,但恢复后的系统不得在未作处理的情况下重新引入本应保持删除状态的记录。隐私和安全控制也会影响架构设计:尽量减少数据采集、将标识符与属性分开存储,以及限制非生产环境中的数据使用,往往比任由副本扩散后再补充控制措施更能有效降低暴露风险。

对分析与机器学习的支持

分析工作负载依赖一致的指标,以及对历史记录的高效访问。工程师通常会准备可复用的转换逻辑、维度表和数据服务接口,避免每份报表都各自重新解释源数据。语义层可以集中管理数据关系和指标定义,而物化聚合结果则能减少重复计算。这样,数据可视化工具便可基于经过整理的数据表示开展工作,而不必重复实现复杂的数据集成逻辑。这种分离提高了一致性,但也意味着,当业务含义发生变化时,需要对相关定义进行版本管理。

机器学习工作流还对样本、标签和时间提出了额外要求。训练数据必须反映在预测任务中按理能够获得的信息。例如,描述客户购买时状态的特征,不能贸然采用数周后才修正的值,因为在作出预测时,这项修正可能尚不可用。时点关联会根据每个样本的预测时间,选取相应的历史特征值。这类关联需要可靠的时间戳、更新历史,以及明确的迟到数据处理规则。

当预定预测时点尚不可用的信息进入模型开发或评估过程时,就会发生数据泄漏(机器学习)。数据流水线可能通过根据未来数据计算的聚合值、错误关联的标签,或在完整数据集上拟合的预处理步骤引入泄漏。相应的工程控制措施十分具体:严格执行时间边界、保持数据集划分不变,并追踪每次转换使用了哪些记录。特征工程可能涉及统计方法或特定领域的选择,但其生产实现必须在反复训练和评估的过程中始终维持这些边界。

特征存储用于管理可复用的特征,并且可能同时支持离线历史数据检索和低延迟在线服务。核心挑战不只是存储特征值,而是在不同环境中维持相互兼容的定义和时间语义。当训练所用的特征与部署期间计算的特征不一致时,就会出现训练与服务偏差。共享转换逻辑可以降低这种风险,但源数据延迟、缺失值处理和更新顺序上的差异仍可能导致不一致。监控必须能够区分流水线故障与建模对象总体中真正发生的分布偏移。

文本、图像及其他非结构化数据还会引入额外的处理阶段。检索增强生成流水线可能需要提取文档文本、将其切分为文本块、计算嵌入向量,并发布索引。更新和删除操作必须同步到每一种数据表示中,检索到的内容也必须遵守源数据的访问权限。数据集来源、内容去重、许可信息和文档版本都成为运行管理所需的元数据。与表格数据流水线一样,如果索引已经过时、内容不完整,或向无权访问原始资料的用户暴露了内容,那么仅仅成功完成索引任务还远远不够。

可靠性、经济性与组织设计

生产环境中的数据系统需要按照明确的预期运行。服务水平指标用于衡量数据新鲜度、发布成功率、查询延迟或完整性等表现。服务水平目标则为该指标设定在特定时间段内应达到的目标。一个有用的数据新鲜度目标,可以关注在规定时间内出现在精整理表中的订单比例,而不是报告成功的定时作业比例。这类衡量方式将平台运行状况与使用者实际获得的信息联系起来。

容量规划既要考虑平均需求,也要考虑严苛的极端情况。数据增长、并发查询、键分布倾斜、历史数据回填和季节性峰值都可能带来截然不同的负载。即使集群仍有富余容量,包含某个出现频率过高的键的分区也可能使单个工作节点过载。自动扩缩容可以增加资源,却无法自动解决分区设计不佳、源端限流或串行执行瓶颈等问题。即便采用托管基础设施,负载测试和具有代表性的工作负载测量仍然不可或缺。

成本取决于存储量、扫描字节数、计算时间、数据传输、元数据操作以及人员投入。评估优化效果时,可以采用以下近似计算:

unit cost=attributable operating costuseful workload output.\text{unit cost} = \frac{\text{attributable operating cost}} {\text{useful workload output}}.

分母可以是交付的已验证记录数、成功的分析查询数,或完成的模型训练数据集数量。如果作业在规模或实际价值上差异很大,仅看单个作业的成本可能会产生误导。压缩、分区裁剪、增量处理、缓存和工作负载调度能够降低支出,但过度优化可能增加复杂性和故障风险。存储与计算分别计费也意味着,在一个平台上高效的设计,换到另一个平台可能成本高昂。

组织结构会影响这些技术层面的结果。集中式团队能够统一工具和管控措施,但也可能成为满足特定业务领域需求的瓶颈。按业务领域划分归属权,可以让责任更贴近数据生产者和使用者,却也可能造成基础设施重复建设和接口不兼容。数据网格是一种组织方式,强调领域归属权、数据即产品、自助式基础设施和联邦式治理。落实这一方式仍然需要统一的身份系统、互操作性标准,以及明确的运行责任;仅靠去中心化并不能产生可靠的数据。

平台工程可以通过提供经过测试的数据摄取模式、部署模板、监控和访问机制,减少重复工作。标准化的最大价值,在于让安全的做法更容易落实,同时不掩盖关键语义。故障复盘、归属权记录、弃用政策和支持安排,有助于在团队和源系统不断变化时,保持这些服务的可维护性。长期运行的平台还需要有计划地淘汰过时的表、作业和副本,因为闲置资产仍会持续产生成本、扩大安全暴露面,并使寻找权威信息的使用者感到困惑。