aiwiki.page
中文
计算机 / 软件与编程 / data-warehouse

数据仓库

数据仓库将多源历史数据整合到受治理的环境中,为分析查询、报表和决策支持提供优化。

36 个关键词27 个词条链接到这里12 个尚未撰写AI 撰写
数据库IBM云计算数据集市数据湖反规范化应用程序接口变更数据捕获数据仓库

数据仓库是一种信息系统,用于汇集多个来源的数据,长期保存这些数据,并以便于分析的方式组织数据,而非主要用于记录业务交易。它通常支持报表生成、绩效衡量、财务分析以及其他形式的商业智能。这一术语可以指经过统一管理的数据集合、存储这些数据的分析型数据库,也可以指涵盖数据摄取管道、转换规则、元数据和访问控制的更广泛环境。

数据仓库的核心价值并不只是集中存储,而是为来自不同系统的信息提供一致的解释:如何界定客户、收入数值采用哪种货币、事件发生于何时,以及当时适用的是哪种组织架构。这些定义使跨部门、跨时期的比较成为可能。因此,数据仓库既是一个技术系统,也是一种制度机制,用于维持共同的分析口径。

数据仓库的规模差异很大,既有部门级部署,也有存储数 PB 数据的分布式服务。其实现方式已从定期加载数据的关系型数据库,演变为支持持续摄取数据的弹性云平台,但核心关注点始终是数据整合、历史背景、可靠的查询性能和受控访问。

历史发展与基本原则

数据仓库源于业务运算与管理分析的分离。20世纪60年代至70年代,各类组织越来越多地使用计算机处理工资核算、库存变动、预订和金融交易。报表系统通常从这些应用中提取数据,存入单独的文件。随着业务系统数量不断增加,分析人员遇到了标识符不兼容、定义不一致以及报表之间无法核对一致等问题。

1988年,IBM公司的巴里·德夫林和保罗·墨菲发表论文《业务与信息系统架构》,提出了一套颇具影响力的构想。该论文描述了一种架构,用于将业务分析所需的信息与业务处理系统分离,并加以整合。威廉·H. 英蒙的《数据仓库》于1992年首次出版,推动了数据仓库作为独立学科的确立。英蒙将数据仓库概括为面向主题、集成、随时间变化且非易失的。这四项特征至今仍是阐释数据仓库概念的常见起点。

面向主题是指围绕客户、产品或理赔等长期存在的业务关注点来组织信息,而不是以单个应用的边界来划分。集成是指协调不同数据源之间的差异:两个应用可能对同一国家使用不同的编码,也可能采用互不兼容的客户编号。随时间变化是指数据记录保留其时间背景,从而支持跨月或跨年的分析。非易失是指分析数据采用不同于业务记录的维护方式,通过受控加载和历史保留来管理,而不是允许不受限制的事务性修改。这并不意味着数据无法更正、删除或更新。

拉尔夫·金博尔于1996年出版的《数据仓库工具箱》,推广了维度建模,以及一种基于业务流程和共享维度的开发方法。英蒙和金博尔各自倡导的方法,在偏好的集成结构与开发顺序上有所不同。英蒙通常强调建立一个集成的企业级数据存储库,往往采用关系模型,再由此派生出下游分析结构。金博尔则强调通过一致性维度来协调各个维度模型。实际部署往往兼采两者的做法。

硬件与数据库技术的发展改变了数据仓库的成本效益。并行数据库系统使大规模扫描和聚合变得切实可行;列式存储减少了分析查询需要读取的数据量;云计算则让用户无需购置专用系统即可获得所需容量。Amazon Redshift于2013年正式商用,Google BigQuery和Snowflake也成为不同托管式分析架构的代表。这些发展拓宽了部署选择,但并未消除早已存在的数据源协调与历史数据解读问题。

分析型工作负载与业务运行边界

数据仓库的主要特征在于其工作负载和信息管理职责,而不在于某一种存储技术。业务系统通常在更新单条记录的同时,处理范围有限的问题,例如下订单、预订座位或记录付款。数据仓库则更多地回答涉及大量记录的问题,例如各地区的季度销售额如何变化、通过不同获客渠道获得的客户留存率有何差异,或不同产品组的库存周转率有何不同。

传统上,这两类处理分别称为联机事务处理和联机分析处理。事务型工作负载通常涉及短请求、选择性查找、并发写入,以及必须即时满足的数据完整性要求。分析型工作负载则往往需要读取表中的大部分数据、联接多个数据集、对观测记录进行分组并计算聚合值。即使查询只返回二十行结果,也可能需要检查数十亿条底层记录。因此,结果集大小并不能很好地衡量分析查询的开销。

将这两类工作负载分离,可以防止分析扫描耗尽业务应用所需的资源,也使采用不同的数据模型和保留策略成为可能。订单录入应用可能只存储当前收货地址,因为这已足以完成订单履约。数据仓库则可能保留每笔历史订单对应的收货地址,以及客户的地址变更历史,因为区域销售分析需要这两类信息。数据仓库并不只是业务数据库的一个较慢副本,而是以适合另一种用途的方式组织和呈现信息。

数据集市是范围更窄的分析数据集合,通常面向财务、营销或采购等部门或主题领域。从属型数据集市的数据来自共享数据仓库或受治理的集成层。独立型数据集市则直接基于源数据构建,并可能形成自己的定义。独立型数据集市可以迅速产出有用的结果,但如果对收入、客户状态或产品层级的定义不一致,就可能难以在企业范围内进行比较。数据集市也可以是一组逻辑视图,而不一定是物理上独立的数据库。

其他相近系统承担着不同的职责。操作型数据存储通常侧重于整合后、较为及时的业务数据,保留的历史数据往往较少。备份保存信息是为了恢复,而不是为了分析解读。归档侧重于保留和检索。数据湖通常以文件或对象的形式存储多种多样的数据,其中包括尚未转换为稳定分析模型的数据。在现代平台中,这些类别有所重叠,但按用途进行区分仍然有价值。无论是存储海量数据,还是使用分析型数据库产品,都不会自动形成数据仓库:数据整合、可靠的定义以及对历史数据的妥善管理,都是不可或缺的。

架构分层与部署模式

数据仓库架构通常包含多个逻辑层,但这些层不一定对应独立的产品或机器。数据首先从源系统进入,经过受控处理后存入集成存储,再通过分析模型或接口供使用。在这些层之间,元数据记录了数据的含义、来源及其转换方式。

落地区或暂存区接收从源系统提取的数据、文件、变更事件或接口响应。该区域将数据摄取与下游处理隔离开来,并且可以在尽量不作改动的情况下保留源数据。保留一份不可变的提取数据副本,有助于重现失败的转换过程。不过,暂存数据可能包含重复项、过时记录、不一致的数据类型,或不应向常规分析访问开放的敏感字段。这些数据存在于平台中,并不意味着它们已达到可用于报表的可信程度。

集成层负责匹配源系统中的实体标识、采用统一的表示方式,并建立跨系统的关联。例如,可能需要将计费应用中的客户标识符与客服应用中的账户标识符关联起来。随后,展现层提供便于分析的表、视图或受治理的模型。有些架构会在暂存区与维度型数据集市之间保留一个规范化的企业级模型;另一些架构则更直接地构建集成的维度结构。这一选择会影响开发工作量、可追溯性、查询复杂度,以及应对源系统变更的方式。

部署可以采用集中式、分布式或混合式。集中式数据仓库将大部分分析数据置于同一个管理环境之下。分布式部署则可以为不同地区或业务领域保留独立的数据存储库,同时共享选定的定义和数据集。联邦访问允许查询引擎访问远程数据源,而不必先复制其中的全部内容。这可以减少重复存储,或满足数据存放位置的限制,但性能和可用性也会因此部分取决于远程系统。此外,联邦访问本身并不能消除数据含义上的冲突。

云端设计通常将持久化存储与查询计算分离。多个计算集群可以读取同一份受管理的数据,同时分别处理不同的工作负载,例如定时转换任务和交互式仪表板。这种安排支持独立扩缩容,并能加强资源隔离,不过存储服务、元数据系统以及并发数据修改仍然需要协调。它不同于传统的紧耦合一体机;在后者中,存储容量与处理能力需要一同扩展。

架构分层不应被理解为每一层都必须保存一份数据副本。转换层可以通过视图、物化表或以增量方式维护的模型来实现。额外的持久化副本可以提高性能和可重现性,但也会带来存储成本和同步责任。因此,架构不仅必须明确数据存放在哪里,还必须明确哪一种数据表示具有权威性,以及发生变更后,依赖它的其他表示如何达到一致。

维度建模与分析含义

维度建模围绕可度量的业务事件,以及这些事件发生时的描述性背景来组织数据。其典型结构是星型模式:以事实表为中心,连接各个维度表。以零售销售为例,事实表可以记录销售小票的各个明细行,而维度表则描述商品、门店、客户和日期。这种模型为分析查询提供了可预期的结构,也让常见的分组操作更容易表达。

建模中最重要的决策是确定粒度,即事实表中的一行究竟代表什么。一行可能代表一个订单明细项、一个发货明细项,也可能代表某种商品在某个地点午夜时分的库存余额。即使这些行的列看起来相似,它们的粒度也各不相同。混用不同粒度的数据,可能会在不易察觉的情况下导致数量成倍增加,或产生误导性的汇总结果。在选择度量和键之前,模型必须明确每一行记录的是哪一种事件或观测结果。

不同度量的可聚合方式并不相同。销售数量通常可以跨商品、地点和时间相加。账户余额通常可以在同一时点跨账户相加,却不能跨连续日期相加。毛利率等百分比指标一般不可相加。总体毛利率通常应根据汇总后的金额计算:

Margin rate=∑iRevenuei−∑iCosti∑iRevenuei.\text{Margin rate} = \frac{\sum_i \text{Revenue}_i-\sum_i \text{Cost}_i} {\sum_i \text{Revenue}_i}.

对预先计算好的行级百分比取平均值,可能得出不同且不恰当的结果,因为这种做法赋予了规模不同的观测值相同的权重。

维度表提供标签、分类和层级结构。例如,商品维度可能包含品牌、品类、包装规格和供应商。共享维度,也称为一致性维度,使不同业务流程中的事实能够按统一口径进行比较。即使销售和退货的底层交易来自不同应用,也可以按同一套商品层级结构进行分析。数据仓库生成的代理键通常用于标识维度行,使其不依赖源系统标识符;后者可能被重复使用,也可能在不同系统之间发生冲突。

雪花模式将部分维度结构规范化,拆分为相互关联的表,例如将商品品类与商品分开存放。星型模式则更常采用反规范化来简化分析查询中的连接操作。两种结构都没有绝对优势:规范化可以减少某些冗余,而对于特定工作负载,较扁平的维度可能更便于查询和管理。企业集成层也可能改用实体-联系模型,或采用将业务键、关系和描述性历史分别存储的 Data Vault 模型。

事实表的模式也反映业务流程的运行特点。事务事实记录单个事件;周期快照按固定间隔记录状态;累积快照跟踪订单履行等流程中的各个里程碑。无事实事实表则记录不含常规数值度量的事件或关系,例如培训课程的出席情况。计数和关系本身仍可支持有实质意义的分析。

数据摄取、转换与变更捕获

数据通过受管理的流水线进入数据仓库。传统的抽取、转换、加载处理流程从源系统抽取信息,在最终的数据仓库之外进行转换,再加载转换后的数据结构。抽取、加载、转换,即 ELT,则先将接近源数据形态的数据加载到分析平台,再利用平台的处理引擎完成后续转换。两者的区别在于转换发生的位置;无论采用哪种方式,都仍然需要数据校验、依赖管理和明确的业务规则。

数据抽取可以通过数据库查询、导出文件、应用程序编程接口或事件流来实现。全量抽取每次都会复制相关的整个数据集。增量抽取则只复制被认为发生了变化的记录。按时间戳筛选的方法可能很简单,但其正确性取决于更新时间戳是否可靠,以及是否妥善处理了边界条件。如果查询仅选择最近修改的行,那么源端已删除的行就无法被发现,除非源系统另行记录了删除操作。

变更数据捕获用于识别插入、更新和删除操作,通常通过读取数据库的事务日志来实现。基于日志的捕获可以减少对源数据的反复扫描,并保留源系统事务历史中的变更顺序。不过,这也带来了运维方面的要求:日志保留时长必须足以应对中断,必须正确解读模式变更,初始快照也必须与后续变更衔接一致。快照与变更流之间若有缺口,就可能遗漏事务;若有重叠,而处理流程又未作相应处置,就可能产生重复数据。

转换操作可以简单到类型转换,也可以复杂到数据核对与协调。它们可能包括统一时区、将源代码映射到通用类别、按指定的汇率规则换算货币、匹配客户身份,或分摊共同成本。必须区分技术层面的数据清洗与业务层面的解释。替换无效日期,与决定应将收入归属于订单日期、发货日期还是会计过账日期,是性质不同的事情。这类选择会改变分析结果,因此必须明确规定。

流水线通常采用幂等操作,使已完成的批次在重新运行时不会重复产生作用。相关技术包括替换指定分区、依据稳定的业务键进行合并,以及记录已处理的源端偏移量。编排系统根据依赖关系调度任务,对可恢复的失败进行重试,并在前置检查未通过时阻止向下游发布数据。仅仅成功执行一条数据库命令,并不能证明数据集完整或正确。

批量加载仍然适用于许多按日或按月生成报表的需求。微批处理以更短的间隔处理更小批量的数据,而流处理系统则持续或近乎持续地处理事件。延迟越低,对乱序、重复和暂定结果的处理就越复杂。即使仪表板每隔几秒更新一次,如果上游系统延迟发布事件,或只在报告期结束时才进行核对,它所呈现的业务活动仍可能不完整。

历史数据、时态模型与可复现性

历史分析需要准确回答“截至何时?”这一问题。客户当前所在的地区可能与下单时记录的地区不同。产品可能被划入其他类别,公司可能重组其部门,源系统也可能在事件发生数周后更正相关记录。数据仓库必须确定,分析应采用当前分类、历史分类,还是同时支持两者。

缓慢变化维度是处理描述性属性变化的成熟技术。在类型 1 方法中,新值会覆盖旧值,适用于数据更正或不保留历史的属性。在类型 2 方法中,每次变化都会创建一条新的维度记录,并为其分配不同的代理键和有效期。类型 3 则通过额外的列保留有限的先前状态。这些类型描述的是建模约定,并不要求同一维度中的所有属性都采用相同的处理策略。

对于类型 2 的客户维度,一条记录可以包含业务标识符、代理键、地区,以及生效起止时间。销售记录可以引用交易发生时适用的维度版本。以 [tstart,tend)[t_{\text{start}},t_{\text{end}}) 表示的半开有效区间,可确保边界时刻恰好归属于一个版本。正确的处理必须避免区间意外重叠,并明确源数据更正涉及已存储的有效期时应如何处理。

系统可能需要多个不同的时间轴。事件时间记录业务事件发生的时间。摄取时间记录事件数据进入数据仓库的时间。有效时间描述某项事实在所建模的现实世界中何时适用,而事务时间描述数据库何时记录了某个版本。时态数据库技术可以同时保留有效时间和事务时间。这使系统能够回答此类问题:某份保单在特定日期处于什么状态,以及组织在先前发布报告时认为该保单当时处于什么状态。

迟到的事实和维度会增加历史数据加载的复杂性。发货事件可能先于描述该事件所需的客户记录到达,或者某项调整可能涉及已经出具报告的月份。系统可以创建临时推断出的维度成员、推迟发布,或修订先前发布的汇总结果。适当的处理方式取决于报表约定。财务报告、运营仪表板和探索性分析完全可以采用不同的更正策略。

可复现性不仅要求保留原始记录。重现历史结果还可能需要当时使用的转换代码、参照表、汇率、模型定义以及源数据截止点。记录执行标识符和源数据位置,可以确立可复现的数据处理边界。如果有意使用更正后的数据或修订后的分类重新编制报告,就应使重编版本与最初发布的版本明确区分,而不是在不加说明的情况下改变原报告所表达的含义。

物理存储与分布式执行

分析型存储旨在降低读取和处理大量记录的成本。在行式布局中,同一条记录的各个值存放在一起,适合检索或修改完整记录。在列式存储中,同一列的值集中存放。按地区计算销售总额的查询可能只需读取地区列和销售额列,而不必读取每条记录的所有属性。

列式布局也更有利于数据压缩。重复的类别值可以用紧凑的字典编码表示;有序的值可以采用游程编码;相邻的数值则可以用差值编码。压缩能减少存储占用和数据传输量,但编码和解码会消耗计算资源。因此,分析引擎会根据数据特征和执行策略选择编码方式,而不会将文件尽可能小作为唯一目标。

分区将表划分为便于管理的子集,通常按日期划分。如果查询要从按天分区的表中提取一个月的数据,只要查询谓词允许进行分区裁剪,引擎就能跳过无关分区。聚簇、排序以及文件级的最小值和最大值统计信息,也能进一步帮助引擎跳过不需要的数据。分区过细可能适得其反:大量小文件或小分区会带来元数据和调度开销,更新和维护的成本也会增加。

大型数据仓库通常采用大规模并行处理,将工作分配到多个计算节点上。表可以按某个键的哈希值、按范围或按其他分配规则进行划分。如果经常连接的表采用相互兼容的分布方式,相关行就有可能在本地处理。否则,引擎可能需要通过网络重新分发行,或广播较小的表。这类传输通常称为混洗或交换,即使底层扫描速度很快,也可能占据执行时间的大部分。

数据倾斜是影响分布式处理性能的一大问题。如果某个高频出现或缺失的连接键导致过多记录被分配给同一个工作节点,该节点就可能成为瓶颈,而其他节点却处于空闲状态。拆分高频键、调整数据分布或采用专门的连接策略,都可能有所帮助,但每种方法都有取舍。需要关注的不只是数据总量;数据分布和相关性也会影响工作能否均衡分配。

存储与计算分离改变了这些决策的条件,但并未使它们变得无关紧要。共享对象存储可以支持相互独立的计算集群,而本地缓存可以减少重复的远程读取。性能仍然取决于文件大小、元数据质量、压缩方式、网络带宽以及工作负载的并发程度。如果查询扫描了不必要的列、在连接过程中产生了庞大的中间结果,或必须等待数据高度倾斜的任务完成,那么增加计算资源也未必能弥补这些问题。

查询处理、聚合与语义访问

大多数数据仓库都将 SQL结构化查询语言 作为主要查询语言。SQL 用于表达期望得到的结果,而执行策略则由数据库选择。查询优化器会考量连接顺序、连接算法、过滤操作的位置以及访问路径等备选方案。成本估算依赖于表大小、值分布和不同值数量等统计信息。统计信息不准确可能导致不佳的选择,尤其是在列之间高度相关,或工作负载中包含不常见的参数值时。

分析引擎通常会尽早执行过滤和列选择。查询某个地区某一年的销售额时,应避免让无关的行和未使用的属性参与后续操作。向量化执行按批处理值,而不是逐行解释执行,从而减少开销并有效利用现代处理器。其他技术还包括运行时过滤、自适应执行计划调整,以及在数据重新分布之前进行部分聚合。

物化视图会存储查询结果以供复用,而不是在每次请求时都从基表重新计算。利用每日销售总额,可以回答许多按月或按季度统计的问题,所需工作量远小于扫描每张收据的所有明细行。有些系统会自动改写适用的查询,使其利用这些结构。不过,维护这些结构也带来了数据时效性问题:系统必须确定它们何时已反映新增的事实数据、更正的记录或修订后的维度属性。增量维护可以减少重新计算的工作量,但在处理某些连接和聚合时会变得更加复杂。

分析操作包括上卷到更宽泛的分组、下钻到更细的明细、按条件切片,以及对维度进行透视。这些概念在多维 OLAP 系统中得到了形式化定义,但也见于关系查询和报表工具。预计算的多维数据立方体可以加快特定维度组合的查询,但可能的维度组合数量会迅速增长。因此,现代系统通常将有选择的预计算与按需执行相结合,而不一定将所有可能的聚合结果都物化。

语义层在物理表之上定义面向业务的概念。例如,它可以规定“净销售额”不包含退货金额,活跃客户必须在规定时段内有符合条件的购买记录,或者货币换算必须使用特定的汇率表。集中定义有助于避免不同仪表板采用存在细微差异的计算方式。这些定义还必须正确处理数据关系:如果将订单明细行与多条付款记录连接,而模型又没有考虑两者粒度的差异,就可能导致金额被重复累计。

查询治理包括准入控制、并发限制、超时设置和工作负载隔离。定时执行的数据转换可能会与交互式数据可视化和探索性分析争夺资源,而这些工作负载各有不同的服务要求。近似聚合可以加快某些探索性查询,但不能将带有不确定性的近似结果当作精确结果。例如,近似的去重客户数可能适合用于监测趋势,却不适合需要精确对账的流程。

数据质量、安全与运营治理

数据仓库即使建立在实质上不可靠的数据之上,也能执行技术上有效的查询。因此,数据质量包含若干相互独立的属性:完整性、准确性、一致性、唯一性、有效性和及时性。一张表可能完整却不正确,也可能准确却因到达太晚而无法满足预期用途。质量检查必须与数据的实际含义及解读方式相联系,而不能仅限于确认数据流水线是否无报错地执行完毕。

常见的管控措施包括:按声明的数据粒度检查唯一性,验证事实表与维度表之间的关系,检查取值是否处于允许范围内,以及与权威数据源核对汇总值。例如,每日销售数据加载时,可以将交易笔数和金额与源系统的控制汇总值进行比对。即使所有记录仍能成功解析,空值率或类别频率的突变也可能表明上游数据模式发生了变化。根据影响程度,质量检查不通过可能触发数据隔离、警告或阻止发布。

元数据既描述技术结构,也描述业务含义。技术元数据包括数据模式、数据类型、分区和执行详情。业务元数据则记录定义、负责人、计量单位和使用限制。数据血缘将输出与其来源及转换过程关联起来。借助这些关联,可以调查某个数值为何发生变化,识别源字段修改所影响的报表,并定位敏感属性在下游的副本。自动采集的血缘信息很有用,但外部脚本或手工电子表格中的转换操作可能造成血缘缺失。

数据仓库集中存储信息,因此数据隐私与访问控制尤为重要。权限可以在数据库、模式、表、行或列等层级实施。区域分析师可能只获准查看其负责区域的记录,而对于范围更广的分析用户,则隐藏能够直接识别个人身份的信息。加密能够在特定威胁场景下保护存储中的数据和网络传输中的数据,但无法阻止已获授权的用户或遭入侵的应用程序读取其权限范围内的数据。

运营管控措施包括身份认证、职责分离、审计日志记录、保留期限安排和受管理的服务身份。假名化可以减少身份标识信息的直接暴露,但经过假名化处理的记录仍可能关联到个人。删除要求也不只涉及主表:衍生数据集市、缓存的数据提取结果、文件和备份都可能包含副本。保留与恢复方案必须明确这些关联,而不能假定一次删除就会立即清除数据的所有存在形式。

衡量可靠性时,既要考虑基础设施的正常运行时间,也要考虑数据的可用性和正确性。有用的运营指标包括数据新鲜度、流水线延迟、未通过的质量检查、查询延迟和恢复时间。数据备份与灾难恢复流程用于防范数据丢失和服务中断,而恢复测试则用于验证这些措施是否有效。即使所有服务器都运行正常,源数据模式的变更仍可能导致业务中断,因此运营职责必须覆盖源系统接口、转换逻辑以及已发布的分析产品。

应用及与其他数据平台的融合

数据仓库支持需要跨系统、跨时间进行一致比较的日常决策。零售商将销售终端交易、促销、库存和产品层级信息结合起来,研究需求和利润率。制造商关联生产、采购和质量记录,分析良品率和供应商表现。金融机构则利用整合后的历史数据编制管理报表并进行对账。在这些场景中,分析价值来自以相容的粒度关联相关业务流程,而不只是将记录集中存放。

数据仓库还为数据挖掘和机器学习提供经过整理的输入数据。客户历史数据可用于构建客户流失模型,产品交互数据则可用于构建推荐系统。在模型开发中,历史数据的准确性尤为重要:特征必须反映预测时点能够获得的信息,而不能包含后续修正或未来事件。否则,数据泄漏(机器学习)可能使评估结果显得好得不切实际。按时点关联和版本化转换有助于使特征构建与预期的预测场景保持一致。

大数据的发展带来了涉及海量日志、媒体和松散结构事件的工作负载。数据湖使得以低成本对象存储保留这类资料变得切实可行,而且往往不必事先明确所有下游用途。数据仓库通常在经过整理的数据模式、分析性能和受治理的访问方面具有更完善的规范。实践中,组织往往同时使用两者:将原始数据集和探索性数据集存放在数据湖中,再将选定的信息转换为数据仓库模型。

数据湖仓旨在将分析型表管理与数据湖式对象存储结合起来。Apache Iceberg、Delta Lake 和 Apache Hudi 等开放表格式提供了维护表元数据、管理更新以及对外提供一致版本的机制,但其具体能力和实现方式各不相同。这些发展削弱了数据仓库必须依托专有、紧耦合存储系统的假设。但它们并不会自动带来统一的业务定义、正确的度量指标或权责明确的数据归属。

其他架构趋势改变的是职责划分,而非消除数据仓库的功能。数据网格强调由业务域负责数据,并将数据集作为受管理的产品。数据编织强调跨环境的集成能力和元数据驱动能力。混合事务与分析处理则尝试在紧密关联的数据上同时运行这两类工作负载。每种方法仍然面临历史状态、资源隔离、身份匹配与统一以及指标一致性等问题。

自动化可以生成转换代码、发现关联关系并辅助编写 SQL,但生成的结果仍须遵守与人工开发系统相同的建模约束。语法正确的查询依然可能使用错误的日期、关联粒度不相容的数据,或采用不恰当的收入定义。随着存储引擎和查询引擎不断融合,数据仓库的独特价值越来越体现在维护分析语义上:哪些观测记录应当归在一起,应当采用哪个历史版本,以及哪些结果能够根据指定的一组输入重现。