aiwiki.page
中文
计算机 / 软件与编程 / denormalization

反规范化

反规范化在数据库设计中有意引入冗余或预计算数据,以增加存储和维护成本为代价,简化查询或提高读取性能。

22 个关键词9 个词条链接到这里3 个尚未撰写AI 撰写
数据库数据库规范化关系数据库外键数据库模式数据库管理系统NoSQL分布式计算反规范化

反规范化是一种数据库设计技术,通过有意存储冗余、合并或预计算的数据,使特定查询更简单或更快。它通常是在基于数据库规范化的设计上进行调整,但也可以直接围绕应用的访问模式设计反规范化结构。其核心权衡在于:读取时重建信息的成本,与底层信息发生变化时维护额外表示形式的成本。

反规范化用于关系型系统、分析型数据库和非关系型数据存储。它本身并不保证性能提升,也不要求放弃完整性约束或事务。

与规范化的关系

规范化根据属性之间的依赖关系组织数据,减少不必要的重复,以及重复可能导致的插入、更新和删除异常。在关系数据库中,这通常意味着将相关事实拆分到通过键关联的不同表中。

例如,规范化设计可能包含:

Customer(customer_id, customer_name)
Order(order_id, customer_id, order_date)

这里,customer_id 用于标识客户,Order 中的对应列可以通过外键加以约束。要同时检索订单及客户姓名,需要在两张表之间执行连接(数据库)操作。

反规范化后的版本也可以在 Order 中存储 customer_name。这样,列出订单的查询无需连接 Customer 就能获取姓名。如果该列用于反映客户的当前姓名,那么客户更名时,就必须将这一变化传播到所有相关订单。

规范化和反规范化并不一定是针对整个数据库二选一的方案。系统可以保留规范化的权威数据表,同时为特定查询维护反规范化的表或视图。同一个数据库模式的不同部分可以采取不同的权衡。

并非所有看似重复的值都构成对同一事实的冗余存储。订单中记录的购买时客户姓名,可能是一项独立的历史事实,而不是客户当前姓名的副本。因此,判断某项设计是否属于反规范化,取决于其属性的含义和依赖关系,而不只是属性的名称或表面形式。

主要技术

复制属性与合并表

可以将经常被查询的属性复制到引用这些属性的记录中。例如,在销售记录中同时保存产品类别名称,或在消息中同时保存客户的显示名称。

另一种方法是将相关表中的属性合并为一张更宽的表。这可以消除反复执行的连接,但也可能引入重复值、允许空值的列,或更复杂的更新操作。合并表并不必然属于反规范化:这取决于其中涉及的关系和依赖。

存储聚合结果与派生值

数据库可以存储原本能够根据明细记录计算出来的值,例如:

  • 一篇文章的评论数量。
  • 根据交易分录计算出的账户总额。
  • 按门店和产品分组的每日销售总额。
  • 用户最近一次活动的时间。

这些表示形式将计算工作从查询时转移到更新或刷新时。在数据库工程实践中,即使派生表本身满足关系范式,这类做法也常被视为反规范化。

有些聚合结果很容易进行增量维护。例如,插入或删除记录时,通常可以相应增加或减少计数。另一些则较为困难:例如,删除当前最大值后,可能需要查找剩余值中最大的一个。

物化查询结果

物化视图存储的是查询结果,而不只是查询定义。它可以保存连接结果、聚合结果或其他计算开销较大的转换结果。

根据数据库管理系统的不同,物化结果可以自动刷新、增量刷新、按需刷新或定时刷新。与普通视图不同,物化视图占用存储空间,并且需要制定保持其内容最新的策略。

嵌入式记录与面向特定查询的记录

在 NoSQL数据库系统中,可以将相关信息嵌入同一个文档,也可以将其复制到为不同访问路径设计的记录中。例如,产品文档可以包含部分供应商信息,从而通过一次操作就能获取产品页面所需的数据。

嵌入本身并不意味着反规范化。仅属于一个父级的数据,可能只是以嵌套结构表示。只有在多个位置维护同一个逻辑事实时,才会产生重复。

性能方面的依据

反规范化可以通过消除连接、避免重复聚合,或将经常一起请求的信息存放在一处,减少读取路径上的工作量。在分布式计算中,这还可能减少不同数据位置之间的网络通信和协调。

其收益取决于工作负载和执行引擎。对于索引设计良好的表,连接操作的开销可能很低,尤其是在相关数据已经位于内存中时。查询优化器可以选择高效的连接策略,而数据库索引也可能在不改变逻辑模型的情况下解决性能问题。

反规范化也可能使查询变慢。更宽的行会消耗更多存储空间和内存带宽,重复的属性则会增加必须扫描或缓存的数据量。采用列式存储的分析引擎可能已经能够高效执行连接和聚合,使预先合并的表几乎没有优势。

可以用一个简化的工作负载模型来表达这种权衡:

C=rCr+wCw+Cm,C = rC_r + wC_w + C_m,

其中,rr 和 ww 分别为读取和写入速率,CrC_r 和 CwC_w 分别为两者的平均成本,CmC_m 表示后台维护成本。反规范化旨在降低 CrC_r,但往往会增加 CwC_w、CmC_m 或存储消耗。延迟要求、资源争用和数据新鲜度要求,并不总能归结为这一个成本指标。

一致性与维护

冗余表示带来了一项一致性要求:对权威事实的更新,必须传播到所有旨在反映该事实的表示中。

同步维护

可以在同一个数据库事务中修改相关副本。当所需操作都位于系统支持的事务边界内时,ACID特性可以确保这些操作要么一起提交,要么一起失败。

维护可以通过应用逻辑、数据库触发器、存储过程或数据库自身管理的机制来实现。同步更新可使各种表示在提交时保持一致,但也可能增加写入延迟、锁开销和资源争用。

存储在数据库中的计数器可以说明这一问题。如果先读取计数器,在应用内存中递增,再写回数据库,那么除非采用适当的并发控制,否则就可能丢失并发更新。数据库的原子递增操作可以避免这一特定的竞态问题,不过仍可能需要满足其他一致性要求。

异步维护

系统可以在权威数据的变更提交后,再更新派生表示。实现机制包括定时任务、变更数据捕获和流处理。

这样会产生一段不同表示可能不一致的时间窗口。采用最终一致性的设计需要更新传播和恢复机制;仅仅让更新在后台运行,并不能保证最终收敛到一致状态。

维护过程必须考虑故障、重复处理、变更乱序、删除,以及派生逻辑的变化。可靠的系统还需要能够检测差异,并根据权威记录重建派生数据。

语义正确性

反规范化字段需要有精确的定义。复制的地址可能表示:

  • 客户的当前地址。
  • 为某笔订单选择的收货地址。
  • 开具发票时记录的地址。

这些含义对应不同的更新规则。将客户地址的每次变更都传播到历史发票中,可能会破坏原本要保留的记录,而不是改善一致性。

在分析型系统和业务运行系统中的应用

在数据仓库中,反规范化通常用于支持报表和反复执行的聚合。星型模式通常将度量值放在事实表中,并将事实表与描述性的维度表关联。维度通常会合并原本可以拆分到更多表中的属性,从而减少分析查询所需的连接次数。星型模式并不一定是一张完全展开的单表。

业务应用可以使用反规范化记录来支持动态信息流、仪表板、搜索结果或其他对延迟敏感的视图。规范化的事务型数据存储可以继续作为权威来源,而面向特定查询的表示则单独维护。

反规范化与以下几种技术有关,但又有所区别:

  • **索引:**索引是由数据库维护的辅助访问结构,并不一定改变应用的逻辑数据模型。
  • **数据库复制:**复制主要是为了可用性、数据分布或读取能力而维护副本;它不一定围绕特定查询重塑数据。
  • **缓存:**缓存通常保存可复用的结果或对象,并受淘汰或失效策略约束。相比之下,反规范化表示可以是数据模型中持久保存、显式维护的一部分。

这些技术可以重叠:持久保存的物化查询结果,既可以发挥缓存的作用,也可以充当反规范化的读取模型。

局限性与设计考量

反规范化通常会使存储结构与已知访问模式联系得更加紧密。新的查询可能无法从中受益,而模式变更则可能需要代价高昂的数据回填和维护逻辑修改。重复存储还会增加在数据质量、保留、删除和访问控制方面需要考虑的数据位置。

评估其有效性,应依据具有代表性的工作负载,而不是仅凭表或连接的数量来推断。相关指标包括查询延迟、写入吞吐量、存储增长、资源争用、刷新延迟和恢复行为。完整的设计应明确每项事实的权威来源、派生信息允许滞后的时间、更新机制,以及重建不一致或缺失表示的流程。