反规范化是一种数据库设计技术,通过有意存储冗余、合并或预计算的数据,使特定查询更简单或更快。它通常是在基于数据库规范化的设计上进行调整,但也可以直接围绕应用的访问模式设计反规范化结构。其核心权衡在于:读取时重建信息的成本,与底层信息发生变化时维护额外表示形式的成本。
反规范化用于关系型系统、分析型数据库和非关系型数据存储。它本身并不保证性能提升,也不要求放弃完整性约束或事务。
与规范化的关系
规范化根据属性之间的依赖关系组织数据,减少不必要的重复,以及重复可能导致的插入、更新和删除异常。在关系数据库中,这通常意味着将相关事实拆分到通过键关联的不同表中。
例如,规范化设计可能包含:
Customer(customer_id, customer_name)
Order(order_id, customer_id, order_date)
这里,customer_id 用于标识客户,Order 中的对应列可以通过外键加以约束。要同时检索订单及客户姓名,需要在两张表之间执行连接(数据库)操作。
反规范化后的版本也可以在 Order 中存储 customer_name。这样,列出订单的查询无需连接 Customer 就能获取姓名。如果该列用于反映客户的当前姓名,那么客户更名时,就必须将这一变化传播到所有相关订单。
规范化和反规范化并不一定是针对整个数据库二选一的方案。系统可以保留规范化的权威数据表,同时为特定查询维护反规范化的表或视图。同一个数据库模式的不同部分可以采取不同的权衡。
并非所有看似重复的值都构成对同一事实的冗余存储。订单中记录的购买时客户姓名,可能是一项独立的历史事实,而不是客户当前姓名的副本。因此,判断某项设计是否属于反规范化,取决于其属性的含义和依赖关系,而不只是属性的名称或表面形式。
主要技术
复制属性与合并表
可以将经常被查询的属性复制到引用这些属性的记录中。例如,在销售记录中同时保存产品类别名称,或在消息中同时保存客户的显示名称。
另一种方法是将相关表中的属性合并为一张更宽的表。这可以消除反复执行的连接,但也可能引入重复值、允许空值的列,或更复杂的更新操作。合并表并不必然属于反规范化:这取决于其中涉及的关系和依赖。
存储聚合结果与派生值
数据库可以存储原本能够根据明细记录计算出来的值,例如:
- 一篇文章的评论数量。
- 根据交易分录计算出的账户总额。
- 按门店和产品分组的每日销售总额。
- 用户最近一次活动的时间。
这些表示形式将计算工作从查询时转移到更新或刷新时。在数据库工程实践中,即使派生表本身满足关系范式,这类做法也常被视为反规范化。
有些聚合结果很容易进行增量维护。例如,插入或删除记录时,通常可以相应增加或减少计数。另一些则较为困难:例如,删除当前最大值后,可能需要查找剩余值中最大的一个。
物化查询结果
物化视图存储的是查询结果,而不只是查询定义。它可以保存连接结果、聚合结果或其他计算开销较大的转换结果。
根据数据库管理系统的不同,物化结果可以自动刷新、增量刷新、按需刷新或定时刷新。与普通视图不同,物化视图占用存储空间,并且需要制定保持其内容最新的策略。
嵌入式记录与面向特定查询的记录
在 NoSQL数据库系统中,可以将相关信息嵌入同一个文档,也可以将其复制到为不同访问路径设计的记录中。例如,产品文档可以包含部分供应商信息,从而通过一次操作就能获取产品页面所需的数据。
嵌入本身并不意味着反规范化。仅属于一个父级的数据,可能只是以嵌套结构表示。只有在多个位置维护同一个逻辑事实时,才会产生重复。
性能方面的依据
反规范化可以通过消除连接、避免重复聚合,或将经常一起请求的信息存放在一处,减少读取路径上的工作量。在分布式计算中,这还可能减少不同数据位置之间的网络通信和协调。
其收益取决于工作负载和执行引擎。对于索引设计良好的表,连接操作的开销可能很低,尤其是在相关数据已经位于内存中时。查询优化器可以选择高效的连接策略,而数据库索引也可能在不改变逻辑模型的情况下解决性能问题。
反规范化也可能使查询变慢。更宽的行会消耗更多存储空间和内存带宽,重复的属性则会增加必须扫描或缓存的数据量。采用列式存储的分析引擎可能已经能够高效执行连接和聚合,使预先合并的表几乎没有优势。
可以用一个简化的工作负载模型来表达这种权衡:
其中, 和 分别为读取和写入速率, 和 分别为两者的平均成本, 表示后台维护成本。反规范化旨在降低 ,但往往会增加 、 或存储消耗。延迟要求、资源争用和数据新鲜度要求,并不总能归结为这一个成本指标。
一致性与维护
冗余表示带来了一项一致性要求:对权威事实的更新,必须传播到所有旨在反映该事实的表示中。
同步维护
可以在同一个数据库事务中修改相关副本。当所需操作都位于系统支持的事务边界内时,ACID特性可以确保这些操作要么一起提交,要么一起失败。
维护可以通过应用逻辑、数据库触发器、存储过程或数据库自身管理的机制来实现。同步更新可使各种表示在提交时保持一致,但也可能增加写入延迟、锁开销和资源争用。
存储在数据库中的计数器可以说明这一问题。如果先读取计数器,在应用内存中递增,再写回数据库,那么除非采用适当的并发控制,否则就可能丢失并发更新。数据库的原子递增操作可以避免这一特定的竞态问题,不过仍可能需要满足其他一致性要求。
异步维护
系统可以在权威数据的变更提交后,再更新派生表示。实现机制包括定时任务、变更数据捕获和流处理。
这样会产生一段不同表示可能不一致的时间窗口。采用最终一致性的设计需要更新传播和恢复机制;仅仅让更新在后台运行,并不能保证最终收敛到一致状态。
维护过程必须考虑故障、重复处理、变更乱序、删除,以及派生逻辑的变化。可靠的系统还需要能够检测差异,并根据权威记录重建派生数据。
语义正确性
反规范化字段需要有精确的定义。复制的地址可能表示:
- 客户的当前地址。
- 为某笔订单选择的收货地址。
- 开具发票时记录的地址。
这些含义对应不同的更新规则。将客户地址的每次变更都传播到历史发票中,可能会破坏原本要保留的记录,而不是改善一致性。
在分析型系统和业务运行系统中的应用
在数据仓库中,反规范化通常用于支持报表和反复执行的聚合。星型模式通常将度量值放在事实表中,并将事实表与描述性的维度表关联。维度通常会合并原本可以拆分到更多表中的属性,从而减少分析查询所需的连接次数。星型模式并不一定是一张完全展开的单表。
业务应用可以使用反规范化记录来支持动态信息流、仪表板、搜索结果或其他对延迟敏感的视图。规范化的事务型数据存储可以继续作为权威来源,而面向特定查询的表示则单独维护。
反规范化与以下几种技术有关,但又有所区别:
- **索引:**索引是由数据库维护的辅助访问结构,并不一定改变应用的逻辑数据模型。
- **数据库复制:**复制主要是为了可用性、数据分布或读取能力而维护副本;它不一定围绕特定查询重塑数据。
- **缓存:**缓存通常保存可复用的结果或对象,并受淘汰或失效策略约束。相比之下,反规范化表示可以是数据模型中持久保存、显式维护的一部分。
这些技术可以重叠:持久保存的物化查询结果,既可以发挥缓存的作用,也可以充当反规范化的读取模型。
局限性与设计考量
反规范化通常会使存储结构与已知访问模式联系得更加紧密。新的查询可能无法从中受益,而模式变更则可能需要代价高昂的数据回填和维护逻辑修改。重复存储还会增加在数据质量、保留、删除和访问控制方面需要考虑的数据位置。
评估其有效性,应依据具有代表性的工作负载,而不是仅凭表或连接的数量来推断。相关指标包括查询延迟、写入吞吐量、存储增长、资源争用、刷新延迟和恢复行为。完整的设计应明确每项事实的权威来源、派生信息允许滞后的时间、更新机制,以及重建不一致或缺失表示的流程。