缓慢变化维度(SCD)是指 数据仓库中描述性属性可能随时间变化的维度,以及用于管理这些变化的建模技术。这些技术决定了属性发生变化时,是用新值替换旧值、创建新的历史版本,还是将新值与选定的旧值一并保存。借助这些技术,数据仓库可以区分“这位客户现在属于哪个区域?”和“销售发生时,这位客户属于哪个区域?”之类的问题。
“缓慢变化”源于传统上对相对稳定的描述性数据与频繁到达的交易数据所作的区分,并不意味着必须遵循某种特定的更新频率。同样的技术也可用于频繁变化的属性,不过考虑到存储和处理成本,其他设计可能更合适。
在维度建模中的作用
在 维度建模中,维度表用于描述客户、产品、员工或地点等实体。事实表记录销售数量、收入等度量或业务事件,并通过键引用维度行。在 星型模式中,这些关系为事实的聚合和筛选提供上下文。
假设一位客户从北部销售区域迁至南部销售区域。报表可以采用以下几种解释方式:
- 将该客户的所有销售记录,包括较早的销售记录,全部归入南部。
- 将迁移前的销售记录保留在北部,迁移后的销售记录归入南部。
- 在报表中同时提供历史区域归属和当前区域归属。
这些解释回答的是不同的业务问题。SCD 策略将预期的解释方式明确下来,避免其由数据库更新无意间决定。
策略通常应用于属性级别,不一定作用于整张表。例如,客户维度可以直接覆盖更正后的姓名,保留销售区域的历史变化,同时永久保留最初的获客渠道。
发展与术语
SCD 术语与拉尔夫·金博尔(Ralph Kimball)推广的维度建模方法及后续数据仓库文献密切相关。类型 1、2 和 3 构成核心分类;后来的论述又纳入了类型 0 及其他组合方式。
类型编号用于标识存储和更新策略,并不代表成熟度等级,编号越大也不意味着越好。一些扩展类型的术语在不同作者和软件产品之间存在差异,因此,实施时需要说明其实际行为,不能只给出类型编号。
主要类型
类型 0:保留原始值
类型 0 保留某个值,不在常规维度更新过程中修改它。典型例子包括最初的开户日期,或客户初次获取时被划分到的客户群体。
这种方法有意不反映该属性后续发生的变化。仍可依据单独的策略允许特殊更正;“保留原始值”是一条建模规则,并不意味着从技术上保证某一列永远无法编辑。
类型 1:覆盖原值
类型 1 在现有维度行中用新属性值替换旧值,不会在该属性的维度历史中保留被覆盖的值。
例如:
| 客户键 | 客户 ID | 区域 |
|---|---|---|
| 501 | C104 | 北部 |
进行类型 1 更新后:
| 客户键 | 客户 ID | 区域 |
|---|---|---|
| 501 | C104 | 南部 |
引用客户键 501 的现有事实记录现在都会关联到南部。因此,即使事实行没有任何变化,按区域分组的报表也可能发生变化。
当不需要历史值,或旧值本身有误、不应继续作为报表依据时,类型 1 很有用。它简单且节省存储空间,但仅靠自身无法重现被覆盖前的状态。单独的审计日志或源系统历史记录可能保留这些信息,但这些信息并不会因此就能通过维度的常规报表结构访问。
类型 2:添加历史版本
类型 2 在被跟踪的属性发生变化时创建新的维度行。每个版本通常获得一个不同的 代理键,同时通过业务标识符将各个版本关联到同一个底层实体。
常见结构包括:
- 标识某一版本的代理键。
- 标识实体的业务标识符或持久标识符。
- 描述性属性。
- 生效起始时间戳。
- 生效结束时间戳。
- 可选的当前行标记或版本号。
例如:
| 客户键 | 客户 ID | 区域 | 生效起始日期 | 生效结束日期 |
|---|---|---|---|---|
| 501 | C104 | 北部 | 2024-01-01 | 2024-07-01 |
| 738 | C104 | 南部 | 2024-07-01 | 无截止日期 |
7 月 1 日之前发生的销售引用键 501;之后的销售引用键 738。每个键都可以作为维度表的 主键,事实表中则有与之对应的 外键。
有效区间通常表示为半开区间:
采用这一约定,一个版本可以恰好在下一个版本开始时结束,而不会让边界时刻同时属于两个版本。没有截止日期的当前区间可以使用空结束值或指定的最大日期,并相应调整查询逻辑。
类型 2 支持历史分析,但会增加行数和加载复杂度。其准确性取决于捕获到的变更是否完整,以及事实是否被正确分配到相应版本。
类型 3:为旧值添加属性
类型 3 将旧值存储在新增的列中,而不是创建新行。例如,一个维度可以包含 current_region、previous_region 和 region_change_date。
这支持一种范围有限的替代视角,例如比较当前区域划分与紧邻之前的区域划分。除非不断扩展表结构,否则它无法提供无限的历史记录,而持续扩展结构通常也不是这种方法的目的。
当用户需要按两种明确定义的分类方式查看同一组事实,而不是重建随时间变化的每一种状态时,类型 3 尤其适用。
扩展模式与混合模式
更复杂的模式会将上述基本方法组合起来。
微型维度将一组属性拆分到另一个维度中,通常是为了避免在快速变化的画像属性每次变更时,都为庞大的主维度创建新版本。在金博尔的术语体系中,这种方法与类型 4 相关。另一些文献则用“类型 4”指单独使用历史表的方法,因此必须明确所采用的约定。
类型 5 将微型维度与基础维度中指向当前画像的类型 1 引用结合起来。事实记录可以保留事件发生时适用的画像,而基础维度同时提供当前画像。
类型 6 融合了类型 1、类型 2 和类型 3 的思路。一种常见设计是在保留版本行和历史属性的同时,将指定的当前值属性同步到同一实体的各个版本。这样既可以按事件发生时的分类,也可以按当前分类对历史事实进行分组。
类型 7 通过不同的访问路径同时支持历史视角和当前视角,通常使用版本专属的代理键和持久实体键。持久键跨版本标识同一实体,使系统能够在不替换历史引用的情况下访问其当前表示。
这些模式需要明确的列名、关系和报表定义。否则,用户可能混用当前属性和历史属性,却没有意识到生成报表的时间含义已经发生变化。
加载与时间正确性
SCD 的维护通常在 抽取、转换与加载或相关的数据仓库加载流水线中完成。加载过程会识别实体,将被跟踪的属性与已存储的值进行比较,应用相应策略,并为新到达的事实分配维度键。
检测变更
可以通过源数据比较、快照、修改时间戳或 变更数据捕获来检测变更。比较规则必须考虑空值、字符规范化、数值精度以及其他表示形式上的差异。
哈希函数可以将被跟踪的属性汇总为摘要,以加快比较速度,但仍需采用一致的编码和空值处理方式。此外,哈希值相等并不能在数学上绝对保证底层值完全相同。
维护版本一致性
关闭旧的类型 2 区间并插入替代版本,应当构成一个保持一致性的操作,通常由 数据库事务提供保障。相关检查包括:
- 同一实体的有效区间不得重叠。
- 如果模型规定实体只能有一个当前状态,则当前版本不得超过一个。
- 版本键必须唯一。
- 重试加载时仍能正确处理。
区间之间存在空档并不一定是错误:是否合理,取决于是否允许实体处于非活动状态。
迟到数据
数据仓库接收到变更的时间,可能与该变更实际生效的时间不同。
迟到的事实通常应关联到事件发生时有效的维度版本,而不是自动关联到当前版本。追溯生效的维度变更可能需要拆分现有区间,并重新分配受影响的事实引用。如果缺少历史版本或可信的生效日期,数据仓库可能无法重建正确的先前状态。
有些系统会在事实先于其描述性数据到达时,创建推断成员或占位维度成员。后续补充数据时,必须区分是在填补缺失信息,还是在记录真正的业务变化。
与其他历史记录技术的关系
SCD 类型 2 类似于 时态数据库中的版本管理,但两者并不相同。典型的类型 2 维度建模的是有效时间,即某个值在业务领域中适用的时间。系统版本化数据库通常记录的是事务时间,即数据库存储某个版本的时间。
双时态模型同时记录这两种时间。它可以区分“销售日期当天有效的区域”与“生成某份早期报表时,数据仓库认为当时有效的区域”。普通的类型 2 历史记录并不会自动保留这两种视角。
SCD 历史记录也不同于事件日志。事件日志记录变更或操作,而维度通常呈现适合进行分析关联的实体状态。SCD 历史记录同样不等于 数据备份:备份用于支持恢复,不一定能方便地进行时间分析。
设计权衡与局限
设计中的核心选择,是确定历史报表应表达什么含义。组织归属调整可能需要保留,以便按事件发生时的情况进行分析;而拼写更正则可以合理地覆盖旧值。更正是否应使既往报表随之重述,属于业务需求,不能由类型编号决定。
重要局限包括:
- 源历史不完整: 定期快照可能遗漏两次观测之间发生的多次变更。
- 身份标识不稳定: 重复使用或不一致的业务标识符,可能错误地合并不同实体,或拆散同一实体的历史。
- 版本膨胀: 频繁变化的属性可能使维度变得庞大,并增加加载成本。
- 查询歧义: 将历史事实直接关联到某个实体的所有版本,可能产生重复行,导致汇总值虚增。
- 保留义务: 保留个人属性的历史记录,可能与 数据隐私及删除要求发生冲突。
- 可复现性有限: 如果事实、计算方法或业务规则也发生了变化,仅靠维度历史无法重现早期报表。