数据库规范化是将关系数据库系统地组织为若干关系的过程,使各关系的结构反映所存储事实之间的依赖关系。它采用称为“范式”的形式化规则,识别并减少可能引发插入异常、删除异常和更新异常的冗余。规范化通常将包含多类事实的一个关系分解为多个较小的关系,再通过连接这些关系重建原有信息。
规范化主要是在给定约束下数据库模式所具有的性质,而不是仅凭当前已有的数据行就能推断出的性质。一张表今天可能没有任何重复值,却仍可能在明天出现严重的不一致。反过来,同一标识符在多行中反复出现,也不一定构成有害冗余:这种重复可能表达了必要的关联。
规范化理论源于埃德加·F. 科德的关系模型,以及后来对函数依赖、多值依赖和连接依赖的研究。它在实践中的重要意义,在于将逻辑正确性与存储和访问方面的决策区分开来。规范化设计以严谨的方式表示事实;索引、缓存、物化视图和有意实施的反规范化,则用于处理实现与性能方面的不同问题。
关系模型基础与历史发展
科德在 IBM公司工作期间撰写了论文《大型共享数据库的数据关系模型》,于1970年发表,并在其中提出了关系模型。该模型通过关系来表示数据,而不是采用对应用程序可见的指针结构或固定的导航路径。一个关系包含一组命名属性,以及一组符合这些属性定义的元组。在数学模型中,元组互不相同,且排列顺序没有意义。这些性质使人们能够独立于具体的文件和访问方法来推理数据结构。
最初的范式要求在当时讨论的关系表示中排除取值为关系的组成部分。20世纪70年代初,科德提出了第二范式和第三范式的基本思想,用于处理属性之间的依赖关系。随后,雷蒙德·F.博伊斯与科德共同提出了更强的条件,即如今所称的博伊斯—科德范式。罗纳德·费金于1977年提出第四范式,又于1979年提出第五范式,扩展了这一理论,表明即使仅考察函数依赖未发现问题,仍可能存在冗余。
关系模式与关系实例之间的区别至关重要。模式规定属性和约束;实例则是满足这些规定的某个具体元组集合。例如,Employee(EmployeeID, DepartmentID, DepartmentPhone) 就是一个模式。根据其预期语义,可能要求每个部门有且仅有一个电话号码。这一要求适用于所有合法实例,即使当前实例中每个部门只有一名员工,因而没有表现出明显的重复,也不例外。
规范化在这一逻辑层面上进行。它不要求每个关系都对应一个独立的物理文件,也不规定采用某种特定的索引方法。数据库管理系统可以使用聚簇索引、列式结构、压缩或分区来存储规范化模式。逻辑分解及其物理实现是两个独立的设计决策。
这一理论与关系代数密切相关,尤其涉及投影和连接。投影保留选定的属性;连接则组合相容的元组。只有当这些操作能够保留预期信息时,分解才有意义。因此,规范化并不只是要求创建更多的表。其形式化目标关注的是:这些表所表示的依赖关系、能否重建原有信息,以及重要约束是否仍能得到强制执行。
函数依赖、键与修改异常
函数依赖是指,一组属性的值相同,就要求另一组属性的值也相同。对于关系模式 ,如果任意两个符合约束的元组只要在 上的值相同,在 上的值也必然相同,那么依赖 就成立。 中的属性称为决定因素。函数依赖表达的是应用领域的规则,而不仅仅是在某个数据集中观察到的规律。
超键是能够函数决定关系中所有属性的属性集。候选键是最小的超键:去掉其中任何一个属性,剩余的属性集就不再具备这一性质。可以指定一个候选键作为主键,但规范化必须考虑所有候选键。至少属于一个候选键的属性称为主属性。生成的标识符可以用作主键,但添加这样的标识符并不能消除其余属性之间的依赖关系。
考虑以下关系:
Enrollment(StudentID, CourseID, StudentName, CourseTitle, Grade)
假设其约束包括:
如果每名学生每门课程最多只有一条成绩记录,那么属性组合 (StudentID, CourseID) 就是候选键。学生姓名会在不同的选课记录中重复出现,课程名称也会在不同学生的记录中重复出现。这些重复源于将学生信息、课程信息和选课信息存储在一起。
这种设计会造成三种典型异常。更新异常是指,修改课程名称时需要修改多行;如果只更新其中一部分,就可能出现课程名称不一致的情况。插入异常是指,除非引入缺失值或人为编造的选课值,否则必须等到至少有一名学生选课后,才能记录该课程。删除异常是指,删除某门课程的最后一条选课记录时,也会将该课程的名称从数据库中删除。这些异常源于数据的表示方式,而不是更新命令本身出了问题。
依赖关系必须根据领域规则确定。在一个小样本中,每名员工的职位名称都不同,并不能据此认定 JobTitle → EmployeeID 成立。同样,在当前任职安排下成立的依赖,在保存历史记录的数据库中可能并不成立,除非加入时间属性。依赖发现可以找出可能成立的规则,但逻辑模式设计必须区分偶然出现的唯一性与要求在所有允许状态下都成立的约束。
第一范式与原子值的含义
第一范式通常缩写为 1NF,要求采用传统的关系表示方式:每个属性位置包含其定义域中的一个值,而不是由多个可独立访问的值组成的重复组。因此,如果 Phone1、Phone2 和 Phone3 这类列表示同一种关系的任意多次出现,这种设计就不符合第一范式。将电话号码列表当作单个电话号码值处理,同样不符合要求。
对于 Customer(CustomerID, Name, PhoneNumbers) 这样的表,需要仔细辨明其含义。如果 PhoneNumbers 包含字符串 "020-1111, 020-2222",而应用程序又反复拆分该字符串来查询其中的单个号码,那么实际上就是把一对多关系隐藏在了一个字段中。关系设计通常会使用 Customer(CustomerID, Name) 和 CustomerPhone(CustomerID, PhoneNumber)。这样,每个电话号码都可以作为独立事实接受约束、查询和更新,设计也不会因使用编号列而人为限制电话号码的数量上限。
不过,原子性是相对于所选的定义域和操作而言的。日期包含年、月、日等组成部分,但这并不意味着日期类型的属性就必然不符合 1NF。文本、地理坐标和标识符也可能具有内部结构。关键不在于能否设想出某种方式将一个值拆分,而在于模式是否隐藏了一组各自具有独立意义、理应参与关系约束和关系操作的数据项。
现代 SQL结构化查询语言 系统使相关术语变得更复杂,因为许多系统支持数组、复合类型和 JSON 文档。这些值可以是扩展数据模型中合理的功能,但它们的存在并不能证明整个设计满足经典规范化理论的假设。由多条独立管理的订单明细构成的数组,与使用专用类型存储的标量测量值有本质区别。因此,声称某个设计满足某一范式时,应明确这一判断所依据的模型和解释方式。
也不应将第一范式等同于 SQL 表设计中的所有实用规则。经典关系不包含重复元组,而 SQL 查询结果以及未施加相应约束的表则可能包含重复项。SQL 还允许使用空值标记,这引入了最简单的关系理论所不具备的语义。声明主键、选择适当的定义域以及指定是否允许空值,有助于使实现更贴近预期的逻辑模型,但仅靠 1NF 并不能消除由依赖关系引起的异常。前文介绍的选课关系即使满足 1NF,仍然可能重复存储学生和课程的事实。
第二范式与第三范式
第二范式针对的是非主属性对候选键的部分函数依赖。如果一个关系满足第一范式(1NF),并且每个非主属性都完全函数依赖于每个候选键,那么该关系就满足第二范式(2NF)。等价地说,任何非主属性都不能依赖于某个候选键的真子集。如果一个关系的所有候选键都只包含单个属性,它就自动满足这一特定要求,但仍可能违反更高的范式。
在选课示例中,StudentName 依赖于 StudentID,而 CourseTitle 依赖于 CourseID。这两个决定因素都只是复合候选键 (StudentID, CourseID) 的一部分。一种合适的分解方式如下:
Student(StudentID, StudentName)
Course(CourseID, CourseTitle)
Enrollment(StudentID, CourseID, Grade)
成绩仍保留在选课关系中,因为它依赖于学生与课程的组合。在给定依赖关系下,分解后得到的每个关系分别表示一种不同的事实。额外的业务规则可能需要进一步分析;仅凭表名本身,不能证明分解结果已经满足规范化要求。
第三范式(3NF)针对的依赖关系范围更广。其形式化条件是:对于约束所蕴含的每个非平凡函数依赖 ,要么 是超键,要么 是主属性。“非平凡”是指 尚未包含在 中。这种表述很重要,因为与“消除对非键列的依赖”这种非正式说法相比,它能更准确地处理相互重叠的候选键。
例如,考虑关系 Employee(EmployeeID, DepartmentID, DepartmentPhone),其中存在依赖 EmployeeID → DepartmentID 和 DepartmentID → DepartmentPhone。如果 EmployeeID 是唯一的候选键,那么该关系满足第二范式:它的键没有非空真子集。然而,它仍然违反第三范式,因为 DepartmentID 不是超键,而 DepartmentPhone 是非主属性。将其分解为 Employee(EmployeeID, DepartmentID) 和 Department(DepartmentID, DepartmentPhone),就能消除部门电话号码的重复存储。
将第三范式描述为消除传递依赖,是一种常见且有用的说法,但如果不加上有关键和主属性的限定,这种说法就不完整。函数依赖本身具有传递性:由 和 ,可以推出 。关键在于某个依赖是否形成了范式所禁止的结构。第三范式特意允许某些右侧属性为主属性的依赖,即使这些依赖的决定因素不是超键。这一例外使我们能够构造既保持全部函数依赖、又具有无损连接性的分解,而更严格的博伊斯–科德条件并不总能提供这样的保证。
博伊斯–科德范式及其权衡
博伊斯–科德范式(简称 BCNF)要求每个非平凡函数依赖的决定因素都是超键。形式化地说,对于由模式约束所蕴含的每个依赖 ,要么 ,要么 是超键。与第三范式(3NF)不同,BCNF 不对主属性作例外规定。因此,满足 BCNF 的关系一定满足 3NF,但有些满足 3NF 的关系并不满足 BCNF。
一类典型的例子涉及相互重叠的候选键。设 Tutorial(Student, Subject, Tutor)(辅导关系,包含学生、科目、导师三个属性)遵循两条规则:每名学生在每门科目上只有一位导师,每位导师只教授一门科目。由此得到:
候选键为 (Student, Subject) 和 (Student, Tutor)。三个属性都是主属性。因此,尽管 Tutor 不是超键,3NF 仍允许存在依赖 Tutor → Subject。这一依赖违反了 BCNF,因为一位导师可能教授多名学生。
一种 BCNF 分解是将其拆为 TutorSubject(Tutor, Subject) 和 StudentTutor(Student, Tutor)。这样,每位导师所教授的科目只需记录一次,不必为每名学生重复记录。在上述依赖成立的条件下,这一分解是无损的,因为公共属性 Tutor 能够确定整个 TutorSubject 关系。将这两个关系连接起来,即可重建原来的学生–科目–导师三元组。
然而,仅靠两个分解所得关系各自的约束,无法保持原来的第一条依赖。StudentTutor 中可以同时包含 (Mira, TutorA) 和 (Mira, TutorB),而 TutorSubject 将这两位导师的授课科目都记为数学。两个关系分别都满足各自投影得到的函数依赖,但将它们连接起来后,米拉在同一门科目上就有了两位导师。要强制执行原来的学生–科目规则,就必须结合分解后多个关系中的信息进行检查。
这个例子说明,规范化不能仅凭一条“选择数字最大或名义上最强的范式”的指令来指导。BCNF 设计消除了 3NF 可能允许的一种冗余,却也可能使某项重要约束更难实施。相比之下,3NF 设计可以将该约束保留在一个关系中,代价是接受一定程度的冗余。恰当的逻辑设计取决于存在哪些依赖,以及如何维护这些依赖;性能方面的考量则是另一个独立的问题。
无损分解、依赖保持与算法
分解的正确性和实用性取决于两个性质。无损连接分解保证:将任何满足约束的原始关系投影到各个子模式上,再对这些投影进行连接,所得结果恰好就是原始关系。有损分解则可能产生伪元组,即原先并不存在、也没有原始事实依据的组合。这里的“无损”指的是关系的重建,而不是无损数据压缩。
对于将 二元分解为 和 的情况,其中 ,基于函数依赖的判定条件是:依赖集的闭包中包含以下依赖之一:
因此,公共属性必须能够确定至少一个子模式的全部属性。仅仅具有同名列并不足够。例如,将 Assignment(Employee, Project, Role) 拆分为 (Employee, Project) 和 (Employee, Role),可能会把每位员工的每个项目与其每个角色错误地配对,除非约束能够保证这些组合成立。
依赖保持是指,无须连接各个子关系,仅通过各子关系上的约束就能实施原有依赖。它与无损性是不同的性质:一种分解可以是无损的,却不保持依赖,前文的导师示例就是如此。检验依赖保持性时,需要收集每个子模式上所有隐含的依赖,并将它们共同蕴含的依赖与原始要求进行比较。仅考察初始说明中明确列出的依赖,并不总是足够。
有多种过程依赖于属性闭包。给定依赖集 ,闭包 是由 函数确定的所有属性组成的集合。计算时,可以从 开始,反复检查各个依赖:如果某个依赖左部的属性已全部包含在当前集合中,就将其右部属性加入集合。直到无法再加入任何属性时,过程结束。当且仅当集合 的闭包包含该关系的全部属性时, 才是超键。闭包计算可用于键的检验、依赖蕴含的检验以及规范化算法。
标准的第三范式(3NF)综合算法首先计算依赖集的一个适当最小覆盖,再根据其中的决定属性与被决定属性创建关系,并确保分解结果中存在一个包含候选键的关系。随后可以移除被其他模式包含的冗余模式。所得分解可以同时具有无损性和依赖保持性。相比之下,标准的 BCNF 分解算法会反复依据违反 BCNF 的依赖 拆分关系,生成模式 和 。这种方法保证每次拆分都是无损的,但不保证依赖保持。对于更一般的依赖情形,可以采用追赶算法等技术,推理约束是否会强制执行某个拟议分解所要求的值的等同或元组的生成。
多值依赖与第四范式
函数依赖并不能描述所有冗余来源。假设 EmployeeQualification(Employee, Language, Certification) 记录员工会说的语言以及持有的资格证书。如果语言和资格证书是相互独立的事实,那么表中就必须包含每位员工的语言与资格证书的所有组合。一名掌握三种语言、持有四项资格证书的员工需要十二行记录,尽管分别记录的语言和资格证书事实总共只有七项。
这种情况可用多值依赖来描述。通俗地说, 表示:对于每个固定的 值,可能出现的 值与其余属性 的值相互独立。从元组的角度看,只要两个元组在 上取值相同,关系中就必须包含交换这两个元组的 和 分量后得到的元组。这一要求关注的是各种组合是否存在,而不只是是否存在多个值。
对于上述员工资格关系,预期规则为:
语言和资格证书都不一定由员工函数决定。如果不存在其他非平凡函数依赖,这个包含三个属性的关系即使满足 BCNF,仍可能存在笛卡尔积式的冗余。第四范式(4NF)针对的正是这种情况:每个非平凡多值依赖的决定因素都必须是超键。如果一个多值依赖右侧的属性包含于左侧属性中,或者两侧属性合起来覆盖整个关系模式,那么该依赖就是平凡的。
适当的分解方式是 EmployeeLanguage(Employee, Language) 和 EmployeeCertification(Employee, Certification)。连接这两个关系可以重建所有有效组合,恰恰是因为独立性本就是其语义的一部分。此时,插入一项资格证书只需增加一条事实,而不必针对每种语言各增加一行。函数依赖是多值依赖的特例,因此满足 4NF 也意味着满足 BCNF。
独立性假设至关重要。如果某项资格证书仅允许员工使用某一种特定语言工作,那么语言与资格证书的配对本身就有意义。此时,若将其分解为单独的语言关系和资格证书关系,就会产生没有事实依据的组合。同样,只有当列出的每个供应商与零件的配对都适用于该供应商列出的每个交付区域时,才可以分别存储供应商提供的零件及其交付区域。仅凭重复现象无法确定多值依赖;允许出现哪些组合,必须由业务领域的规则来决定。
连接依赖、第五范式与专门范式
连接依赖将无损分解推广到任意数量的投影。对于模式 及其分量模式 ,连接依赖要求每个合法实例 都满足:
这个等式表示,将这些投影进行连接不会引入额外的元组。多值依赖对应于一种特殊的双分量情形,但有些冗余需要分解为三个或更多分量才能消除,无法通过相应的非平凡二元分解去除。
第五范式又称投影—连接范式,要求每个非平凡连接依赖都由候选键蕴含。考虑关系 Supply(Supplier, Part, Project)(供应关系,包含供应商、零件、项目三个属性)。其中的三元组可能受这样一条规则约束:供应商向某项目供应某零件,当且仅当该供应商获准供应该零件、该供应商获准向该项目供货,并且该项目使用该零件。在这条规则下,完整关系可以由 SupplierPart、SupplierProject 和 ProjectPart 重建。
例如,三元组 (S1, P1, J2)、(S1, P2, J1) 和 (S2, P1, J1) 的投影合起来包含了生成 (S1, P1, J1) 所需的全部三个二元组。因此,受上述连接依赖约束的模式必须包含这第四个三元组。如果第四种组合在应用中并不合法,那么该依赖就不成立,这种三路分解也就不合适。两两相容通常并不能保证完整业务关系的有效性。
更高层次的范式以及其他范式针对的是另一些理论要求。Fagin 于 1981 年提出的域键范式,刻画了这样一类模式:其所有约束都能完全由域约束和键约束推导出来。它的吸引力在于,无须其他类型的约束就能刻画合法状态。然而,许多实际业务规则并不能自然地归结为域和键,因此,它更像是一个理论目标,而非普遍可行的设计准则。
第六范式要求不存在非平凡连接依赖,即其中的关系无法再通过这类分解进一步拆分。它尤其与时态数据处理方法相关:这类方法将彼此独立变化的事实分别表示。这种用途不应被误解为主张所有普通应用都应将表拆分到尽可能小。超出常见函数依赖范式层次的其他范式,取决于所考虑的依赖语言、时态模型和设计目标。
在 SQL 系统中实现规范化模式
规范化的逻辑设计必须转化为数据库能够强制执行的约束。主键和唯一约束用于标识元组,并表达候选键的限制条件。外键表达相关关系之间的参照完整性。例如,Enrollment.StudentID 可以引用 Student.StudentID,从而确保选课记录不会指向不存在的学生。外键本身并不是范式条件;它的作用是支持分解所得模式的完整性。
是否允许空值需要明确考虑。在经典关系模型中,候选键唯一标识每一个元组,而 SQL 的唯一约束可能根据系统规则允许空值标记。因此,允许空值的 UNIQUE 列不一定能实现预期的候选键语义。同样,在 Employee 中将 DepartmentID 声明为外键,并不能保证每位员工都归属于某个部门,除非同时强制执行适当的非空要求或其他规则。
规范化可以将某些跨行规则转化为简单的局部约束。在未经规范化的员工表中,要保证每个部门只有一个电话号码,可能需要检查许多员工行。而在单独的 Department 表中,以 DepartmentID 为主键,就能自然地保证每个部门只存储一个电话号码值。不过,有些约束本质上仍然需要跨表或跨行检查,例如容量限制、排期冲突,以及因不保持依赖的分解而丢失的规则。
这类约束可能需要通过触发器、专门的约束机制,或包含在数据库事务中的应用程序操作来实现。并发问题也很重要:两个事务可能各自通过初步检查,但随后共同导致某条规则被违反。必须采用适当的锁定、隔离或约束执行机制,确保检查与修改配合起来时仍能正确运行。规范化不能替代事务的 ACID特性,事务隔离也无法弥补依赖关系建模上的错误。
模式迁移也不只是把列复制到新表中。现有数据可能违反预期的依赖关系,例如,同一个部门标识符可能已经对应两个电话号码。迁移时必须解决这些冲突,将数据填入新的关系,建立键和引用,并协调修改数据读取与写入逻辑。视图可以通过对新设计进行连接来保留原有接口,但并非所有连接视图都能自动支持更新。这些实现任务将规范化与数据质量及软件工程联系起来,但并不改变规范化的形式化定义。
性能、反规范化与当代数据架构
规范化关注的是逻辑依赖关系,而不是为各种设计给出普遍适用的性能排名。规范化设计只存储一份会发生变化的事实,因此可以减少存储占用和写放大。但在组合应用程序所需的输出时,它也可能需要更多连接操作。其成本取决于关系的大小、选择性、内存、可用的访问路径,以及优化器生成的执行计划。数据库索引可以降低连接操作的成本;而对于大型关系,选择性较差的查询无论采用何种范式,都可能开销高昂。
反规范化有意引入冗余,通常是为了满足经测量确认的数据访问需求。例如,将客户显示名称复制到面向搜索的表中,或者存储预先计算的订单总额。重复存储的值随之带来维护责任:系统必须确定哪一份表示具有权威性、更新如何传播,以及是否允许暂时不一致。生成一个标识符、增加一个索引,或采用不同的物理行布局,本身并不属于反规范化,因为这些变化不一定会引入额外的逻辑依赖关系或重复的业务事实。
分析系统的权衡往往不同于事务处理系统。数据仓库可能采用由事实表和描述性维度表构成的星型模式。维度表可以有意将那些在更规范化的设计中会被拆分的属性合并在一起,从而减少常见分析所需的连接次数。维度的历史版本又带来了另一层区别:客户在销售发生时的地址,不一定是客户当前地址的冗余副本。这两个值可能表示不同的事实,因此需要不同的依赖规则。
在分布式计算中,跨机器的连接操作可能涉及大量网络通信,因此常常需要将频繁访问的数据放在同一节点上,或复制这些数据。许多NoSQL数据库设计通过嵌入相关信息来支持特定的访问模式,不过,非关系模型同样可以运用类似思路,分析数据归属、依赖关系和更新异常。跨服务边界复制数据可能是一种有意的架构选择,但仍须明确一致性和同步机制。无论是分布式架构还是文档存储,都不会让同一事实的相互冲突的表示变得无害。
因此,实际评估需要分别考察几个问题:依赖关系是否正确表达了业务领域,分解是否保留了信息,约束可以在何处实施,以及工作负载在所选系统上如何执行。基准测试可以评估延迟、吞吐量、存储占用和更新成本,却无法判定某个函数依赖在语义上是否成立。反过来,即使证明某个模式满足 BCNF,也无法据此预测其查询延迟。逻辑规范化与物理优化回答的是不同的问题,在数据库设计中,二者各自都不可或缺。