数据质量是指数据满足其预期用途要求的程度,这些要求包括准确性、完整性、一致性、及时性和可解释性。它既涉及所记录的信息与其所表征现象之间的关系,也涉及这些信息是否适合某项特定任务。同一数据集即使内容没有变化,也可能足以用于估算年度需求,却不足以作为批准单笔交易的依据。
数据质量是数据管理、统计学、数据工程和机器学习领域的核心议题。数据采集、解释、转换或关联过程中的错误可能在信息系统中传播,影响测量结果、预测、业务决策以及已发表的研究发现。因此,不能仅靠检查文件格式或确认数据库能够接收一条记录,就判定数据质量合格。
这一领域涵盖界定要求、发现缺陷、衡量缺陷的影响、防止问题再次发生,以及记录尚存不确定性的方法。它也涉及组织职责:确定数据元素的含义、谁有权修改它、哪个来源具有权威性,以及用户如何了解数据的局限。
概念基础与历史发展
关于数据质量的大多数论述都以两种互补的理念为基础。第一种是符合规范:数据值符合声明的类型、允许的取值范围、关系和业务规则。第二种是适合使用:数据能够满足其收集或再利用的目的。规范符合性的检查相对容易实现自动化,但完全符合规范的数据集仍可能不适合使用。例如,一张包含有效邮政地址的表,记录的可能是几年前就已搬走的客户。
适用性使质量取决于具体情境,但并不意味着质量可以任意界定。可以从决策、总体、精度、覆盖范围和允许的延迟等方面明确提出要求。用于国家规划的人口估计可以容忍某些局限,而这些局限在用于判定个人资格的名册中则不可接受。反过来,详尽的行政记录或许能够支持个案管理,却无法代表那些从未与主管机构打过交道的人群。因此,关键不只是数据值是否正确,还在于观测结果和所用定义能否支持拟作出的推断。
数据质量的思想根源并不限于计算领域。调查研究发展出了区分抽样误差与覆盖误差、无回答误差、测量误差和处理误差的方法。工业质量管理则强调控制生产过程,而非仅仅检验成品。这些理念随后被引入信息系统:一份存在缺陷的报告,其问题可能源于设计不当的输入表单、组织内部含糊不清的定义,或未留下文档记录的数据转换,而不一定出在报告软件本身。
在20世纪70年代关系系统的发展过程中,形式化约束为表达结构完整性提供了日益精确的方法。主键、参照关系和函数依赖使某些类型的不一致能够由机器自动检测出来。不过,它们的作用范围仍然有限:唯一的客户标识符不能证明该客户确实存在,可强制执行的订单与账户之间的关系,也不能证明订单录入无误。
20世纪90年代的研究推动数据质量成为一个多维度的研究领域。理查德·Y. 王(Richard Y. Wang)和黛安娜·M. 斯特朗(Diane M. Strong)于1996年发表的研究《超越准确性:数据质量对数据使用者意味着什么》,将质量属性划分为内在、情境、表征和可访问性四类。这项研究的重要意义之一,在于将用户的判断和工作条件纳入质量的考量,而不是把质量简化为数值上的准确性。后续研究方法将这种以用户为导向的视角与数据库理论、统计方法和过程管理相结合。由此形成的研究领域区分了数据产品本身的质量与生产数据产品所采用的控制措施:健全的控制措施能够降低风险,但仅凭这些措施,并不能证明每一项输出都正确无误。
维度、模型与标准
准确性描述数据与参考值或其所反映的现实相符的程度。可以从多个层面评估准确性,例如组织名称的拼写、某种物质浓度的测量值,或交易分类是否正确。准确性必须与精密度区分开来。传感器即使存在系统性的校准偏差,也可以报告许多位小数;多次测量结果即使彼此非常接近,也可能始终偏离真实值。
完整性关注所需信息是否齐备,但其衡量所用的分母取决于具体问题。属性完整性考察必填字段是否已填入内容;记录完整性考察预期的记录是否存在;总体覆盖度考察目标总体是否得到充分体现。即使客户表的每个字段都已填满,仍可能遗漏整个销售区域。使用“未知”等占位内容可以满足非空约束,却未必提供了分析所需的信息。
一致性关注数据在既定规则下是否不存在矛盾。例如,各明细项金额之和是否与发票总额相符,或出生日期与事件发生日期是否相容。有效性的含义通常更窄,指数据是否符合取值域、格式或规则。日期的格式可能有效,但实际内容却是错误的。唯一性关注同一实体或事件是否存在非预期的多重表示;评估时必须采用正确的粒度,因为同一个人的多次购买并不会仅仅因为客户标识符重复,就变成重复的购买记录。
及时性关注数据能否及时提供以满足任务需要,而现时性关注数据是否保持最新状态。不同框架使用的术语有所差异,因此,操作性定义比名称本身更重要。可访问性、可理解性、可信性和可追溯性也会影响数据的可用程度。记录计量单位、采集时段、排除项和编码规则的元数据,可能决定一个在技术上正确的值能否得到正确解读。
ISO/IEC 25012:2008 属于 SQuaRE 标准族,定义了一个包含 15 项特征的通用数据质量模型。这些特征是准确性、完整性、一致性、可信性、现时性、可访问性、合规性、保密性、效率、精密度、可追溯性、可理解性、可用性、可移植性和可恢复性。该模型区分了从固有视角、系统依赖视角或兼具这两种视角考察的特征。这说明了为什么质量的内涵比错误率更广:有些属性涉及数据值本身,另一些则取决于维护和访问数据所依赖的系统。
任何单一维度都不应被视为理所当然地能够替代其他维度。加快发布速度可能减少核验机会;记录越详细,信息泄露风险可能越高;严格的校验可能会拒绝真实的特殊案例。框架能够明确这些要求,却无法消除其中的权衡。因此,有用的质量规范应说明质量维度、测量程序、适用范围、可接受阈值和预期用途,而不是简单地宣称某个数据集具有“高质量”。
缺陷如何产生和传播
数据缺陷可能产生于信息生命周期的各个环节。在采集阶段,受访者可能误解问题,仪器可能发生漂移,软件可能截断输入内容,界面也可能诱导用户选择不准确的默认值。如果人们为了继续操作而填入虚构值,那么必填字段虽然能提高表面上的完整性,却会降低准确性。行政管理中的激励机制也会影响记录:为报销而采集的字段可能反映的是费用结算规则,而不是对实际活动的完整描述。
数据表示还会引入另一类问题。标识符转换为数值时,可能丢失前导零。如果没有明确说明日期格式,04/05/2024 这样的日期就存在歧义。不兼容的字符编码可能导致文本乱码,而视觉上完全相同的字符串也可能具有不同的 Unicode统一码表示形式。如果缺少单位、参考系或换算规则,测量值就可能产生误导。不知道所用温标,温度值 30 就没有确定的含义。
数据转换中的缺陷往往仍会产生看似合理的输出。当两个输入表中用于连接的键都对应多行数据时,错误的连接操作可能导致记录数量成倍增加。内连接可能悄无声息地移除未匹配的实体。筛选条件可能因按错误的时区解析时间戳而排除近期记录。在中间步骤进行舍入,可能使汇总结果不同于始终使用完整精度计算得到的结果。当每个值都仍在其允许范围内时,这些问题尤其难以发现。
即使技术格式一致,数据集成也会产生语义问题。两个部门对“活跃客户”的定义可能不同:一个指账户尚未关闭的人,另一个指过去 12 个月内有过购买行为的人。产品代码也可能仅在某个供应商内部具有唯一性。如果合并这类数据时不统一定义,就会造成错误匹配、遗漏匹配,或对不可比的量进行比较。组织内部定义的变化也可能制造出人为的历史趋势。
缺陷会沿依赖关系传播。错误的产品分类可能影响库存总量、按类别统计的收入、预测所用的特征以及管理仪表板。汇总可能掩盖原始错误,同时扩散其影响。反过来,有些缺陷会在汇总时部分相互抵消,使总体数值看似可靠,尽管单条记录并不可靠。因此,评估时必须区分记录层面的正确性与派生统计量的正确性。
并非每个异常值都是缺陷。交易量突然增加,可能意味着发生了真实事件,也可能源于软件的重试循环或攻击。观测值缺失可能是设备故障、预先规划的抽样设计所致,也可能是拒绝回答这一有意义行为的体现。诊断需要有关记录生成过程的证据。数据血缘记录了数据来源、转换过程和依赖关系的历史,有助于定位观测到的差异是在何处进入系统的,以及哪些下游数据产品可能受到影响。
评估、剖析与度量
质量评估首先要明确评估对象和目的。评估对象可以是字段、表、文档集合、数据流或派生指标。随后,通过具体要求界定哪些情况属于不合格。对于交易数据流,这些要求可能包括事件标识符唯一、货币代码有效、与源数据汇总值核对一致,以及在规定时限内交付。如果没有明确的评估范围,质量评分就可能将互不相关的属性混为一谈,或对用户并不在意的改进给予加分。
数据剖析用于检查实际观测到的数据结构和分布。典型操作包括计算缺失值频率、不同值的数量、最小值和最大值、字符串长度、类别频率,以及列之间的关系。数据剖析可以发现异常的日期范围、取值几乎不变的字段、重复的标识符,或类别占比的突变。它能够发现模式和潜在规则,但观测到的模式并不自动构成合理的要求。历史数据中没有出现某个罕见类别,并不能证明未来属于该类别的记录就是错误的。
许多业务度量采用比例形式。如果 条符合评估条件的记录中,有 条记录满足某项指定规则,则规则符合度为
必须谨慎界定分母。仅国际货运要求填写的字段,不应以全部货运记录为范围进行评估。无法检查的记录应与检查通过的记录区分开来。如果占位符和不可能的值也被视为填写完整,那么仅报告非空值百分比同样会产生误导。
准确性往往需要通过独立核验来确认,而不能仅依靠内部检查。可以将记录样本与原始文档、经校准的测量结果,或其他足够可靠的来源进行比对。如果容量为 的简单随机样本中出现 个错误,则观测到的错误比例为 。采用二项分布近似时,其标准误的估计值为
对于非常小的样本,或接近零或一的比例,这种近似可能并不准确。整群抽样、不等的抽取概率,以及错误之间的依赖关系,都需要采用不同的不确定性计算方法。未观测到错误,并不能证明总体错误率为零。
度量可以根据缺陷的后果赋予权重,而不是对所有缺陷一视同仁。可选描述字段出错与付款金额出错,都可能被计为一个不合格字段,但两者对业务运行的影响有很大差别。加权评分有助于确定工作的优先级,但权重体现了主观判断,应当保持透明。对不同维度取平均值也可能掩盖关键缺陷:出色的完整性无法弥补标识符存在的系统性错误。
按来源、时期、地理区域、产品或相关人群对评估结果进行细分,最能揭示问题。总体通过率可能掩盖集中出现在局部的缺陷。解读指标变化时,应同时考虑定义和测量程序的变化;否则,新引入的检查可能看似表明数据质量正在恶化,实际上只是揭示了此前未被测量的缺陷。
通过设计与验证预防缺陷
预防性控制措施旨在靠近源头的环节处理缺陷。模式设计确定字段类型、标识符、允许的值以及相互关系。在关系数据库中,主键约束防止键值重复,外键约束强制遵守已声明的引用关系,检查约束拒绝指定的无效组合。这些控制措施的价值在于,它们能在不同应用中一致地发挥作用,但也只能执行实际编码实现的规则。
事务设计可防止相互关联的变更只完成一部分。数据库事务可以确保在事务范围内,对订单的更新及其对应的库存变动要么都成功,要么都失败。这可以防止某些结构性不一致,却无法证明订购数量输入正确。引用完整性、事务一致性和事实准确性是相互关联但又不同的属性。
输入设计可以减少错误,而不必假定用户了解技术规范。明确的单位标注、受限的选项、无歧义的日期、上下文帮助,以及对重要输入的确认,都能减少误解的机会。然而,如果限制性界面所允许的类别无法涵盖合理情形,反而会损害数据质量。有效的控制措施应区分不可能的值与不常见但可能的值,让异常情况得到调查,而不是强行将其归入错误的类别。
在系统边界处,数据契约规定数据生产方与消费方之间的预期要求。其中可以定义模式、语义、允许为空的情形、更新频率、兼容性规则以及变更责任。应用程序编程接口可能在保持语法兼容的同时改变某个字段的含义,因此,仅规定数据类型的契约并不充分。采用版本化定义和变更通知,有助于消费方区分缺陷与有意进行的修订。
测试将软件工程方法应用于数据生产。单元测试使用受控样例检查转换过程;集成测试检查组件之间的交互;核对测试比较不同阶段的记录数或汇总值。基于属性的测试可以检查普遍成立的不变量,例如重新分组时总值保持不变。对边界情况进行测试——例如空输入、重复事件、闰日、极端值和缺失的引用——往往能发现普通样例无法暴露的问题。
预防性控制措施还需要配套的失败处理策略。拒收整批交付的数据可能保护下游系统,却也可能中断服务;接受这批数据则可能使缺陷扩散。系统通常会区分必须阻断处理的失败、警告和需要隔离的记录。隔离可以保留可疑数据以供调查,而不是悄然将其视为有效数据。被拒收的记录本身也需要监控,因为一条数据流水线如果只是靠丢弃越来越大比例的输入来发布干净的输出,就可能造成严重的覆盖偏差。
清洗、匹配与修复
数据清洗通过修改数据或为其添加标注来处理已发现的缺陷。常见操作包括统一表示形式、纠正已核实的转录错误、协调类别、消解重复实体以及处理缺失值。其目的不是让数据集看起来整齐划一,而是在保留变更证据的同时,提高数据对预期用途的适用性。不应仅仅因为异常观测值会使分析变得复杂,就将其删除。
标准化是将等价的表示转换为统一形式。例如,规范空白字符、采用指定的日期格式、转换单位,以及将本地类别代码映射到共用的分类体系。这些操作需要有防止语义受损的保障措施。将字母全部转为大写,对某种标识符可能无害,却不适用于区分大小写的代码;去除标点可能有助于姓名匹配,却可能破坏另一个字段中的含义区别。通常会在保留标准化值的同时保留原始值,以便检查转换过程。
记录链接又称实体解析,用于判断不同记录是否指向同一个实际实体。确定性方法依据精确一致或基于规则的一致性,例如经核实的标识符,或姓名与出生日期的组合。概率方法则综合利用一致与不一致所提供的证据。1969 年发表的 Fellegi–Sunter 框架,根据特定一致性模式在匹配记录对和非匹配记录对中出现的可能性,对比较过程作了形式化描述。
匹配错误有两个方向:将不同实体的记录链接在一起,以及未能将属于同一实体的记录链接起来。两类错误的代价因应用而异。将两个人的历史记录合并,可能比让各自的记录保持分离造成更严重的后果;而漏掉应有的链接,也可能严重扭曲纵向统计结果。大规模系统通常采用分块策略来限制候选比较范围,例如只比较属于同一地理区域或姓名中某一部分相同的记录。分块可以减少计算量,但也可能在匹配模型进行评估之前,就排除真正匹配的记录。
处理缺失值需要建立一个解释数值为何缺失的模型。按照统计学的惯用术语,“完全随机缺失”是指缺失与否既不依赖于已观测值,也不依赖于未观测值。“随机缺失”允许缺失与否依赖已观测信息,但在给定这些信息的条件下,不再依赖缺失值本身。“非随机缺失”则允许缺失与否还依赖于未观测值。这些是关于数据生成过程的假设,而不是总能仅凭已观测数据集就确定的标签。
缺失数据插补为缺失的观测提供合理的数值。均值替代法虽然简单,却可能扭曲数据的变异程度和变量间的关系;多重插补则在指定模型下生成多个完整数据集,以体现不确定性。无论哪种方法,都不能将估计值变成实际观测到的事实。同样,自动消解记录之间的冲突,需要明确规定如何依据权威性、时效性或可靠性作出取舍。修复日志应保留原始值、所用规则和时间戳,并明确区分已核实的纠正与基于模型的估计。
分布式与持续变化系统中的质量
在分布式计算中,质量部分取决于记录如何在无法共享同一瞬时状态的系统之间流转。网络会延迟消息或打乱其顺序,生产者会重试投递,处理程序则会在故障后恢复。因此,一条记录单独来看可能是正确的,但下游视图却可能不完整、存在重复,或暂时不一致。质量要求必须同时明确期望达到的状态,以及达到该状态的时限。
事件时间是事件发生的时间;处理时间是系统处理该事件的时间。两者之间的差异对流式计算至关重要。一笔在午夜前不久发生的购买,其记录可能在每日汇总发布后才到达。系统会使用水位线、允许延迟策略等技术,判断时间窗口内的数据是否已足够完整。这些策略需要在及时输出与日后可能需要修正之间作出权衡;水位线是对运行进度的估计,并不能证明不会再有更早发生的事件到达。
投递保证也会影响正确性。至多一次处理可能丢失事件;至少一次处理可能导致重复投递。所谓的恰好一次处理仅适用于明确界定的范围,并依赖于消息消费、状态更新和输出之间的协调。它既不能消除源头的重复事件,也不能保证事件内容真实。幂等操作是指重复执行与执行一次具有相同效果的操作;如果其键和语义设计得当,就能减少重试造成的不良影响。
要应对随时间发生的变化,仅有一个“最后更新时间”字段并不够。今天录入的修正记录,描述的可能是过去发生的事件。双时态模型区分有效时间与事务时间:前者指某个事实在所描述的现实世界中成立的时间,后者指系统存储该版本的时间。这一区分有助于回答诸如“在某个报告日期,当时掌握的情况是什么”以及“如今对先前那个时期的认识是什么”等问题。如果没有版本历史,修正可能导致此前发布的数据无法复现。
模式演进还会带来其他风险。与更改字段的单位或重新使用类别代码相比,新增一个允许为空的字段通常更容易兼容。历史文件可能需要使用其生成时适用的定义来解读。因此,转换代码的版本控制只是实现可复现性的一部分;输入版本、配置、参考表和执行条件也可能影响结果。
持续监控将规则检查与对数据量、延迟、分布及依赖关系的观测结合起来。数据可观测性通常指这种更广泛的能力,即根据数据系统的输出和运行信号推断其状况。数据行数骤减可能意味着服务中断、正常的季节性变化,或上游作出了过滤决定。监控发现的是症状;要确定原因,还需要数据血缘、日志和领域知识。基线必须随情况变化而调整,同时不能在自动学习中将持续发生的故障视为正常。
统计分析与机器学习
对于统计分析而言,数据质量也涉及所观测的数据集与据此推断的总体或过程之间的关系。即使数据集非常庞大,也可能只是对错误的目标量给出高度精确的估计。选择偏差、测量偏差以及定义的变化,并不会仅仅因为记录数量增加而消失。行政记录、网络活动日志和自愿参与的调查,各自都反映了决定哪些人被纳入、哪些内容被测量的特定机制。
区分抽样不确定性与系统误差至关重要。在适当条件下,扩大随机样本可以降低抽样变异,但未必能减小仪器的固定偏差,也未必能解决某个人群被排除在外的问题。记录中的变量也可能只是目标概念的代理指标:支出不等于需求,已报告的事件不等于全部事件,网络互动程度也不等于偏好。代理指标是否适用,取决于具体分析,以及将其与目标概念联系起来的机制。
在监督学习中,训练数据的质量涵盖特征测量、标签、覆盖范围,以及这些方面与部署条件的关系。标签错误可能源于含糊的标注说明、专业知识不足、对类别划分存在分歧,或样本与结果之间的对应关系有误。标注者之间的一致性具有参考价值,但不能据此认定标注正确,因为标注者可能存在相同的误解。有效的标注流程会区分本身就无法消除歧义的情况与可以避免的标注错误。
数据集的分离是另一项质量要求。当预期预测条件下无法获得的信息进入模型开发或评估过程时,就会发生数据泄漏(机器学习)。例如,使用未来信息进行训练,将同一个人几乎相同的记录同时放入训练集和测试集,或在划分数据集之前,使用整个数据集拟合预处理变换。因此,一个测试集即使每条记录本身都正确,也可能无法有效估计模型在现实环境中的表现。
代表性也会随时间变化。当部署时的数据不同于训练或评估所用的数据时,就会发生分布偏移。客户构成的变化与预测变量和结果之间关系的变化并不相同,尽管两者都可能导致性能下降。因此,评估必须说明其结果适用的人群、时期和运行条件。总体表现优异,并不排除模型在规模较小但重要的群体上表现不佳。
对于大语言模型,相关质量问题包括文本重复、来源可靠性、语言覆盖范围、标注一致性以及评估材料污染。去重可以减少模型反复接触相同内容的情况,并减少某些形式的基准测试污染;但如果不加区分地去重,也可能删除合理的重复内容或代表性不足的材料。内容过滤器体现了操作性定义和并不完美的分类,其效果必须经过评估,而不能想当然。数据投毒则带来了蓄意威胁:攻击者通过操纵训练数据或其他输入数据来影响系统行为。常规质量控制与对抗性安全控制虽有重叠,但它们针对的是不同的失效原因。
治理、问责与经济后果
数据治理明确数据定义、访问、变更和可接受使用方面的决策权与责任。当多个系统的数据定义存在分歧,却没有权威方能够确定应采用哪一定义时,质量工作就会变得困难。治理安排可以将业务部门对数据含义的权责与技术部门对存储和处理的责任区分开来。数据管家通常负责维护定义、协调问题解决,并在领域专家与工程团队之间建立联系,但具体职责因组织而异。
对于参考数据和主数据而言,统一定义尤为重要。参考数据规定公认的分类,例如货币代码或国家代码。主数据管理负责协调客户、供应商、产品和组织单元等核心实体相对稳定的描述。它并不要求所有系统在每一时刻都持有完全相同的记录,但必须针对标识符、权威属性、数据核对与协调以及变更传播制定规则。
质量问题登记表将发现的问题转化为可管理的工作事项。实用的记录内容包括受影响的数据、未满足的要求、发现时间、受影响的用户、严重程度、疑似原因、纠正措施,以及问题已解决的证据。根因分析有助于区分一次性修复与持续存在的流程缺陷。如果数据采集界面每天仍在制造同样的缺陷,那么即使纠正了数千条格式错误的记录,其长期价值也很有限。
经济评估既考虑质量控制的成本,也考虑质量失效的后果。这些后果可能包括重新处理、人工核对、业务中断、决策错误,以及可用历史信息的损失。一个简化的优先级排序模型将风险表示为
其中, 是某一特定失效情景发生的概率, 是相应的损失。这是一种期望值计算,而非对风险的完整表述。罕见的灾难性后果、相互关联的失效,以及难以准确估计的概率,都可能使简单排序不足以应对实际情况。相关的分析单位通常是失效情景,而不是某个孤立的错误单元格。
质量治理与数据隐私和信息安全相互影响。数据并非越完整越好:收集不必要的个人详细信息,可能增加泄露风险,却无助于完成正当任务。保护机密性的限制措施可能降低数据的可访问性,或降低可供分析的数据粒度。根据欧盟《通用数据保护条例》,准确性是个人数据处理应遵循的原则之一,此外还需遵循目的限制、数据最小化等独立原则。
落实问责还要求说明数据的局限。质量报告可以记录覆盖范围、已知缺陷、修订计划、测量方法,以及解读时应遵守的限制。获得认证或通过审计,只能证明在其规定的范围和期限内符合要求。无论是正式的治理架构,还是仪表板上良好的评分,都不能保证后续的每一种用途都合理;数据复用可能引入原始采集流程从未考虑过的要求。
特定领域的要求与质量保证的局限
科学测量将质量与校准、不确定度及可重复性联系起来。实验室结果不能只有一个看似合理的数值:相关背景信息还可能包括所用仪器、方法、校准历史、样品处理方式以及检出限。测量不确定度本身并不意味着质量低劣。与一个看似精确、却未记录误差来源的数值相比,不确定度得到充分表征的结果可能更有用。测量结果对公认参考标准的溯源性,也不同于数据库中承载该结果的记录的数据血缘。
在人口统计中,质量取决于覆盖程度、定义的一致性以及估计过程的透明度。人口普查可能漏计一些居民,也可能重复计算另一些居民。行政管理数据源可以帮助评估或调整覆盖情况,但也会引入自身的定义和记录关联错误。对已公布统计序列的修订,可能反映了信息的改善,而非编制过程的疏忽。用户需要区分初步估计、修订后的估计,以及方法变更造成的序列断点。
地理空间数据对位置精度、坐标参考系、分辨率、拓扑关系和时间适用性提出了要求。两个数据集可能使用不同的坐标系描述同一位置,若未经坐标转换便将其合并,就可能产生严重错位。地图详尽并不意味着位置准确;一条精确的边界可能代表行政约定,而非可直接观测到的自然地物。数据集的比例尺和日期限定了它适合用于哪些操作。
文本、图像、音频及其他非结构化材料,需要与其表示形式相适应的质量标准。在光学字符识别中,字符错误率和词错误率通过将识别文本与参考转写文本进行比较来计算,但无法充分反映错误对检索或历史解读的影响。对于图像,模糊、压缩伪影、色彩解读错误和来源信息缺失,对不同应用的影响各不相同。一张足以识别物体大类的照片,未必适合用于测量细小的物理特征。
只要现实只能被部分观测、类别划分存在争议,或缺乏权威参考依据,质量保证就存在根本性的局限。相互冲突的数据源,在不同定义或时间范围下可能各自都是准确的。一个看似更优的数据源,可能与被核查的数据源具有相同的上游错误,因此两者一致未必能构成独立佐证。自动化异常检测识别的是偏离模型的情况,而非错误本身。
尚待解决的研究问题包括:如何在缺乏可靠真实基准的情况下评估质量,如何量化缺陷对下游结论的影响,以及如何设计保留不确定性而非掩盖它的修复方法。另一项挑战是评估相互关联的失效:记录缺失、关联错误和分类错误可能相互作用,而孤立的指标会忽略这些作用。在此类情境下,有充分依据的质量保证取决于明确的假设、在条件允许时可独立检验的证据,以及对观测事实、推断值和尚未消除的不确定性之间界限的明确记录。