古德哈特定律指出,当某种统计关系被用作调控或决策的依据时,这种关系可能失效。这一定律最初是在货币政策背景下提出的,广为流传的表述是:“当一个指标成为目标时,它就不再是一个好指标。” 其根本问题在于:某个指标原本因为能够反映理想结果而被选中,但一旦人或系统因提高指标本身而获得奖励,该指标就可能不再可靠地反映这一结果。尽管称为“定律”,古德哈特定律实际上是一种经验概括和分析上的警示,而非普遍成立的数学定理。
起源与含义
这条定律以英国经济学家查尔斯·古德哈特的名字命名。他于1975年在讨论货币管理时提出这一观点,其最初表述是:
“任何观察到的统计规律,一旦因调控目的而受到压力,就往往会失效。”
它最初针对的是将货币总量指标用作政策目标的做法。中央银行可能观察到,某项货币供给指标与经济活动或通货膨胀之间存在相对稳定的关系。然而,试图控制该货币指标的举措可能改变金融机构和公众的行为,从而削弱政策所依赖的关系。
例如,将某一类银行存款设为调控目标,可能促使人们开发或使用不属于该类别的金融工具。如此一来,作为目标的总量指标对整体货币状况的反映能力就可能下降。这说明,金融创新和行为变化无需以任何人伪造数据为前提,也能使指标变得不那么可靠。
关于“指标成为目标”的那句更简短、流传更广的表述,通常与人类学家玛丽莲·斯特拉瑟恩于1997年对审计和评估的讨论联系在一起。这一表述将该原则从最初的货币领域扩展到了组织绩效、公共行政、科研评价及其他衡量体系。
这两种表述强调的是相互关联但有所不同的问题。原始表述关注干预下统计关系的不稳定性;通俗版本则强调目标导向行为造成的指标扭曲。
设定目标如何改变指标
绩效指标通常只能代表更广泛目标的一部分。考试分数无法涵盖学习的所有维度,论文数量不能充分代表研究质量,记录在案的产出也不一定能体现产品的价值或耐用程度。
在某个指标成为目标之前,它可能与期望结果相关,因为日常活动会同时改善两者。一旦奖惩与指标挂钩,人们就有动机寻找能够改善指标、却未必改善实际结果的办法。
以下几种机制都可能造成这种偏离:
- **努力替代:**注意力从未被衡量的活动转向被衡量的活动。
- **选择:**组织挑选更容易服务的客户、更容易处理的个案或更容易完成的项目,以改善所报告的绩效。
- **重新分类:**给活动重新贴上标签,使其被归入受奖励的类别,或被排除在受惩罚的类别之外。
- **报告操纵:**通过修改、遗漏记录或调整记录时间来改善指标。
- **结构性适应:**机构和市场因应目标而发生变化,使先前的统计关系不再那么适用。
这些机制并不一定涉及不诚实行为。工作人员可能完全遵守明文规定,最终结果却仍偏离这些规定的初衷。
这一问题与委托—代理问题密切相关。委托人希望获得某种难以观察的结果,而代理人则依据一个可观察的替代指标获得报酬。当代理人能够在不改善期望结果的情况下影响替代指标时,双方的激励就可能出现分歧。契约理论研究的正是此类难题,其中包括:对可衡量任务施加强激励,如何使人们减少对重要但更难衡量的任务的投入。
一个统计学例子
即使不存在策略性行为,也可能出现古德哈特式效应。假设测得分数 等于所关注的真实量 加上测量噪声:
假设 与 相互独立,均服从正态分布,均值均为零,方差分别为 和 。那么,真实量的条件期望值为
存在测量噪声时,真实量的期望值没有观测分数那么极端。因此,挑选测得分数最高的对象,选中的其实是真实表现与有利测量误差的混合。
这与均值回归有关。它并不意味着依据指标进行筛选毫无用处:在上述假设下,更高的分数仍然预示着更高的真实值。问题在于,将测得的提升完全视为真实提升,会夸大改善程度。如果优化还改变了分数与目标之间的关系,就可能出现更严重的失效。
主要形式
一种有助于分析的分类方法,将古德哈特式失效区分为四种形式。它们可能同时出现,而这种划分也并非唯一或普遍采用的分类体系。
回归效应
指标既包含关于期望结果的信息,也包含噪声。筛选异常高的指标值时,也会筛选出异常有利的噪声,因此实际表现并没有测量结果所显示的那么出众。
极端效应
在通常范围内成立的关系,到了极端值处可能失效。过度的数学优化可能将系统推到其指标经过验证的适用条件之外。
例如,在正常工作负荷下,生产速率可能反映效率;但当进一步提速造成设备损坏或产品缺陷时,它就可能不再具有这一作用。
因果效应
观察到关联,并不一定意味着存在因果关系。某个指标可能是成功的结果,可能与成功具有共同原因,也可能通过某种会被干预改变的机制与成功相联系。因此,直接提高指标未必能带来期望结果。
对抗效应
人或自动化系统有意利用评分规则的漏洞。他们找出能获得高分的行动,但这些行动对预期目标贡献甚微,甚至会损害该目标。
这种形式与“钻制度空子”最为接近,但古德哈特定律涵盖的范围比蓄意钻空子更广。
应用
货币政策与金融监管
古德哈特最初讨论的是货币总量指标作为政策目标时的可靠性。更一般地说,经济规制可能改变其所衡量活动的结构。
在金融领域,机构可能通过调整投资组合、法律结构或会计处理方式,来应对受到监管的风险指标。报告中的指标可能有所改善,但实际风险并未相应降低。这是否发生,取决于指标、规则以及可采取的应对方式;监管比率并非必然失效。
组织与公共部门绩效
针对产出、处理速度、销售额或结案数量设定目标,可以集中投入并加强问责。但这些目标也可能促使人们忽视质量、维护、棘手个案或长期结果。
假设某个服务中心只因通话时间短而获得奖励,它就可能通过转走棘手个案或提前结束通话,来缩短记录中的处理时间。这个例子说明,达成指标与实现服务目标并不是一回事。
教育与科研
在教育领域,高利害考试可能促使教学集中于考试内容,而非更广泛的课程内容。考试分数提高,可能反映了真正的学习进步、对考试形式的熟悉、教学范围的收窄,也可能是这些因素的共同结果。
在科研评价中,论文数量和基于引文的指标能够衡量学术活动的某些方面,却无法全面体现其原创性、可靠性或重要性。与单一指标挂钩的强激励,可能影响项目选择和论文发表方式。
这些例子并不说明考试或科研指标没有信息价值,而是说明,对指标的解读在一定程度上取决于其使用过程中伴随的激励。
经济与社会指标
国内生产总值衡量的是经济生产,而非社会福利或生活质量的全部组成部分。只着眼于提高这一指标的政策,可能忽视其衡量范围之外的结果。
这在一定程度上属于衡量不全面的问题,未必就是古德哈特效应。更严格意义上的古德哈特式问题是:将指标设为目标改变了人们的行为,而这些变化削弱了该指标与其原本意图代表的更广泛目标之间的关系。
人工智能
在机器学习中,模型通过损失函数、奖励信号或评估分数进行优化,但这些指标都只能不完全地代表预期表现。
系统可能通过利用评估机制的特点来获得高分,而不是完成预期任务。这类行为通常被称为奖励黑客。更强的优化可能暴露替代指标的弱点,而这些弱点在较弱的优化下并不显眼。
并非所有机器学习失败都是古德哈特效应。泛化能力差、训练数据有缺陷或实现错误,都可能在替代指标未被策略性利用的情况下发生。这里的相关之处,在于优化可衡量目标与实现预期结果之间的偏离。
相关概念
**坎贝尔定律**关注的是:将量化社会指标用于决策,如何产生压力,进而使指标及其所监测的过程都受到扭曲。它与对古德哈特定律更广泛的组织层面解读有很大重叠。
**卢卡斯批判**认为,在一种政策体制下估计出的经济关系,在另一种体制下未必保持稳定,因为人们的预期和决策会发生变化。这与古德哈特最初强调的、政策干预下观测关系的不稳定性密切相关,不过二者的表述和适用范围有所不同。
古德哈特定律也为机制设计提供启示:系统规则必须考虑参与者如何响应激励,而不能假定引入规则后,他们的行为仍保持不变。
局限及其对衡量的启示
古德哈特定律并未证明所有目标都会变得无用、所有绩效衡量都有害,或激励必然使结果恶化。一个指标成为目标后,仍可能具有信息价值,尤其是当它与实际目标紧密相连,而且很难在不影响实际目标的情况下被单独操纵时。
它在实践中的重要程度取决于:
- 指标与实际目标之间的差距;
- 与指标挂钩的激励强度;
- 在不改善结果的情况下改变行为的空间;
- 指标使用环境的稳定性;
- 是否存在对质量和非预期影响的独立核查。
常见的制度应对方式包括:采用多个相互补充的指标,区分监测指标与奖励目标,以独立证据核验报告中的绩效,以及随着行为变化修订指标。这些做法都涉及权衡:增加指标可能提高复杂性,而依赖裁量的评估则可能引入不一致或偏差。无论采用怎样一套固定指标,都仍然需要检验:测得的改善是否依然代表所追求的结果。