坎贝尔定律是关于使用数值指标作出影响重大的社会决策所产生的非预期效应的一项命题。它由美国社会科学家唐纳德·T. 坎贝尔提出,认为一项指标越是决定奖惩或资源分配,操纵它的压力就越大,而追求该指标扭曲其所衡量的实际活动的风险也就越高。这一定律在教育评估、组织管理和公共部门治理中得到广泛讨论。尽管名为“定律”,它既不是法律规则,也不是没有例外的科学定律。
起源与表述
坎贝尔在1976年的论文《评估有计划社会变革的影响》中提出了这一原则,该文随后于1979年发表于《评估与项目规划》期刊。他的表述如下:
任何量化社会指标越是被用于社会决策,就越会承受使其失真的压力,也越容易扭曲和损害它原本旨在监测的社会过程。
这一论点源于项目评估中的问题:如何判断一项政策或干预是否真正实现了预期目标。一项指标最初可能为某种结果提供有用的证据,但一旦机构因提高这个特定数值而获得奖励,该指标所能提供的信息就可能减少。
坎贝尔对学业成就测验的讨论说明了这种区别。在常规教学条件下,考试分数可以作为学习成效的证据。然而,如果提高分数成为学校教育压倒一切的目标,教学和考试方式就可能发生变化,从而削弱分数作为更广泛教育成就之证据的价值。
作用机制
坎贝尔定律关注的是衡量与激励之间的相互作用。它并不认为数值衡量本身就不可靠。
指标只能反映目标的一部分
许多机构目标,例如教育质量、公共服务成效或科学贡献,都具有多个维度,无法通过单一数值加以观察。因此,组织会使用代理变量,即用一个可衡量的量来代表某种更难评估的事物。
代理变量可以提供有用信息,但并不等同于目标本身。考试分数能够反映某些知识和技能,却不能涵盖教育的全部目的。论文发表数量记录了研究产出,却不能直接证明这些研究的重要性或可靠性。
奖惩后果改变行为
当一项指标成为晋升、拨款、处罚或公开排名的依据时,人们便有了更强的动力去提高它。这可能带来真正的改善,但也可能鼓励一些只提高测量结果、却无助于实现实际目标的行为。
可能出现的应对方式包括:
- **努力替代:**将精力集中于被衡量的活动,而忽视有价值但未被衡量的工作。
- **个案筛选:**选择更容易处理的服务对象、项目或任务,以改善报告中的结果。
- **重新分类:**改变事件或结果的归类方式。
- **时间调整:**将活动移至其他报告期。
- **虚报或造假:**篡改或编造记录中的数据。
这些应对方式并非都涉及不诚实行为。教师将更多时间用于考试涉及的内容,可能完全符合正式规定,却缩窄了课程范围。因此,坎贝尔所说的“腐化”也包括机构宗旨受到扭曲,而不只是贿赂或造假。
指标可能失去原有含义
一项指标的效用,部分取决于它建立时所处的条件。一旦人们开始主动优化该指标,这些条件就可能改变。
例如,较高的成功率最初可能反映了服务提供的有效性。但如果一个组织随后开始排除难以处理的个案,同样的成功率就可能主要反映其筛选做法。这个数值的计算仍然准确,但其含义已经发生变化。
这使坎贝尔定律与社会研究中的反思性联系起来:观察或评估社会行为的举动,本身就可能影响被观察的行为。
应用
以下内容用于说明可能的作用机制,并不是说所有采用这些衡量方式的组织都会出现这些问题。
教育
高利害评估是这一定律的主要应用领域。当考试成绩决定学校地位或教职人员的任用与奖惩时,学校可能更重视考试科目、常见题型,或分数接近问责门槛的学生。
备考本身并不必然构成扭曲。教授评估旨在衡量的知识,可以推进正当的教育目标。坎贝尔定律所关注的问题在于:分数的提高越来越多地反映狭窄的应试准备、将部分学生排除在评估之外或报告方式的改变,而不是更广泛的学习进步。
公共行政
在政府中,数值目标可以使绩效更加清晰可见,并支持政治问责。但它们也可能将工作重心引向最容易计数的事项。
例如,结案数量目标可能促使工作人员迅速完成简单案件,而棘手案件却仍悬而未决。办理时限目标可能促使机构改变案件正式立案或结案的记录时间。
这些可能性并不意味着行政统计毫无用处。它们说明,在解读表面上的改善时,必须重视定义、纳入标准和记录方式。
科研评估
在学术出版与科研评价中,论文发表总量和引文指标有助于描述科研活动及其影响。然而,当它们被当作主导性目标时,就可能鼓励将研究发现拆分成多篇论文、采取策略性引用做法,或优先开展容易产生可计数成果的工作。
这里的关键区别在于:是将文献计量证据作为判断的一项依据,还是用它完全取代对研究质量的评估。同行评审提供了另一种评估方式,不过,定性判断也有其自身的局限和激励因素。
组织管理
销售、生产和服务目标可能奖励可衡量的产出,却忽视质量、耐用性或客户需求。例如,主要以通话时长接受考核的服务中心,可能会缩短通话时间,却没有解决问题。
这些情况往往涉及委托—代理问题:制定目标的人无法充分观察负责实现目标者的努力、信息或选择。不完善的绩效指标可能使迎合评估者的行为,偏离服务于组织更广泛宗旨的行为。
与古德哈特定律的关系
坎贝尔定律与经济学家查尔斯·古德哈特提出的古德哈特定律密切相关。古德哈特最初的论点针对的是:货币政策中使用的统计关系,在受到政策压力时往往会失效。这一论点常被更概括地转述为:“当一项指标成为目标时,它就不再是一项好指标。”
这两项原则有所重叠,但侧重点不同:
- 坎贝尔定律明确关注社会指标、决策压力,以及衡量结果和社会过程受到的扭曲。
- 古德哈特定律强调,当一项指标或统计关系成为调控对象时,它就可能失效。
两者都不以蓄意作弊为前提。人们围绕一项指标理性地重新安排活动,就可能导致该指标的效用下降。
适用范围与局限
理解坎贝尔定律,最好将其视为对一种反复出现的机制的警示,而不是认定所有目标都会失败的预言。其影响取决于指标与目标的贴合程度、指标被操纵的难易程度、激励的强度,以及独立证据能否揭示工作重心转移或虚报问题。
以下几项区别十分重要:
改善并不必然意味着操纵。 指标上升可能反映了真正的进步。要证明存在扭曲,就需要考察变化是如何发生的,以及其他结果是否支持同样的解释。
钻指标的空子,不一定会使该指标的所有用途都失效。 即使一项指标被用于高利害决策后,在某些用途上的可靠性有所下降,它仍可能对其他用途具有参考价值。
采用多项指标并非彻底的解决办法。 更广泛的指标组合可以涵盖被忽视的维度,但也可能增加需要优化的目标。综合评分仍然包含对权重和取舍的选择。
定性评价也无法免受激励因素的影响。 用专业判断取代数值,可能引入自由裁量、不一致或偏袒。坎贝尔定律揭示的是具有重大后果的衡量所面临的问题,并不能证明不采用衡量的制度表现更好。
对评估设计的启示
借鉴坎贝尔定律的评估方法,会区分机构的实质目标与用于评价这些目标的指标。常见的防范措施包括:结合不同类型的证据,考察与奖惩挂钩的指标之外的结果,独立核查数据,以及调查分类方式或个案构成的变化。
一个尤为重要的问题是:在本身并未被设为目标的评估中,改善是否仍然存在。例如,与奖励挂钩的测试和独立评估都显示成绩提高,比仅在前者中取得进步更能证明学习确有成效。
根本问题在于因果关系:干预究竟改善了预期结果,还是主要改变了报告中那个数值的产生方式。