重复博弈是博弈论中的一种模型,指一组固定的参与者多次进行某种既定的策略互动,每次互动称为阶段博弈。参与者可以依据以往博弈的信息作出当前选择。因此,一个行动不仅影响当期收益,还会影响其他参与者今后的行为。当前行为与未来后果之间的这种联系,使重复博弈有别于一系列互不相关的一次性博弈。
即使每个参与者都有采取机会主义行为的即时动机,重复互动仍可能维持合作。但它也可能维持低效率的结果、代价高昂的惩罚,以及收益分配不均的局面。因此,重复博弈理论并不认为长期关系必然带来合作,而是要确定:在什么条件下,特定的行为模式能够与个体激励相一致。
重复博弈是分析企业之间、劳动者与雇主之间、贸易伙伴之间以及政府之间持续关系的核心工具。其数学结构尤其取决于互动的持续时间、参与者对未来收益的重视程度、参与者能观察到什么,以及他们对彼此了解多少。这些特征决定了承诺与威胁是否可信、哪些结果能够维持,以及经验如何改变行为。
形式结构与收益准则
阶段博弈可以写为 ,其中, 是参与者集合, 是参与者 的行动集合, 为每个行动组合 指定一个收益。在第 期,参与者选择行动 ,获得阶段收益 ,并获取有关当期所发生情况的信息。随后,同一个阶段博弈再次进行。在标准模型中,行动不会改变基本的行动集合或收益函数,但可能改变参与者的信念和未来策略。
在完全监测下,第 期开始前的公共历史为
策略规定了每一种可能历史之后的行为,包括所有人都遵循所提出的策略时不会出现的历史。形式上,行为策略将每一种信息历史映射为可选行动上的一个概率分布。这种随机化不同于在博弈开始时就选定一整套依情况而定的行动计划,不过,当参与者具有完美记忆时,已有的等价性结果将这两种描述联系起来。
对于期限为 期的有限期博弈,收益通常表示为各期阶段收益的总和或平均值。对于无限期博弈,一种标准设定是归一化贴现效用:
这里取期望是为了涵盖行动和信号的随机性。参与者 的贴现因子 衡量其赋予未来收益的权重。归一化确保了永远获得恒定阶段收益 的价值为 ,从而便于将重复博弈的收益与阶段博弈的收益向量进行比较。
贴现可以表示缺乏耐心、收入延迟所带来的机会成本,或关系终止的外生风险。如果在不贴现的情况下,一段关系在每期结束后都独立地以概率 延续,那么其预期收益总和中各期收益的权重就是 。当常规贴现与独立的延续风险同时存在时,有效贴现因子就是二者的乘积。因此,即使现实中的关系终究会结束,随机终止的博弈也可能产生与无限期贴现博弈相似的激励。
另一种准则采用长期平均收益,例如预期时间平均收益的下极限。贴现收益与平均收益这两种表述相互关联,但若无额外假设,二者并不能互换。重复博弈也不同于随机博弈,后者中的行动可以改变与收益相关的状态。在标准重复博弈中,历史具有策略上的意义;而在随机博弈中,过去的行动还可能改变物理或经济环境。
有限次重复与逆向归纳法
当最后一期已知时,推理通常从终点开始。在这一期,模型内已不存在可用于奖励或惩罚当前行为的未来。因此,在最后一期的每个子博弈中,参与者都必须选择阶段博弈的一个纳什均衡。这一观察构成了逆向归纳法的基础:先求解最后一个决策问题,再将其结果代入前一个问题,如此逐步向前推至起点。
最清楚的例子是有限次重复的囚徒困境。每位参与者选择合作或背叛。在阶段博弈中,背叛严格支配合作,因此双方都背叛是其唯一的纳什均衡。最后一轮中,双方都会背叛。由于此前的行为无法改变最后一轮的这一结果,同样的推理也适用于倒数第二轮。反复运用这一论证,就可得出:在唯一的子博弈精炼均衡中,每一轮双方都会背叛。
均衡精炼的要求在这里至关重要。子博弈精炼均衡要求,在每个子博弈起点所对应的历史之后,各方的策略都构成纳什均衡,而不只是在预定的博弈路径上如此。在期限有限、监测完全且阶段博弈的纳什均衡唯一的条件下,逆向归纳法要求在任何历史之后都采取该均衡。这里的唯一性针对的是阶段博弈的全部均衡,包括混合策略均衡,而不仅仅是纯策略均衡。
当阶段博弈存在多个均衡时,有限次重复就有了更丰富的可能性。假设一个均衡给某位参与者带来较高收益,另一个均衡则带来较低收益。此前的行为可以决定此后选择哪一个均衡。由于这两种后续结果本身都是均衡,即使在最后一轮,奖励和惩罚也可以是可信的。这样一来,此前那些并不构成阶段博弈均衡的行动,也可能因为能够影响后续均衡的选择而得到维持。
还必须区分终止日期已知与终止日期不确定这两种情况。如果一段关系在每一期都以固定且相互独立的概率延续,就不存在一个众所周知的最后一轮,可供逆向归纳法作为起点。同样,对对手目标的不确定性也可能改变有限期限内的激励。即使知道互动终将结束,参与者仍可能选择合作,以影响对手对其未来行为的判断。
因此,有限期限下的这一结果是一个有条件成立的定理,而不是对人类重复互动的一般性断言。其效力共同取决于博弈的终止结构、对博弈的共同知识、均衡的多重性,以及所采用的均衡精炼概念。实验中观察到的前期合作、临近结束时背叛增多的现象,与这些假设的适用性有关,但并不能推翻这一数学论证在其特定模型内的有效性。
合作、报复与激励约束
在无限期重复的囚徒困境中,未来的后果可以抵消当前背叛的诱惑。设阶段收益满足
其中, 是对方合作时选择背叛的收益, 是双方合作的收益, 是双方背叛的收益, 是对方背叛时选择合作的收益。一个常见的附加假设是 ,它保证双方合作所产生的总收益,高于在两种非对称结果之间交替所产生的总收益。
冷酷触发策略以合作开始,只要没有发生过背叛,就继续合作。一旦发生任何背叛,此后便永远背叛。面对同样采用冷酷触发策略的参与者,持续合作带来的归一化收益为 。单方面背叛带来的收益为
因为偏离者立即获得 ,随后永远获得 。合作满足激励相容条件,当且仅当
即
当 、、、 时,门槛为 。
这一计算揭示了重复博弈中合作的基本机制。背叛的诱惑收益越高,合作就越难维持;惩罚阶段的收益越低,合作则越容易维持。更有耐心也有助于合作,因为这会增加后续收益损失的权重。惩罚开始后,双方背叛构成阶段博弈的均衡,因此策略规定的惩罚具有序贯可信性。所以,这一论证并不只是说明在合作路径上,合作比偏离更有利。
其他策略采用持续时间更短或更宽容的应对方式。有限惩罚策略可以规定先背叛固定的若干轮,然后恢复合作。其激励约束必须同时考虑合作阶段和惩罚阶段的行为。在再次发生偏离后重新开始惩罚或延长惩罚,可能十分重要:如果参与者在已经受到惩罚时仍能通过偏离获利,那么看似简单直接的惩罚方案也可能失效。
以牙还牙策略先选择合作,随后模仿对手上一轮的行动。它通过罗伯特·阿克塞尔罗德举办的计算机锦标赛而广为人知,但在锦标赛中表现出色,并不意味着它在所有收益设定和贴现因子下都构成子博弈精炼均衡。在出现非对称结果后,两个采用以牙还牙策略的参与者可能无限期地在合作与背叛之间交替。对于这些均衡路径之外的历史,需要另行检验其激励。
失误进一步凸显了这些策略之间的差异。冷酷触发策略可能使一次误操作演变为合作的永久破裂,而宽容则能使合作恢复。不过,宽容也会降低蓄意偏离的预期代价。因此,重复博弈的设计需要在威慑力与恢复能力之间进行权衡,而不是对严厉策略和宽容策略作出普遍适用的优劣排序。
均衡收益与民间定理
民间定理是一类刻画重复互动中可维持收益集合的结果:只要参与者足够有耐心,这个集合就可能相当庞大。这一名称反映了这样一段历史:在权威的正式论述发表之前,这些结果的不同版本就已广为流传。并不存在一个对所有博弈期限、监测结构或均衡概念都适用的单一定理。每种表述都会对耐心程度、可行性、惩罚和信息作出各自的条件规定。
可行性构成了一项约束。若阶段博弈的收益向量为 ,通常的可行集为
其中, 表示凸包。凸组合表示在不同行动组合之间进行分时安排或随机化。并非每个可行收益都是均衡收益:所提出的分配还必须给予每位参与者足够的收益,使其无法通过单方面偏离获利。
第二项约束是个体理性。一个常用的基准是参与者的极小极大收益,
它衡量的是,当其他参与者选择行为以压低参与者 的收益时,该参与者所能确保获得的最高收益。必须明确规定对手之间允许采用何种随机化与协调方式;不同的约定可能影响这一基准。一般而言,均衡不能使某位参与者的收益低于其通过适当应对所能保证的水平。
一个标准的、适用于贴现收益和完美监测情形的民间定理指出:在适当的维数条件下,当共同贴现因子足够接近一时,每个可行且严格高于所有参与者各自极小极大收益水平的收益向量,都可以作为子博弈精炼均衡的收益得到支持。有些版本会施加不同的限定条件,或采用不同的均衡概念。严格不等式很重要,因为边界上的收益可能没有留下补偿参与者执行惩罚的余地。
核心构造是将目标路径与依情况触发的惩罚相结合。一旦发生偏离,就会触发后续博弈安排,充分降低偏离者的未来收益,以抵消其即时所得。难点在于让每位参与者都愿意执行这一后续安排。可信的惩罚可能需要奖励惩罚执行者,或引入更多依赖历史的阶段,而不一定只是重复某个阶段博弈均衡。
民间定理既说明了重复互动的力量,也揭示了它的局限。有耐心可以维持有效率的合作,也可以维持不平等或低效率的分配。理论往往预测的是一组可能的均衡,而非唯一的结果。要从中作出选择,还需要对制度、沟通、谈判、学习或策略的简单性作出进一步假设。此外,贴现因子的门槛取决于目标收益和具体博弈:“足够有耐心”并不是一个普遍适用的数值条件。
监测、信号与隐藏行动
完全监测意味着参与者能够观察到此前各期采取的行动。这一假设使偏离行为可以被识别,也使所有人都能依据同一行动历史制定策略。然而,许多经济关系中存在隐藏行动。企业可能观察到市场价格,却无法观察到竞争对手的生产决策;雇主可能观察到产出,却无法观察到员工付出的努力。在这种情况下,重复博弈的分析取决于行动如何产生可观察的信号。
在不完全公共监测下,所有参与者都观察到同一个信号,但该信号不能准确揭示行动。例如,市场价格偏低,既可能是竞争对手扩大产量所致,也可能源于需求意外疲软。公共策略以共同的信号历史为依据。完美公共均衡是由公共策略构成的均衡,并且在每一种公共历史之后仍然构成均衡。
假设公共信号 的条件分布为 。若 表示参与者 在信号 出现后的延续收益,那么策略规定的纯行动组合 必须对每一种单方面的替代行动 满足
因此,当前的激励来自偏离行为对未来奖励与惩罚的分布所产生的影响。
这一表述揭示了其中的信息问题。如果某种偏离不改变信号分布,却能带来即时收益,那么仅靠依据信号确定的延续收益,就无法阻止这种偏离。当偏离确实影响信号时,即便实际上没有人偏离,不利信号有时也可能引发惩罚。均衡必须区分统计证据与确定无疑的事实,而误报的代价可能降低可实现的收益。
爱德华·格林和罗伯特·波特于1984年提出的寡头垄断模型,展示了不完全监测下如何出现暂时性的价格战。即使所有企业都遵循了均衡策略,只要公开观察到的市场结果足够不利,也可能触发惩罚阶段。这类事件未必意味着协调已经永久瓦解;它们也可能是维持协调的机制的一部分。
私人监测的分析更加困难,因为参与者收到的信号各不相同,可能对发生了什么持有不同看法。他们也可能不确定其他人持有什么信念。基于公共历史的方法不再能直接套用,而关于私人历史的信念可能在策略上变得重要。沟通有助于形成共同信息,但报告本身也必须满足激励相容性。因此,监测质量影响的不仅是预测的准确程度,还包括均衡问题本身的结构。
不完全信息与声誉
不完全信息下的重复互动引入了对参与者收益函数、可选行动或行为特征的不确定性。参与者可能是普通的收益最大化者,也可能是格外偏好合作的类型,或是受约束而必须遵循某种特定规则的承诺型参与者。这类互动将重复博弈与贝叶斯博弈的信息结构相结合。观察到的行为既影响即时收益,也影响对对手的信念。
只要观察到的事件在模型中具有正概率,就使用贝叶斯定理更新信念。如果某个参与者最初认为对手属于类型 的概率为 ,那么在观察到一个行动后,就会根据各个可能类型采取该行动的可能性来调整这一判断。策略型参与者会预见到这一过程。因此,它可能选择当前收益相对较低的行动,因为该行动会改变对手此后的应对方式。
戴维·克雷普斯、保罗·米尔格罗姆、约翰·罗伯茨和罗伯特·威尔逊于1982年对有限次重复囚徒困境的分析表明,不完全信息能够在有限期关系中支撑相当程度的合作。即使对手遵循某种根据情况作出反应的合作规则的概率很小,也可能使策略型参与者有动力维护合作声誉。这与完全信息下的逆向归纳论证不同,因为此时的行为会传递有关类型的信息。
当一个长期参与者依次与一系列短期对手互动时,声誉尤为重要。每个短期对手可能只参与一次,但可能观察到长期参与者过去的行动。这样一来,长期参与者就可能有动力模仿某种承诺型参与者,因为这种类型所表现出的行为能诱使对手作出有利于自己的回应。德鲁·富登伯格和戴维·莱文于1989年开展的声誉分析,确立了一些重要条件,说明在何种情况下,有耐心的长期参与者能够获得与承诺相关的收益保证。
披露信息也可能付出代价。在具有不完全信息的重复零和博弈中,知情参与者可能隐瞒信息以保留未来的优势,也可能选择性地披露信息以改善当前决策。罗伯特·奥曼和迈克尔·马施勒就这一权衡发展出一套重要理论。与互利合作不同,这些模型研究的是在利益直接对立的环境中如何策略性地控制信息。
声誉效应取决于可观测性、先验信念、可能存在的承诺类型以及对手的行为。这些效应并不意味着良好的声誉总能建立或维持。有限期限的声誉模型仍可能出现终局效应,而不完美观测则可能削弱行为与据此推断的类型之间的联系。这一机制具体指的是当前行动对未来信念和回应的影响,而不只是长期关系本身的存在。
递归方法、计算与学习
重复博弈中的策略可能依赖任意长的历史,因此直接枚举并不可行。递归方法则通过描述当前的行动,以及在每种可观测结果之后所承诺的延续收益,来处理这一问题。在完美监控且当前采用纯策略行动的条件下,候选收益向量 可以分解为
对于每个备选行动 ,激励相容性要求
每个延续收益本身也必须能够由某个均衡支持。
这种方法将一棵由历史构成的无限树,转化为关于可实现延续价值集合的问题。如果一个集合中的每个元素,都能分解为当期收益和同属该集合、且满足激励相容性的延续收益,那么该集合就是自生成的。迪利普·阿布鲁、戴维·皮尔斯和恩尼奥·斯塔凯蒂为重复博弈发展了具有重要影响的递归方法,其中尤以他们于1990年发表的关于不完美监控下贴现博弈的研究为代表。
这种递归结构类似于贝尔曼方程,但其研究对象通常是均衡收益向量的集合,而非单个决策者的最优价值函数。延续价值必须同时满足多个参与者的激励约束。数值方法可以对收益集合进行近似、求解辅助优化问题,或在候选集合上迭代应用算子。在具备适当的有限表示时,其中一些计算可以归结为线性规划,不过,一般情形下的均衡计算未必简单。
另一种表示方法使用有限自动机。一个策略包含有限个内部状态、每个状态对应的行动规则,以及根据观测到的博弈行动确定的状态转移规则。冷酷触发策略只需要一个合作状态和一个惩罚状态。以牙还牙策略则需要记住对手最近一次的行动。限制状态数量,可以为有限的策略复杂性提供一个具体模型,但也可能排除那些需要漫长或复杂历史才能实现的均衡。
学习研究的是另一个问题:当参与者最初并不知道或无法计算出均衡时,其行为如何演变。相关方法包括最优反应学习、虚拟博弈、遗憾最小化和强化学习。这些方法利用的信息不同,收敛性质也各不相同。一种学习规则可能趋近于一组具有相关性的结果,或实现较低的遗憾,却并不收敛到子博弈精炼均衡。
这一区别在多智能体机器学习中十分重要。面对固定对手表现良好的算法,在所有对手都不断调整时,可能表现不佳。同样,训练所得智能体之间的合作,也可能因观测条件、贴现方式或对手行为的变化而变得脆弱。计算上的成功、均衡验证和经验稳定性是彼此独立的性质,需要分别检验。
经济与制度应用
重复博弈解释了在缺乏完全可执行的合同时,如何约束行为。如果机会主义行为能够被观察到,而且会危及足够有价值的未来收益,那么即使法院无法施加相应的惩罚,各方也可能不采取这种行为。这一机制见于供应关系、专业服务、雇佣关系和重复交易中。维持约束的关键在于,一方可能失去未来关系带来的剩余。
在关系型雇佣安排中,雇主可能承诺根据良好的工作表现酌情发放奖金,而劳动者则付出难以在合同中明确规定的努力。只有当拒发奖金会损害一段足够有价值的未来关系时,雇主的承诺才是可信的。同样,考虑到预期报酬和表现不佳的后果,劳动者付出努力也必须是值得的。双方的激励约束都很重要;仅有耐心,并不能保证每一种承诺的安排都能自我执行。
寡头垄断提供了一个形成对照的应用场景,因为企业之间的持续合作可能损害买方利益。企业可能通过降价打破高价安排而立即获利,但如果竞争对手作出激烈回应,它就可能损失未来利润。在一个简单模型中,合作利润为 ,偏离利润为 ,永久惩罚下的利润为 ,则激励条件为
因此,支撑生产性合作的同一种跨期逻辑,也可能支撑限制竞争的市场行为。该方程是一个分析基准,并不能证明任何特定市场存在协调行为。
在外部执行机制有限的情况下,重复互动也有助于分析政府间协议。互惠收益的前景以及对不履约行为的回应,可能为贸易让步提供支撑。然而,现实中的制度还涉及成员变动、权力不对称、国内约束以及政策效果的不确定性。重复博弈模型将激励机制单独提炼出来;它本身并不能确定历史上某项协议或某场争端的成因。
在所有这些情境中,参与条件都至关重要。如果参与者可以退出关系,其外部选择就会约束承诺给予它的延续收益。容易更换伙伴可能削弱双边惩罚的作用,而可转移的声誉则可以将约束范围扩展到单一的双方关系之外。关系网络和公开记录可以支持群体层面的执行机制,但也会带来报告失实以及是否有激励如实传递信息等问题。
实证研究必须区分重复博弈机制与其他解释,例如可执行的合同、社会偏好或技术互补性。同样的合作结果可能出于不同原因。因此,相比于仅仅观察到合作反复发生,有关监督、预期持续时间、对偏离行为的回应以及伙伴更换的证据更有助于辨明机制。
实验证据与行为层面的复杂性
重复博弈实验考察实际选择如何随博弈期限、收益结构、信息以及报复机会而变化。早期实验研究,包括梅里尔·弗勒德和梅尔文·德雷舍于1950年开展的重复囚徒困境实验,揭示了比简单的单次博弈均衡推理所预示的更为多样的行为。此后的实验室研究区分了期限固定的互动,以及通过随机决定是否继续来实现的不定期重复互动。
这类文献强调一个重要区别:合作可以作为一种均衡存在,并不意味着参与者会稳定地选择合作。提高继续概率可以使合作满足激励相容条件,但参与者仍须协调彼此的策略,使之相互兼容。他们可能无法确定对手是否会合作、一次看似背叛的行为是否出于意外,或惩罚是否只是暂时的。因此,即使相互合作能够维持,策略不确定性仍可能阻碍合作。
佩德罗·达尔博于2005年开展的实验研究,系统考察了不同继续概率下的合作情况。达尔博与纪尧姆·弗雷谢特后来的研究则探讨了在不定期重复博弈中,合作如何随着经验积累而发展。这些研究将学习和均衡选择视为需要实质探究的问题,而不是假定参与者能够立即识别并采用效率最高的均衡。
计算机锦标赛提供了另一类证据。阿克塞尔罗德于1980年报告了其组织的锦标赛,并在1984年出版的《合作的进化》一书中加以讨论。这些锦标赛让参赛者提交的策略在重复囚徒困境中相互交锋,并比较其表现。阿纳托尔·拉波波特提交的“以牙还牙”策略表现突出。它简单、反应灵敏,而且愿意恢复合作,这些特点推动了社会科学和生物科学多个领域的研究。不过,锦标赛排名取决于参赛策略的构成、计分规则、博弈期限和出错机制。
行为动机使实验结果的解释更加复杂。参与者可能不仅关心自己的金钱收入,也在意公平、互惠或对手的收益。如果这些偏好是稳定的,就可以将其纳入博弈的效用函数。如果行为会随经验或情境呈现方式而变化,那么收益固定的模型可能并不充分。因此,观察到合作,并不能直接证明合作仅仅源于自利的重复博弈激励,或仅仅源于非自利偏好。
实验还将重复博弈与演化博弈论联系起来。在演化博弈论中,策略的频率通过繁殖或模仿而变化,而不是通过有意识的均衡计算而变化。一种策略即使不满足理性参与者模型中的每一项序贯激励条件,也可能在演化中的群体里表现良好。演化稳定性、锦标赛表现和子博弈精炼性,回答的是有关策略行为的不同问题。
历史发展与持续研究
重复博弈理论的基础源于二十世纪关于策略互动的研究,包括约翰·冯·诺依曼与奥斯卡·摩根斯特恩于1944年出版的《博弈论与经济行为》,以及约翰·纳什在1950—1951年间提出的均衡结果。纳什均衡提供了一种一般性的解概念,但将其应用于重复互动时,依历史情况而定的行为与威胁的重要性便显现出来。罗伯特·奥曼于1959年开展的无限次重复博弈研究,是系统研究长期策略结果的早期里程碑。
赖因哈德·泽尔滕于1965年引入子博弈精炼性,更清楚地区分了作为威胁的惩罚与参与者实际上会执行的惩罚。詹姆斯·弗里德曼于1971年对超级博弈中非合作均衡的分析,帮助形式化地说明了重复互动如何维持阶段博弈均衡之外的结果。这些进展使可信性成为一项核心要求,而不再将未来的报复视为偏离行为的必然后果。
20世纪80年代,信息问题研究与均衡收益刻画均取得了重大进展。格林与波特于1984年分析了不完全监测。弗登伯格与埃里克·马斯金于1986年开展的民间定理研究,为贴现重复博弈中维持可行且满足个体理性的收益确立了具有重要影响的条件。声誉研究表明,即使对参与者类型只有轻微的不确定性,也可能改变理论预测,有限次重复博弈中的预测亦是如此。
后续研究将这些方法扩展到更为丰富的监测结构。阿布鲁、皮尔斯与斯塔凯蒂发展了递归均衡分析方法,而弗登伯格、莱文与马斯金于1994年的研究,则在不完全公共信息条件下确立了具有重要影响的民间定理结果。私人监测尤其难以处理,因为与激励相关的历史并非各方共有。研究者考察了沟通、偏离行为在统计上的可区分性,以及在何种条件下,私人观测仍能使有效率的结果成为可能。
若干持续受到关注的研究问题涉及稳健性。一个均衡可能依赖于对收益的精确认知、高度准确的观测,或某种一旦进入便会让所有参与者都希望放弃的惩罚机制。因此,重新谈判带来了一种张力:某个后续安排在面对单方面偏离时可能是可信的,却可能被各方一致同意的新安排所取代。不同的防重新谈判概念施加了不同限制,因此并不存在一种可自动适用的统一精炼标准。
其他研究则考察有限记忆、匿名匹配、网络互动、参与者群体的变化以及学习算法。这些变化会影响谁能够识别偏离、谁能够作出回应,以及未来机会如何取决于当前行为。研究这些情形需要明确建立信息传递与策略能力的模型,从而将最初“重复能否支持合作”的问题,扩展为“在现实的信息与计算约束下,哪些跨期约束机制仍然可行”。