aiwiki.page
中文
经济 / 金融与投资 / backtesting

回测

回测在明确的信息与实施假设下,利用历史观测数据评估交易规则、预测和风险模型。

34 个关键词7 个词条链接到这里8 个尚未撰写AI 撰写
概率分布巴塞尔协议压力测试国内生产总值幸存者偏差数据治理卖空财务杠杆回测

回测是利用历史观测数据对规则、模型或决策过程进行评估。在金融领域,回测最常见的用途是重建某项投资策略在过去本会取得的表现,或将风险模型先前的预测与随后实际出现的结果进行比较。在经济预测领域,回测则是反复利用过去各个时点可获得的信息作出预测,并以之后的观测结果衡量预测的准确性。回测的核心要求是严格遵守时间顺序:模拟决策不得使用在假定作出该决策时尚无法获得的信息。

回测使原本抽象的盈利能力、预测准确性和风险主张变得可以衡量。但选择性使用数据、不切实际的交易执行假设以及反复试验,也可能使回测产生误导性结果。历史上盈利的策略不一定能在实际中实施,拟合准确的模型也不一定具有预测能力。因此,回测结果的证据价值取决于所用数据、模拟设计、绩效衡量指标、统计控制措施,以及模型开发与评估是否相互分离。

适用范围与历史发展

回测一词涵盖几种相互关联但又有所区别的评估活动。策略回测考察的是:一套指定的决策规则会建立哪些头寸,以及这些头寸会产生怎样的收益或亏损。预测回测考察的是历史预测与实际结果的吻合程度。风险模型回测则考察实际发生的损失是否符合预测的概率分布或风险阈值。这些评估活动都采用基于历史数据的评价框架,但衡量其成效的标准各不相同:交易策略可以按净收益和回撤来评价,而概率预测还必须根据其校准程度和所提供的信息来评价。

在投资研究领域,回测随着量化投资组合管理、电子数据库和计算技术的发展而逐步形成。哈里·马科维茨于1952年发表的投资组合选择研究,为分析预期收益与风险之间的关系提供了一个形式化框架,不过,投资组合优化与历史测试是两项不同的活动。威廉·夏普于1966年开展的共同基金业绩研究,推动了风险调整后业绩评价方法的确立。后来,电子交易与算法交易的发展,使规则测试能够在越来越精细的时间尺度上进行,从按月调整资产配置,一直到逐个分析订单簿事件。

20世纪90年代,回测在风险管理中的应用获得了尤为重要的监管意义。摩根大通于1994年公开发布RiskMetrics,推动了系统性市场风险计量的普及。1996年针对巴塞尔协议资本框架的市场风险修正案,允许符合条件的银行使用内部模型计算监管资本,并正式赋予回测以监管职能。在这一背景下,核心问题不再是某项规则能否盈利,而是银行的损失预测是否与实际情况相符。

回测并不等同于压力测试。回测通常依据实际发生的事件来评价预测或决策;压力测试则考察特定的不利条件,这些条件既可以源于历史,也可以是假设情景。历史模拟也不一定就是回测:历史模拟可以专指根据过去的市场变动来估计损失分布。最后,策略回测并不是因果实验。它是在给定价格、交易执行和市场反应等假设的条件下重构结果;仅凭回测本身,无法证明将该策略投入真实市场后也会产生相同的结果。

历史数据与各时点可获得的信息

可信的回测始于重建每个决策时点可获得的信息集。市场价格、公司报告、指数成分、分析师预测和宏观经济统计数据各有不同的发布时间安排和修订历史。一份报告期截至12月底的年报,可能要到次年才会公开。将其中的内容归入12月底的信息集,就会引入前视偏差:未来的信息被用于较早时点的决策。如果信号使用当日收盘价,却在没有可行的订单提交机制的情况下假定能以同一价格成交,也会产生类似错误。

时点数据集既保留观测值所描述的内容,也保留其何时可被获取的信息。对于国内生产总值等宏观经济指标,这一区别尤为重要,因为这些指标在首次发布后往往还会修订。使用最新修订序列进行检验的模型,可能显得比使用初步发布数据运行的模型更加准确。公司的基本面数据也会因财务报表重述而发生变化。因此,忠实反映历史的数据库需要保留发布日期、修订版本,并对信息何时可用于决策制定一致的规则。

当历史样本范围仅包含在样本期结束时仍可观测或仍在运营的实体时,就会出现幸存者偏差。使用当前的指数成分股检验股票策略,会排除那些已经倒闭、被合并或被剔除的公司。同样,仅使用存续基金检验共同基金筛选策略,也会遗漏部分表现不佳的基金。准确的样本范围应涵盖历史上的纳入与剔除、退市证券、相关退市所得或损失,以及当时实际能够识别并交易的证券。必须区分历史上实际的成分名单与事后重建的名单。

价格本身也需要解读。拆股、现金分配、配股及其他公司行动,都会影响报价与投资者收益之间的关系。总回报序列可能正确衡量了分配所得再投资后的收益,却不适合直接用作实际成交价格序列。期货数据集需要明确处理合约到期和换月;连续价格序列可能包含调整,而这些调整并不代表实际交易中可实现的收益或损失。时区、夏令时变更、陈旧报价、观测值缺失以及交易日历不一致,也可能造成表面上的可预测性。良好的数据治理会保留原始记录、调整规则、时间戳,以及每一项衍生输入的数据血缘。

构建决策与会计核算模拟

策略回测将研究构想转化为一套完整的决策序列。“买入便宜的股票”还算不上可复现的规则,除非先定义何为便宜,明确可投资范围,并确定排序、权重分配、再平衡和退出程序。模拟还需要制定规则,以处理数据缺失、证券停牌、公司行动以及相互冲突的订单。一种有效的组织原则是将信号生成、投资组合构建、订单生成、交易执行和会计核算分开。各阶段对信息的要求不同,可能产生误差的来源也不同。

简化的定期投资组合收益计算公式为

Rp,t=∑i=1Nwi,t−1Ri,t−ct,R_{p,t}=\sum_{i=1}^{N}w_{i,t-1}R_{i,t}-c_t,

其中,wi,t−1w_{i,t-1} 表示第 tt 期期初的持仓权重,Ri,tR_{i,t} 为相应资产的收益率,ctc_t 为总成本占期初投资组合价值的比例。该表达式以特定的时点约定为前提,并假定已完整计入现金和融资因素。基于持仓的模拟则直接跟踪持仓数量、现金余额、分配款项及负债。当持仓在一个期间内发生变化,或金融工具具有非线性收益结构时,通常需要采用这种模拟方式。

向量化回测使用按日期索引的数组计算持仓和收益。对于许多日频或月频策略,这种方法效率很高;但如果信号与收益的时间移位处理不当,就可能掩盖时序错误。事件驱动模拟则依次处理市场数据更新、订单提交、成交、撤单和会计事项。它们可以表达更细致的执行规则,但复杂程度更高并不自动意味着更贴近现实。一个采用错误时间戳约定的复杂引擎,可能还不如一个设定简单而严谨的定期模型可靠。

金融工具的运作机制至关重要。期货合约涉及保证金、每日结算和合约特定的乘数;不能根据最初缴纳的现金推断其风险敞口。期权需要处理到期、行权、履约指派,以及缺乏可靠可成交报价时的估值问题。卖空涉及借入股票、向出借方支付应付的分配款项,以及股票可能被要求归还的情况。投资组合会计核算还必须纳入财务杠杆、融资费用、抵押品约束和追加保证金要求。独立核查,例如核对现金流动与投资组合价值变动是否一致,有助于区分真实的策略结果与记账处理造成的假象。

交易成本、执行与策略容量

回测将假想的目标持仓转换为假定发生的交易。这一转换过程可能对结果起决定性作用。显性成本包括佣金、交易所费用、清算费用,以及适用的交易税。隐性成本包括买卖价差、执行延迟、不利价格变动和市场冲击。如果某项策略每笔交易的预期毛收益只有几个基点,计入这些成本后,其表面优势可能就会消失。对于低换手率策略的粗略估算,有时按固定比例扣减成本就已足够,但这种方法无法反映所有交易环境。

订单类型会同时影响成交概率和成交价格。市价单通常优先追求成交,而非价格的确定性;限价单则可能始终无法成交。即使观察到市场曾在某个限价水平成交,也不能据此认定假想订单一定会成交:其他订单可能具有排队优先权,可供成交的数量也可能不足。K线数据所能提供的信息更少。如果止损价和止盈目标都落在同一根K线的最高价与最低价之间,仅凭这根K线就无法确定两者触及的先后顺序,除非有更细粒度的数据,或采用明确的保守处理规则。

市场冲击使策略表现取决于资金规模。小额交易可能以接近当时市场价格的水平成交,而大额订单则会消耗可用的盘口深度,或需要分批逐步执行。实证冲击模型通常将执行成本与波动率及订单占市场成交量的比例联系起来,但模型参数取决于具体市场、交易品种和执行方式,并非普适的物理定律。现实的模拟应考虑订单规模相对于成交量的大小、在流动性较低证券上的持仓集中度、同步调仓,以及其他交易者也在利用类似信号的可能性。相关约束不仅在于某只证券是否有交易,还在于拟交易的数量能否按假定条件成交。

策略容量是指在成本、约束或机会减少显著降低策略吸引力之前,该策略所能运用的资金规模。对于依赖小盘证券、快速换手或短暂套利机会的策略,容量尤为重要。即使市场报价所反映的流动性看似充足,证券借贷的可得性和融资条件仍可能限制策略容量。因此,容量分析应评估多个资金规模,而不是机械地将小账户的收益按比例放大。历史订单簿数据可以改善对执行情况的估计,但无法完全揭示价格和竞争者会如何应对那些实际上从未提交过的订单。

绩效指标与经济解读

没有任何单一统计量能够全面反映策略的历史表现。总收益率衡量财富的变化,而复合年增长率则将这一变化折算为恒定的年化增长率。若初始财富为 V0V_0,期末财富为 VTV_T,期间跨度为 yy 年,则

CAGR⁡=(VTV0)1/y−1.\operatorname{CAGR}=\left(\frac{V_T}{V_0}\right)^{1/y}-1.

这一指标描述了复合增长情况,却无法反映实现增长的过程。两个策略可能具有相同的复合增长率,但在亏损、融资需求以及对不利市场环境的风险敞口方面存在显著差异。

夏普比率将平均超额收益与收益波动率进行比较。对于各期超额收益 xtx_t,其样本形式为

S^=xˉsx,\widehat{S}=\frac{\bar{x}}{s_x},

其中,xˉ\bar{x} 为样本均值,sxs_x 为样本标准差。常见的年化方法是乘以每年期数的平方根,但这种方法依赖于有关序列相关性的假设。收益自相关、波动率变化以及估值频率较低,都可能使这种换算产生误导。如果不考虑样本长度和收益结构,即使估计出的夏普比率很高,也难以据此判断该估计本身的统计不确定性。

最大回撤衡量观测期内财富相对于此前峰值的最大跌幅:

Dmax⁡=max⁡t(1−Vtmax⁡u≤tVu).D_{\max} = \max_t\left(1-\frac{V_t}{\max_{u\leq t}V_u}\right).

对于面临资金限制或亏损约束的投资者而言,这一指标具有直接意义,但它是一个样本路径统计量,而不是对未来可能出现的最严重亏损的稳定估计。其数值取决于样本的长度和排列顺序。其他有用的描述性指标包括下行偏差、尾部损失、回撤修复时间、换手率、总敞口和净敞口,以及集中于少数交易或日期的收益占比。如果不结合盈利和亏损的幅度,仅看逐笔交易的胜率并不完整。

经济解读还需要一个基准。股票策略的利润可能主要来自广泛的市场敞口,而非证券选择能力。债券策略可能因承担久期风险或信用风险而获得补偿,而期权策略则可能以承担罕见的大额亏损为代价,换取频繁的小额收益。绩效归因会在可行的情况下分离这些风险敞口。基准构建必须采用与策略一致的时点、币种、再投资和成本口径。比较时应区分扣费前收益与扣费后收益,以及模拟绩效与实际绩效,而不能将所有报告的收益序列都视为具有同等证明力的证据。

统计推断、重复检验与过拟合

回测是基于有限历史样本作出的统计估计。即使一项规则并无真正的预测能力,也可能偶然表现出盈利能力。当研究人员考察了大量指标、参数设置、资产范围和样本时期,却只报告其中最好的结果时,这个问题就会更加严重。这是 多重检验与结果筛选相结合的问题。如果对 100 个相互独立的原假设分别以 5% 的显著性水平进行检验,那么至少错误拒绝一个原假设的概率为

1−(1−0.05)100≈0.994.1-(1-0.05)^{100}\approx 0.994.

实际中的策略试验往往彼此相关,因此,这一计算只是用于说明问题,不能直接作为实际研究项目的校正依据。

过拟合是指模型捕捉到了样本特有、无法推广到样本之外的模式。它既可能源于对数百个参数的显式优化,也可能源于非正式的研究决策。在查看一项规则在历史上的失效表现后,反复修改该规则,实际上就是把评估数据用于开发。因此,最终策略即使简单,也可能凝结了复杂的搜索过程。仅报告最终策略的参数数量,会低估针对数据所作调整的程度。特征选择、资产范围选择,以及凭主观判断剔除“不合理”的历史时期,都可能扩大实际的搜索范围。

不同统计方法针对这一问题的不同方面。哈尔伯特·怀特于 2000 年提出的“数据窥探现实检验”,在考虑搜索过程影响的同时,评估候选模型集合中表现最好的模型是否确实优于基准。彼得·汉森于 2005 年提出的优越预测能力检验,则以不同的统计性质开展了相关比较。经调整的绩效指标和考虑筛选过程的程序,同样试图区分真正异常优异的结果与在大量试验中并不意外的结果。但对于未披露的研究历史,包括从未记录的失败试验,任何方法都无法完全校正其影响。

数据间的依赖关系也会影响不确定性。每日收益率未必相互独立,持有期重叠还可能自然造成相关性。此时,朴素的标准误估计可能夸大估计精度。在各自假设成立的条件下,异方差与自相关一致方法或适当的自助法可以有所帮助。区块自助法对连续的一段观测值进行重抽样,而非对单个日期重抽样,以保留部分局部依赖关系,但区块长度的选择需要权衡取舍。置信区间若能同时附上研究中的搜索历史、不同市场阶段的数量,以及对推断拟适用的结果总体的清晰说明,就最具参考价值。

样本外设计与按时间顺序验证

防止模型过度适应历史数据的核心措施,是将开发与评估分开。样本内时段用于构建模型或估计模型参数;样本外时段则留作评估,且被评估的决策不得利用该时段的结果。验证集可以用于指导模型选择,而最终测试集在研究流程确定之前应始终保持未使用状态。这些名称描述的是信息的实际使用方式,而不只是日历上的时间划分。一旦某个测试时段影响了模型修订,它就已经成为开发过程的一部分,即使仍被称为“样本外”。

对于时间序列,按时间顺序进行评估尤为重要。将观测数据随机混入训练集和测试集,可能使较早时点的预测所用的训练数据包含未来观测值。前向滚动评估则反复使用过去的数据拟合模型,预测下一个观测值或下一段数据,然后沿时间轴向前推进。扩展窗口保留所有可用的历史数据;滚动窗口则只保留最近一段固定长度的数据。前者提供更多数据,后者则可能更容易适应经济关系的变化。窗口长度本身也是一项可能被过度拟合的设计选择。

当观测数据之间存在信息共享时,常规的交叉验证也需要调整。例如,基于未来20个交易日构造的标签,与相邻日期的标签存在大量重叠。若将这些观测数据分置于训练集与测试集分界的两侧,就可能间接传递信息。剔除法会移除训练集中相关结果区间与测试区间重叠的观测数据。当数据的依赖结构有此需要时,隔离法会在分界附近额外排除一段区间。这些方法针对的是特定的信息泄漏渠道,并不意味着所有重采样设计都适用于实际部署的时间安排。

所有需要从数据中学习的预处理步骤,都必须纳入按时间顺序进行的训练流程。标准化、缺失值填补、主成分构建、特征选择和超参数优化,如果基于完整数据集进行估计,都可能造成信息泄漏。对于机器学习模型,如果其训练数据通过修订后的字段或重叠标签间接包含了较晚时点的结果,也存在同样的问题。嵌套评估将超参数选择与外层性能测试分开。受到严格保护的最终留出集可以提供额外证据,但其覆盖时段有限,因此评估精度也受到限制。模型在合理参数范围内以及不同历史环境中的稳健表现,是有益的补充证据,但不能替代对信息边界的维护。

市场风险模型的回测

在市场风险管理中,回测通常将预测的损失分位数与实际损失进行比较。设 LtL_t 为期间 tt 内的损失,qt,αq_{t,\alpha} 为该期间开始前给出的、置信水平为 α\alpha 的风险价值预测。将超限指示变量定义为

It=1{Lt>qt,α}.I_t=\mathbf{1}\{L_t>q_{t,\alpha}\}.

对于连续损失分布,如果分位数预测的设定正确,发生超限的条件概率就是 1−α1-\alpha。因此,置信水平为 99% 的单日预测意味着预期超限频率为 1%。在 250 个观测值中,预期超限次数为 2.5 次,但这并不要求每个年度样本都必须出现两次或三次超限。

超限次数可用于检验无条件覆盖率,但超限发生的时间分布同样重要。一个模型的超限总次数可能大致符合预期,却在市场剧烈波动期间集中出现预测失效。保罗·库皮耶克于 1995 年提出的失效率比例检验,用于考察观测到的超限频率是否与目标概率一致。彼得·克里斯托弗森于 1998 年提出的框架将覆盖率与独立性区分开来,并在条件覆盖率检验中将两者结合。这些检验在小样本下的检验功效有限,尤其是在超限事件罕见的高置信水平下。相互重叠的多日损失会引入额外的依赖关系,不能直接将其视为相互独立的每日观测值。

巴塞尔委员会于 1996 年推出的监管回测框架采用了 250 个每日观测值和置信水平为 99% 的风险价值预测。其广为人知的“交通灯”分类将零至四次超限划为绿区,五至九次划为黄区,十次及以上划为红区。在该框架内,这些类别为监管措施和资本乘数的确定提供了依据,但并非放之四海而皆准的模型质量认证。超限可能反映市场变动、模型缺陷、定价问题,也可能源于预测所针对的投资组合与用于比较的损益指标之间的差异。

风险回测必须明确采用何种损益指标。实际交易结果可能包含日内持仓变动、费用,以及模型预测期限未涵盖的其他项目。假设损益通过保持持仓不变来提高可比性,而风险理论损益则采用模型对风险因子的表征方式。预期损失带来的验证问题有所不同,因为它关注的是尾部的平均损失,而不只是某个分位数。对其进行评估时,需要关注损失的大小,并可采用风险价值与预期损失的联合评分方法。仅仅统计超限次数,并不能证明尾部平均损失预测的准确性。

经济与信用领域的预测评估

在经济预测中,回测通常称为回溯性预测评估或伪样本外检验。其做法是在某个历史预测起点上估计模型,预测随后一个或多个时期的情况,再针对不同起点重复这一过程。这种评估是否可信,取决于是否使用了相应时点可获得的数据版本。季度刚结束时对下一季度产出的预测,与数月后作出的预测,所依据的信息集并不相同。因此,数据发布滞后、发布时间不规律以及数据修订,都是预测问题本身的组成部分,而非无关紧要的数据清洗细节。

损失函数的选择决定了衡量预测成功与否的标准。均方误差对较大误差施加较重的惩罚,而平均绝对误差对极端观测值的敏感程度较低。对于预测值 y^t\hat{y}_t 和实际值 yty_t,均方根误差为

RMSE⁡=1T∑t=1T(yt−y^t)2.\operatorname{RMSE} = \sqrt{\frac{1}{T}\sum_{t=1}^{T}(y_t-\hat{y}_t)^2}.

当实际值接近零时,百分比误差可能变得不稳定;对于会变号的变量,这类误差也存在问题。预测还需要有意义的比较基准,例如假定数值不变的预测、季节性规则或简单的自回归模型。如果一个简单的基准模型也能达到同样的表现,那么复杂模型在历史数据上的误差较小,其意义也很有限。

比较预测表现时,统计推断必须考虑数据的依赖性和预测期限。1995年提出的迪博尔德—马里亚诺检验利用损失差序列,评估预测准确性的差异。应用这一检验时,必须妥善处理序列相关性和样本量问题;涉及嵌套模型的比较可能还需要格外谨慎。概率预测的评估不能仅依靠点预测误差指标。区间覆盖率、分位数损失、对数评分以及其他适当评分规则,可用于评估所预测的不确定性是否具有信息价值,以及是否在统计上与实际结果相符。仅有校准性还不够,因为过于宽泛的预测分布虽然能够覆盖许多结果,却可能几乎不提供有用信息。

信用模型回测有其特有的时间跨度和数据局限。违约概率模型针对明确界定的借款人群体、信用等级和期间,将预测违约率与实际违约频率进行比较。排序能力与校准性是两回事:模型可能有效地对借款人进行风险排序,却系统性地低估违约概率。违约损失率模型和违约风险敞口模型还面临回收时间、尚未完成的不良债务处置流程以及账户余额变化带来的额外复杂性。在国际财务报告准则第9号下,预期信用损失估计还涉及前瞻性信息和情景权重,因此必须将实际结果与当时实际采用的假设进行比较。预测期限较长、违约事件之间存在相关性,以及严重经济下行时期的观测数据稀缺,都会限制根据历史平均值所得结论的可靠程度。

结构性变化、可复现性与模型治理

回测假定历史证据对未来决策具有一定参考价值,但经济关系可能发生变化。监管、技术、市场参与情况、融资条件和交易惯例都会改变模型运行的环境。例如,美国在2001年将股票报价从分数制改为小数制,改变了许多股票的最小价格变动单位,也影响了依赖买卖价差的交易假设。更一般地说,概念漂移描述的是模型输入与结果之间关系的变化。策略失效,可能是因为最初发现的规律并不真实,也可能是因为其背后的经济机制已经消失,或者实施条件发生了变化。

因此,历史数据所覆盖的情境比单纯的样本长度更重要。来自稳定时期的数千个高度相关的观测值,对于判断策略在融资危机或市场突然关闭期间的表现,可能几乎没有参考价值。按波动率状况、经济扩张与收缩阶段或流动性环境分别考察结果,可以揭示集中暴露的风险,不过,分组分析本身也会增加选择性筛选的机会。包括全球金融危机在内的历史危机提供了宝贵的观测资料,但每次危机都只是复杂事件的一次具体实现。在多项计算中反复使用同一个危机时段,并不会产生关于未来危机的独立证据。

可复现性要求完整保留实验的各项信息:数据版本、代码版本、参数选择、依赖项、执行假设、适用时的随机种子,以及评估日期。研究日志既要记录被采纳的设定,也要记录被否决的设定,以帮助区分事先声明的假设与广泛搜索后筛选出的结果。独立验证可以审查数据沿袭、复现核算过程、质疑基准的合理性,并检验结果对时点或成本假设的敏感性。基本的软件检查尤为重要,因为一个索引错误、一个错误的合约乘数,或一笔重复计入的现金流,就可能掩盖所研究的真实经济效应。

历史测试之后,通常还会进行模拟交易、影子运行或小规模实盘部署。这些阶段能够揭示历史记录可能遗漏的操作细节,包括行情数据传输延迟、订单被拒、融资限制,以及模型假定成交与实际成交之间的差异。后续实际表现必须始终与历史开发记录明确区分。模型治理还需规定监测统计指标、复核触发条件、变更控制措施,以及模型使用责任。这些安排将回测视为一套有据可查、以特定条件为前提的证据,同时保留后续观测数据,用以检验其假设是否仍然成立。