自相关是指随机过程或信号在不同时间或空间位置上的取值之间的关联。它并不比较两个不同的变量,而是将某个量与其自身的平移版本进行比较。例如,在每日气温记录中,滞后一天的自相关衡量相邻两天气温之间的关联;滞后七天的自相关则比较相隔一周的观测值。各个滞后下的这些关联构成了自相关函数,通常缩写为 ACF。
自相关是时间序列分析、信号处理以及具有依赖关系的观测数据统计研究的基础。它可以刻画持续性和振荡,帮助识别预测模型,并决定一个序列包含多少关于其均值或其他性质的信息。与自相关对应的频域描述反映了变异在各个频率上的分布。不同学科对自相关的定义有所不同:在统计学中,自相关通常指经过中心化和归一化的相关系数;而在工程学和物理学中,它往往指未经中心化的乘积平均值。在解读公式、软件输出和测量结果时,区分这些约定至关重要。
定义与约定
对于二阶矩有限的实值过程 ,两个时刻之间的自协方差为
其中, 表示期望值。若两个时刻的方差均为正,则相应的自相关系数为
因此,自相关就是对同一带指标的随机变量族中的两个成员计算普通的相关系数。在没有额外假设的情况下,它取决于两个观测时刻,而不仅仅取决于二者的时间间隔。
对于弱平稳过程,均值为常数,协方差仅取决于滞后 。在离散时间下,自协方差函数和自相关函数写作
这里, 是该过程的方差。对于等时间间隔采样的观测值,指标 通常为整数;而连续时间过程的滞后 则为实数。严平稳性要求所有有限维分布在时间平移下保持不变,这比上述公式所需的二阶条件更强。
在信号处理中,常用的定义则是未中心化的自相关:
其中,上横线表示复共轭。对于均值为 的平稳过程,
因此,非零均值会在每个滞后处贡献一个常数项。对于取值为复数的过程,共轭运算的约定十分重要:它确保零滞后处的值非负,并使相应的谱表示具有适当的非负性。有些作者会交换两个时间参数的顺序,从而改变滞后及傅里叶指数项的符号约定。
确定性信号也有相应的定义。对于有限能量信号 ,其能量自相关为
持续存在的周期信号通常具有无穷大的总能量,因此改用时间平均来定义。这些确定性运算类似于系综期望,但若无相应假设,二者不能互换。特别是,要通过对单条足够长的样本轨道取平均来估计随机过程的期望,需要具备适当的遍历性。仅有平稳性并不能保证时间平均能够得到系综平均。
数学约束与依赖关系
实值平稳过程的自相关函数满足
上述界限可由柯西—施瓦茨不等式推出。对于复值过程,对称性变为厄米对称性:
某一滞后下的自相关为正,意味着相隔该滞后的观测值对均值的偏差往往同号。自相关为负则表示异号偏差之间存在关联。这两种说法都不意味着每一对相应的观测值都呈现这种关系,正自相关也不意味着存在上升趋势。
逐点的界限与对称性是任意序列成为有效自相关函数的必要条件,但并非充分条件。对于任意有限个时间指标 ,协方差矩阵
必须是半正定的。等价地,对于任意选取的复系数,都有
成立。当时间点等间隔时,该矩阵是托普利茨矩阵,每条对角线上的元素均相同。这一约束使不同滞后下的相关性相互制约。
例如,假设一个实值过程满足 和 。三个连续的标准化观测值所构成的协方差矩阵,其行列式为
要求这一行列式非负,可得
因此,若滞后一期的相关系数为 ,则滞后两期的相关系数至少为 。一个设定为包含 和 的序列,即使其中每个数都位于 与 之间,也不可能描述平稳过程的自相关。
零自相关远弱于统计独立性。令 为相互独立的标准正态随机变量,并设
这个平稳过程在所有非零滞后下的自协方差均为零,但相邻值之间仍存在依赖关系。具体而言,
这种依赖关系体现在观测值的平方中,而非观测值之间的线性相关性中。相比之下,对于高斯过程,均值和协方差决定了所有有限维分布。因此,交叉协方差为零就意味着相应的各组观测值之间相互独立。在非高斯情形下,自相关函数(ACF)只能描述依赖结构的一部分。
谱表示与周期结构
自相关与频域分析从不同角度描述同一种二阶结构。当离散时间平稳过程的自协方差序列绝对可和时,其功率谱密度可写为
相应的逆关系为
这些公式构成了维纳–辛钦定理的一种常见形式。除以 进行归一化后,即可得到自相关函数(ACF)的相应表示。 因子的具体形式取决于所采用的傅里叶变换约定。
谱密度并不总能以普通函数的形式存在。更一般地,平稳协方差序列可表示为
其中, 是有限非负谱测度。离散质量表示完全不衰减的频率分量。例如,平稳的随机相位振荡
其振幅 固定,相位 在一个完整周期内均匀分布,其自协方差为
其频谱由位于正、负振荡频率处的离散质量组成,而不是平滑的密度函数。
这些广泛的定性对应关系使谱关系具有实用价值。衰减缓慢且以正值为主的自相关函数,通常对应较强的低频变化。正负交替的自相关表明存在重要的高频分量。呈阻尼振荡的自相关函数,则对应集中在一个或多个非零频率附近的频谱。在滞后 处出现季节性峰值,可能表明存在周期为 的振荡,但季节性依赖关系并不一定由确定性的正弦波产生。
对于未经中心化的平稳过程,均值会在零频率处贡献一个谱质量。因此,减去样本均值并不只是尺度上的改变,而是会影响零频率分量的处理。去除趋势的影响则更为广泛:它会改变低频变化,并可能使许多滞后处的自相关函数估计值发生变化。
这一关系也说明了自相关无法揭示哪些信息。对于确定性信号,其自相关能够确定傅里叶变换的幅值平方,但通常不能确定其傅里叶相位。平移不会改变自相关,而且其他不同的信号也可能具有相同的自相关。因此,根据傅里叶幅值重建信号是一个相位恢复问题,而不是普通的傅里叶逆变换。在随机分析中也存在类似的局限:频谱能够确定过程的二阶结构,但通常不能确定过程完整的概率分布。
基于有限观测的估计
对于观测值 ,令
为样本均值。一种常用的样本自协方差估计量为
相应的样本自相关函数(ACF)为
将 对滞后作图,所得图称为自相关图。不同软件包在归一化方式、缺失观测值的处理以及置信带的计算上有所不同,因此,看起来相似的 ACF 图未必采用相同的估计量。
另一种自协方差估计方法,是将滞后为 时的求和结果除以 。如果真实均值已知并用于计算,这种归一化方式可得到平稳自协方差的无偏估计量。如果使用的是估计均值,则通常不再无偏。以 为除数会引入随滞后变化的有限样本衰减,但它在结构上具有一个有用的优点:将中心化后的观测序列用零延拓后,所得自协方差序列具有半正定性。对各滞后分别除以 则未必能保留这一性质。此外,无偏的协方差估计量并不一定能产生无偏的归一化自相关估计量,因为估计量之比本身也会有偏差。
滞后较大时,参与计算的观测值对较少,估计的可靠性因而降低。在滞后为 时,只有一对观测值。这些大滞后处的估计值,其精度无法与利用几乎全部观测数据得到的估计值相比。当相关性衰减缓慢时,样本均值估计的影响尤为显著:此时均值本身就估计得不够精确,将其减去可能会扭曲所呈现的大滞后相关结构。
总体 ACF 的存在也以有一个适当、稳定的估计对象为前提。随机游走
的方差随时间增长,因此不具有通常意义下的平稳 ACF。尽管如此,一条有限长度的随机游走实现所生成的样本自相关图,往往会在许多滞后处呈现较大的正值。确定性趋势、水平变化以及随时间演变的季节性模式,也可能产生类似的表象。差分和去趋势会改变研究对象;它们并非能够保留原有全部依赖关系的中性修正。
对于非等间隔数据,滞后必须按实际经过的时间定义,而不能按观测序号定义。此时可能需要根据时间间隔将观测值对分组、采用连续时间模型,或使用其他明确考虑时间信息的方法。缺失数据的处理也会带来相关问题:如果每个滞后都使用不同的数据子集计算,所得序列可能不具有半正定性。插值则可能人为引入短程平滑性。这些选择既会影响估计得到的 ACF,也会影响随后据此拟合的任何模型。
线性模型与偏自相关
自相关模式是识别线性时间序列模型的关键。平稳的一阶自回归模型,即 AR(1),可写为
其中,新息 互不相关,均值为零,方差为 。其协方差结构为
当 时,前三个正滞后阶数的相关系数依次为 、 和 。当 时,相关系数的绝对值不变,但符号正负交替。平稳性约束排除了 的情形,因为这会产生随机游走。
一阶移动平均模型,即 MA(1),具有如下形式:
在相同的新息假设下,
更一般地,MA() 过程在滞后阶数超过 时,自相关为零。不同时刻的取值只有在相应的新息窗口重叠时,才含有共同的新息。相比之下,AR() 过程的自相关函数(ACF)通常呈指数衰减与阻尼振荡的组合形式,而不会突然截断。
偏自相关函数用于区分某一滞后下的直接线性关联与可由中间观测值解释的关联。在滞后 处,它等于分别将 和 线性投影到中间变量 上后所得残差之间的相关系数。在满足非奇异性条件时,它等于用 之前的 个值对其进行最优线性回归时的最后一个系数。非退化的 AR() 过程在滞后阶数超过 时,偏自相关为零,尽管其普通自相关函数通常仍不为零。
自回归系数与自协方差通过尤尔–沃克方程联系起来:
这些方程的托普利茨结构使高效的递归求解成为可能,其中尤以德宾–莱文森算法为代表。它们还将时间序列建模与正交投影联系起来:拟合得到的预测量,是基于所选历史值、在均方误差意义下的最优线性近似。
这些识别规则针对的是总体函数。样本自相关函数几乎不会精确截尾,而且不同的拟合模型在所考察的滞后范围内可能呈现相似的模式。混合自回归移动平均模型的自相关函数和偏自相关函数通常都具有拖尾特征。此外,偏自相关是一种线性调整,而不是对条件独立的一般检验。要赋予它这种更强的解释,还需要额外假设,尤其是有关联合分布的假设。
抽样不确定性与序列依赖检验
即使数据在总体上不存在自相关,样本自相关函数(ACF)也会出现波动。当观测值独立同分布、方差为正且有限,并满足适当的正则条件时,固定滞后下的样本自相关系数的大样本方差近似为 。由此可得常见的逐点参考界限:
当 时,这些界限约为 。相关图中经常会在零值两侧画出这些界限,但它们并不是适用于所有平稳过程的通用置信带。
对于存在相关性的观测值,某一滞后下的不确定性取决于其他滞后下的自相关。在适当假设下,巴特利特型公式描述了这些大样本协方差。相邻滞后下估计得到的 ACF 值可能高度依赖,因此,一簇看似显著的峰值未必代表多项相互独立的发现。同样,查看数十个滞后,并突出显示其中越过逐点阈值的结果,就会产生多重检验问题。逐点的 95% 界限并不能构成覆盖整条所绘函数曲线的 95% 同时置信带。
混成检验综合多个滞后下的证据。博克斯–皮尔斯统计量为
而柳нг–博克斯检验使用的统计量为
对于原始观测值,在适当的独立噪声原假设下,可以用自由度为 的近似卡方分布作为参照。对于拟合模型的残差,则需要考虑参数估计的影响。对于常规拟合的 ARMA() 模型,常用的渐近调整是采用 个自由度,但须满足该检验方法的相关假设。
拒绝原假设,表明数据与所检验的“在选定滞后范围内不存在自相关”这一假设不相容,但并不能据此确定唯一的备择模型。未能拒绝原假设,也不能证明独立性、平稳性或模型设定正确。尤其是,一个不相关的序列,其条件方差仍可能存在很强的依赖关系。检验残差平方或残差绝对值的自相关,可以揭示某些在残差 ACF 本身中无法显现的依赖形式。
不确定性的计算也可以采用基于模型的模拟,或保留依赖结构的重采样方法。对单个观测值进行普通重采样会破坏时间顺序。专为时间序列设计的自助采样方法,例如分块重采样,会保留由相邻观测值组成的连续片段,从而保留部分局部依赖关系。这些方法的有效性取决于依赖结构、分块方式以及所估计的统计量。强持续性、重尾和结构变化,都可能显著改变渐近检验与重采样方法的表现。
对均值和回归的影响
自相关会改变均值的精度。对于观测了 次的平稳过程,
将协方差矩阵的所有元素相加,再除以 ,即可得到这一恒等式。与边际方差相同的独立观测相比,正相关通常会增大均值的方差,而负相关则可能使其减小。因此,仅凭记录的观测次数,并不能全面衡量信息量。
如果自相关系数绝对可求和,且满足适当的极限定理条件,那么 的渐近方差就是长期方差
按照前文采用的谱定义约定,。因此,均值估计的精度与零频率附近的谱特征直接相关。常用的有效样本量为
这一数值表达的是方差的比较关系,并非独立观测的实际数量。
对于 AR(1) 过程,分母变为
当 时,这一因子为 ,因此,一段较长观测记录用于估计均值时,其精度约等于观测数量仅为其九分之一、边际方差相同的独立观测所能达到的精度。这一近似针对的是特定统计量和平稳模型,不应原封不动地套用于分位数、极值或其他特征的估计。
在线性回归中,误差存在自相关本身并不会导致普通最小二乘法的系数估计有偏。在设计矩阵满秩且 等条件下,通常的无偏性论证仍然成立。不过,系数估计量的协方差为
一般并不等于误差独立时的表达式。使用后者可能导致错误的标准误、置信区间和检验结果。
广义最小二乘法对误差协方差进行显式建模,而异方差与自相关一致的协方差估计量则无需完整设定误差过程,就能估计不确定性。这两种方法都不能自动解决内生性问题。尤其是当回归中包含滞后因变量,且这些变量与当期误差相关时,需要谨慎处理。
德宾–沃森统计量
与残差的一阶滞后自相关密切相关;忽略端点效应时,有 。其经典检验理论有特定的适用限制,并不是适用于所有回归设计或所有序列依赖形式的通用诊断工具。
计算与信号处理中的应用
对于有限序列,可以在每个平移位置将重叠的数值相乘,直接计算自相关。用这种方法计算所有滞后的自相关需要 次运算,而只计算 个较小滞后的自相关则需要 次运算。同一运算也可以表示为原序列与其反转后取共轭的序列之间的卷积。由此可以得到一种基于快速傅里叶变换的更快算法,其运算量通常为 。
离散相关定理将循环自相关与傅里叶变换幅值平方的逆离散傅里叶变换联系起来。线性自相关和循环自相关是不同的运算:循环自相关会将序列末尾绕回开头。要用 FFT 计算完整的线性自相关,可以对长度为 的数据序列补零,使变换长度至少达到 。如果补零不足,绕回产生的乘积项就会混入所需的各滞后乘积和中。恢复数值时,还必须计入所用变换的缩放约定。
自相关广泛用于检测重复结构。在浊音语音中,声带振动会产生近似周期性的波形,短时自相关的峰值可用于估计基音周期。如果峰值出现在滞后 个采样点处,且采样频率为 ,则对应的频率约为 。谐波、噪声和波形变化可能产生相互竞争的峰值,导致八度错误或估计不稳定。窗口长度的选择需要权衡:较长的窗口能更清楚地分辨周期性,但也会将更长时间内的变化平均掉。
在通信、雷达和同步系统中,波形的自相关表征它与自身平移副本之间的相似程度。尖锐的中心峰和较小的旁瓣有助于区分到达时间或码序列的对齐位置。实际检测通常采用接收数据与已知参考信号之间的互相关。此时,发射波形的自相关有助于确定匹配滤波器对单个延迟副本的响应。这些应用侧重于未中心化的相关,因为关注的对象往往是波形本身,而不是它相对于随机过程均值的偏差。
有限长度数据的谱估计还涉及其他选择。原始周期图与有限长度数据的自协方差估计的傅里叶变换有关,但即使数据长度增加,未经平滑的周期图仍具有很大的变异性。加窗或平滑会改变频率分辨率与变异性之间的权衡。反过来,在变换前截断自协方差估计或对其进行渐消加权,也会改变谱估计。如果在选择滞后窗时不考虑正定性,甚至可能得到负的谱估计值,尽管真实的功率谱是非负的。
空间、物理与模拟中的应用
自相关的应用并不限于时间。对于平稳空间随机场 ,协方差取决于位移向量:
如果该随机场还具有各向同性,那么协方差仅取决于距离 ,而与方向无关。正的空间自相关意味着,相对于给定的均值结构,邻近位置的取值往往相似。各向异性随机场在不同方向上可以具有不同的相关范围,例如输运过程或地质结构具有优势方向时就会出现这种情况。
空间依赖对协方差函数的有效性提出了约束,这些约束取决于维数和几何结构。一个在线上可作为有效协方差的函数,用作更高维空间中的各向同性协方差时,未必在所有维数下都有效。空间统计学也使用莫兰 等全局和局部统计量,其中纳入了空间权重矩阵。这些统计量与平稳自相关函数并不相同:其解释取决于哪些位置被指定为邻居,以及权重如何归一化。对于二阶平稳随机场,半变异函数满足
从而将差值平方的期望与协方差联系起来。
在统计物理学中,平衡态自相关函数用于量化涨落如何弛豫。速度自相关函数
描述粒子运动的持续性。对于 维各向同性系统,在保证扩散极限存在的条件下,
将该函数与扩散系数联系起来。这是一条格林–久保关系。应力和流的相关函数的类似积分可用于确定黏度、电导率等输运系数。相关函数衰减缓慢,可能使这些积分难以估计,也可能表明存在反常输运。
在马尔可夫链蒙特卡洛中,相继的模拟状态被有意设计为彼此依赖。对于沿平稳链求值的某个标量函数 ,积分自相关时间通常定义为
相应的有效样本量约为 。同一条链的不同函数可能具有差异很大的自相关时间。某个参数的均值、该参数的平方值以及某个罕见事件的示性函数,其混合速率未必相近。
这些应用也揭示了有限观测的局限。一条局限于状态空间某一区域的链,可能在该区域内表现出短暂的自相关,却无法反映完整的后验分布。类似地,一段较短的物理或环境观测记录,可能无法区分很长但有限的弛豫时间与长程依赖。在后一种情况下,相关性可能衰减得如此缓慢,以至于其总和发散。此时,均值方差通常遵循的 缩放规律,以及常规的有效样本量公式,都未必适用。
历史发展
自相关并非源于某一次发明,而是在几条相互交织的研究脉络中逐步发展起来的。关于序列依赖的统计研究,与相关分析及有序观测数据分析一同兴起。20 世纪初对经济和天文记录的研究表明,相邻的测量值并不总能视为相互独立。这既涉及解释问题——表面上的周期是否真实存在,也涉及推断问题——常规公式是否夸大了具有持续性的序列所提供的证据量。
G. 尤德尼·尤尔于 1926 年发表的“无意义相关”研究表明,时间序列的结构可能使常规方法对序列间关系所作的显著性计算失效。1927 年,他在分析太阳黑子数时,采用自回归差分方程方法解释振荡行为。这项工作在概念上的重要意义在于:一系列随机扰动经过递推关系的作用,可以呈现出周期现象的表象。叶夫根尼·斯卢茨基关于随机原因之和的相关研究,进一步凸显了看似振荡的记录与具有严格周期性的内在机制之间的区别。
20 世纪 30 年代,调和分析和概率论为自相关提供了更普遍的理论基础。诺伯特·维纳发展了广义调和分析,其中包括相关与谱结构之间的关系。亚历山大·辛钦为平稳随机过程建立了相应的谱刻画。这些进展阐明了为什么有效的协方差函数具有非负的谱表示。随后,安德雷·柯尔莫哥洛夫和维纳关于预测与滤波的研究,使协方差信息和谱信息成为最优线性估计的核心。
20 世纪中叶的几十年间,系统的估计方法和计算工具逐渐形成。M. S. 巴特利特提出了关于序列相关统计量的一系列有影响力的大样本结果。詹姆斯·德宾和杰弗里·沃森在 1950 年和 1951 年发表的论文中,提出了用于回归分析的序列相关检验。后来,乔治·博克斯和格威利姆·詹金斯将基于自相关的模型识别、模型拟合及残差检验整合成一套得到广泛采用的预测方法;他们关于时间序列分析的重要著作于 1970 年出版。
诊断检验也随着建模方法的发展而不断进步。博克斯与戴维·皮尔斯于 1970 年提出了综合检验统计量,格蕾塔·柳恩与博克斯则于 1978 年发表了经过有限样本修正的版本。与此同时,快速变换算法和数字计算技术使长序列的相关图绘制与谱估计成为常规操作。在上述发展过程中,自相关始终承担着两种不同的角色:一是对二阶依赖关系的数学描述,二是有限样本下的诊断工具;后者的可靠性取决于观测过程、模型假设和估计程序。