自相关函数描述一个量在时间、空间或其他索引上相隔不同距离时,与自身的关联程度。在时间序列分析中,它衡量相隔指定滞后步数的观测值之间的线性关联。在信号分析中,与之密切相关的定义则衡量信号与其平移副本之间的重叠程度。这些表述使自相关成为识别持续性、周期性、特征尺度以及偏离随机性现象的核心工具。
对于方差有限且非零的平稳随机过程,滞后 时的归一化自相关,等于相隔 步的观测值之间的协方差除以它们共同的方差。其他约定则采用未经中心化的乘积期望或未经归一化的积分,因此,“自相关”的含义在一定程度上取决于所属领域。当信号的均值非零,或其幅度承载物理信息时,这种区别就尤为重要。
自相关将过程的时域描述与其频域功率谱联系起来。它也用于预测、模型诊断、不确定性估计、信号检测,以及对存在相关性的模拟结果的分析。解释自相关时需要谨慎:自相关为零通常并不意味着相互独立,而经验自相关呈现的模式,也可能源于趋势、状态变化或测量方式,而非平稳的依赖关系。
定义与约定
设 为以整数时间为索引的实值随机过程。假设其均值恒为 ,二阶矩有限,且协方差仅取决于时间间隔。其自协方差函数为
其中, 表示期望值。若 ,则其归一化自相关函数为
这里, 是每次观测的方差, 是滞后量。例如, 描述相邻两次测量之间的关联,而 描述相隔十二个采样间隔的测量之间的关联。在指定采样间隔之前,滞后量并不对应固定的实际时长。
上述假设定义了弱平稳性,也称协方差平稳性。这些条件比要求所有有限维联合概率分布在时间平移下保持不变更弱。对于非平稳过程,仍然可以定义两个时刻之间的协方差:
但通常无法将其简化为仅依赖 的函数。其归一化形式使用这两个时刻各自的标准差。若不作额外假设,就将其称为仅依赖滞后量的自相关函数,会丢失可能很重要的信息。
对于复值过程,需要使用复共轭。一种常见约定是
当观测值为实数时,这一定义与实值情形的定义一致。有些作者采用相反的滞后方向,或对另一个因子取共轭,这会改变某些符号和复共轭的位置,但不会改变其内在信息。对于一般的复值过程,仅靠协方差未必能刻画全部二阶结构;可能还需要不取共轭的互补协方差。
在工程领域,“自相关”通常指未中心化的函数
而不是其经过中心化和归一化的形式。在平稳条件下,
因此,非零均值会在所有滞后量处贡献一个恒定分量。自协方差的单位是测量单位的平方,而归一化自相关是无量纲的。
对于确定性的有限能量连续时间信号 ,另一种标准定义为
对于持续时间无限长的功率信号,则需要在相应极限存在时采用适当的长时间平均。这些确定性定义在形式上类似于总体期望,但要将时间平均等同于概率意义上的期望值,还需要额外假设,通常涉及遍历性。
结构性质与可容许函数
自相关函数不能是任意一条取值介于负一与一之间的曲线。由于它源于协方差,因此必须满足相应的一致性条件。对于实值平稳过程,有
对于复值过程,对称性变为厄米对称性:
上述界限可由对两个中心化随机变量应用柯西—施瓦茨不等式得到。在非零滞后处取等号,意味着相应变量在均方意义下线性相关,而不只是表明它们在经验上具有很强的关联。
可容许性的核心要求是半正定性。对于任意有限个时刻 和复系数 ,有
这个表达式是中心化观测值的某个适当线性组合的模平方的期望。因此,由该函数构造的每个有限维协方差矩阵都必须是半正定的。
对于连续的整数时刻,这些矩阵的各条对角线上的元素均相同:
这样的托普利茨矩阵以代数形式表达了平移不变性。半正定性比逐一检查各个滞后处的取值提出了更强的要求。例如, 和 都满足基本的取值界限,但由此得到的 相关矩阵的行列式为负,因此不可能对应于一个平稳过程。
反过来,一个在零点取有限值的厄米半正定函数,可以作为平稳过程的协方差函数。一种构造方法是使用高斯过程,其有限维正态分布由均值和彼此相容的协方差矩阵确定。这说明正定性要求不仅是必要条件,而且在二阶层面上完整刻画了可容许性。
自相关对某些变换不敏感。如果 ,其中 为实数,那么 与 具有相同的归一化自相关函数,尽管其自协方差变为原来的 倍。此外,自相关只是二阶描述,并不能完整刻画一般的随机过程。不同的非高斯过程可能具有相同的均值和自协方差,却在不对称性、尾部特征或非线性依赖关系方面有所不同。不过,对于联合高斯变量,零协方差意味着统计独立性,因此自相关在这种情况下具有更强的解释力。
典型模式与基础示例
最简单的参照情形是白噪声:其均值恒定、方差有限且恒定,并且在所有非零滞后处协方差均为零。其归一化自相关函数为
除非另行要求独立性,否则白噪声的各次观测不一定相互独立。高斯白噪声在不同时刻相互独立,因为其任意有限组变量都服从联合正态分布,且彼此不相关。这一区别将作为二阶性质的白噪声性与更强的随机性概念区分开来。
一阶自回归模型是描述持续性的一种基本模型:
其中,新息为白噪声,且与该过程先前的取值不相关。其平稳解满足
当 时,相关系数按几何级数衰减,并始终为正。当 时,相关系数的符号交替变化。 接近 1 时,依赖关系会持续很久;但当 时,得到的是随机游走,其无条件方差并非有限常数,因此不存在这种形式的平稳自相关函数。
相比之下,一阶移动平均模型的协方差所反映的依赖仅限于有限的滞后范围:
其自相关函数为
只有相邻观测值才共享同一个新息。更一般地, 阶移动平均过程在滞后大于 时,自协方差为零。“移动平均”这一名称指的是新息的加权组合,并不一定是观测数据的滚动平均。
当过程包含某个特征频率时,自相关函数会呈现振荡。考虑
其中, 在 上服从均匀分布。该过程的均值为零,协方差为
自相关函数则为 。将相位随机化,可以使这一过程平稳,同时保留其周期性依赖。加入独立白噪声会增大零滞后处的方差,而不改变非零滞后处的协方差,从而降低归一化后的峰值。
振荡伴随逐渐衰减的包络,往往表明存在带噪声的阻尼模态,而非完全周期性的成分。缓慢衰减的正值拖尾可能反映长程依赖,但未去除的趋势或不同状态的混合也可能产生类似的经验形态。零相关同样不能排除依赖关系:若 是相互独立的标准正态变量,且 ,则 在不同时刻之间不相关,但相邻取值的平方却存在依赖关系,因为它们共享 。
谱表示与维纳–辛钦定理
自相关与频率成分是对同一二阶结构的两种描述。对于自协方差绝对可和的离散时间平稳过程,将功率谱密度定义为
其逆关系为
这些公式是维纳–辛钦定理的离散时间形式,该定理源于诺伯特·维纳和亚历山大·辛钦分别于1930年和1934年发表的研究。不同的约定会将因子 置于不同位置,也可能使用以每单位时间的周期数表示的频率,而非角频率。
在逆关系中令 ,可得
因此,对于均值为零的过程,总谱功率等于方差。协方差的半正定性对应于谱密度的非负性。白噪声过程具有恒定的频谱 ,这也解释了它为何被类比为包含广泛频率成分的白光。
并非每个平稳过程都具有通常意义上的谱密度。一般的谱表示采用有限非负谱测度 :
持续存在的正弦分量会在这一测度中产生点质量,也可能出现更复杂的奇异测度。因此,一般的谱表示并不总能用某个可积函数的傅里叶变换来替代。真正具有根本意义的是谱测度,而非光滑的频谱。
自相关的形状具有直接的频谱解释。缓慢变化和正相关的持续性意味着低频成分更为突出。正负交替的相关性意味着离散时间频率范围上端附近的频率成分更为突出。狭窄的谱峰对应着在许多滞后上持续振荡的自相关。对于一阶自回归过程,
当正值 趋近于1时,频谱越来越集中于零频附近。
线性滤波使这种联系尤其有用。如果平稳输入通过一个频率响应为 的稳定线性滤波器,则其输出频谱为
相应的协方差可通过逆变换恢复。因此,无论进行的是平滑、差分还是频带选择,滤波都会以可预测的方式改变自相关。反过来,仅凭自相关通常无法获知信号的傅里叶相位,因此也无法唯一重建原始波形。
有限数据的估计与数值计算
对于观测值 ,令
一种常用的样本自协方差估计量为
相应的样本自相关为
将这些估计值对滞后阶数作图,所得图形通常称为相关图。求比值时,分母中的归一化因子相互抵消,得到的就是滞后交叉乘积之和除以中心化后的总平方和。
另一种约定是将自协方差的求和结果除以 。如果真实均值已知,并用它进行中心化,就能消除有限配对数量造成的偏差:
若以 为分母,期望则为 。用样本均值替代真实均值会引入额外的估计量的偏差,因此在通常的应用中,采用 作为分母一般并不能得到严格无偏的估计。
以 为分母具有一项重要的结构优势。将中心化后的数据在观测区间之外补零,所得完整的滞后乘积和序列是半正定的,其傅里叶变换非负。对不同滞后阶数分别除以不同的因子,可能破坏这一性质。因此,某个估计量即使减小了特定滞后阶数上的偏差,将所有滞后阶数的估计结果放在一起时,也可能无法构成有效的协方差序列。自相关估计量是随机量之比,除了分子、分母各自的偏差外,还存在比值本身带来的偏差。
直接计算到最大滞后阶数 ,需要 次算术运算。直接计算所有滞后阶数则需要 次运算。快速傅里叶变换可将完整自相关的计算复杂度降至 :先将观测值中心化并补零,再进行变换,将变换结果与其复共轭相乘,最后进行逆变换。补零后序列的长度至少应为 ,以避免首尾绕回,从而得到线性相关而非循环相关。最终的缩放因子取决于所采用的变换约定以及所需的协方差归一化方式。
滞后阶数较大时,可用的重叠配对较少,因此估计的不确定性也较大。当滞后阶数接近 时,分子仅由一个乘积决定。观测值缺失又增加了一层复杂性:只使用可用配对,会使不同滞后阶数对应不同的样本量,并可能破坏半正定性。不规则采样带来的问题更为根本,因为观测序号相差三,并不一定代表固定的时间间隔。在这种情况下,基于实际时间差定义的协方差模型,或专门按时间差对观测配对进行分箱的估计方法,可以将时间间隔与观测顺序区分开来。
抽样不确定性与序列依赖性检验
即使总体自相关为零,自相关的估计值也会波动。对于独立同分布且满足适当有限矩条件的观测值,在固定的非零滞后下,样本自相关渐近服从正态分布,方差约为 。由此得到常见的参考界限:
这是白噪声原假设模型下近似的逐点 95% 界限,并非适用于任意过程的通用置信区间。它还要求方差非退化,并采用这样一种渐近框架:随着样本量增大,所选滞后保持不变。
同时考察多个滞后时,解释方式就会改变。即使观测值相互独立,某些样本相关系数也可能偶然落在逐点界限之外。不同滞后处的估计值通常相互依赖,因此图中的各个条形并不代表一组相互独立的检验。这是一个多重检验问题:单个异常条形所提供的证据,与事先选定某一滞后进行检验,或在多个滞后上出现持续且有规律的模式,具有不同的含义。
当过程本身存在相关性时,白噪声方差近似就不再适用。巴特利特型近似通过总体相关序列来表示样本自相关之间的协方差。对于阶数为 的移动平均过程,在滞后 处,一个标准的渐近表达式为:
方差增大反映了观测值之间共享的信息。这类公式需要对矩和依赖性施加一定的约束条件;对于长记忆过程或二阶矩不存在的数据,它们并不一定成立。
联合检验将多个滞后处的相关系数汇总起来。乔治·博克斯和戴维·皮尔斯于 1970 年提出的博克斯–皮尔斯统计量为:
格蕾塔·荣格与博克斯于 1978 年提出的荣格–博克斯修正统计量为:
在适当的白噪声原假设和正则条件下,可将这些统计量与卡方分布进行比较。对于拟合自回归移动平均模型所得的残差,一种常见的渐近自由度调整是 ,其中 和 分别是所拟合模型的自回归阶数和移动平均阶数,且 大于两者之和。
这些混成检验针对的是一组线性相关性。未能拒绝原假设,并不能证明观测值相互独立、服从高斯分布、条件方差恒定,或模型整体正确。一个过程的观测值可以互不相关,但其平方值或绝对值却存在相关性。因此,残差诊断通常既考察原始残差,也考察其变换。参数估计、条件异方差以及根据数据选择滞后的做法,都可能改变参考分布,因此,准确界定原假设模型是统计假设检验的关键。
线性预测、自回归模型与偏自相关
只要相关的二阶矩存在,自协方差就能确定最优线性预测。假设根据一个已中心化的平稳过程最近的 个观测值进行预测:
最小化均方误差可得正规方程
这些方程由预测误差与每个预测变量均不相关这一条件导出。从几何角度看,预测是在平方可积随机变量空间中,向过去观测值所张成的子空间作正交投影。
对于 阶自回归过程,
相应的关系式称为 尤尔–沃克方程:
这一名称源于 G. 尤德尼·尤尔于 1927 年和吉尔伯特·沃克于 1931 年所做的奠基性工作。这些方程连同
将模型参数、新息方差与自协方差联系起来。用估计值替代总体协方差,就得到一种标准的参数估计方法。
偏自相关函数将滞后 阶的直接线性关联与通过中间观测值传递的关联区分开来。对于实值平稳过程,分别将 和 对 作线性回归,偏自相关就是所得两组残差之间的相关系数。等价地,在非奇异条件下,它是 阶线性预测方程中的最后一个系数。
这一区别为经典的模型识别提供了依据。平稳的 阶自回归过程在滞后阶数超过 时,偏自相关为零,而其普通自相关通常呈拖尾。 阶移动平均过程在滞后阶数超过 时,普通自相关为零,而其偏自相关通常呈拖尾。这些总体特征是精确的,但有限样本绘制出的图形只能近似反映它们;当参数接近相消情形或平稳性边界时,近似效果有时会很差。
自回归移动平均混合模型可以产生兼具衰减与振荡特征的相关模式。对于因果平稳的自回归表示,方程
的根位于单位圆之外。这些根的位置决定了协方差的衰减速率与振荡频率。高效的递推算法利用预测方程的托普利茨结构,将自相关分析与数值线性代数联系起来。所得预测器在线性预测器中最优;只有在满足额外的分布条件(如联合高斯性)时,它才等于完整的条件期望。
非平稳性、长记忆与解释的局限
较大的经验自相关本身并不能说明存在稳定的随机机制。确定性趋势会使相近时刻的观测值相似,仅仅因为它们都处于同一条缓慢变化的轨迹上。此时,如果仅减去一个总体均值就计算样本自相关函数,即使围绕趋势的偏差彼此独立,也可能得到一条较长的正值拖尾。季节性均值、水平突变以及测量方法的变化,也可能造成类似的误导性模式。
差分会改变依赖结构,而不只是消除图形上的某种特征。若
且 是平稳过程,则
从频域来看,差分相当于将频谱乘以
从而抑制低频成分。差分可以将随机游走转化为平稳的增量过程,但不必要的差分可能引入短滞后下的负相关。例如,对独立噪声作差分后,一阶滞后的相关系数为 。
真正的长程依赖不同于趋势。一种常见形式为
这些正的自相关系数之和不收敛。等价地,在适当条件下,谱密度在零频附近发散。这类长记忆过程可以具有恒定的均值和方差,同时在相隔很远的时刻之间仍保有依赖关系。其样本均值的方差通常比一般的 速率下降得更慢,因此,通常用于短记忆过程的不确定性计算公式不再适用。
时间聚合也会改变自相关。日观测值的月平均序列是原始过程经过滤波和降采样后的版本;其依赖关系并不等于每隔三十个滞后取一次日序列的自相关值。采样本身可能导致混叠,使不同的连续时间频率在离散观测网格上变得无法区分。因此,解释呈振荡形态的自相关图时,必须结合测量间隔和数据采集流程。
对于实值平稳过程,自相关关于滞后对称,因此不包含影响方向的信息。它本身无法确立因果关系,无法区分外部驱动与内部动力学,也无法判定表面上的周期是否由反馈产生。此外,方差无穷大的过程,包括许多重尾模型,根本不存在通常基于协方差定义的自相关函数。基于秩的依赖度量、特征函数方法及其他替代方法,描述的是时间依赖的不同方面,而不是让原本未定义的二阶矩变得有定义。
确定性信号、检测与物理测量
对于有限能量信号,自相关具有直接的几何解释。其值
是信号与其平移副本之间的内积。在零时延处,它等于信号能量,
而根据柯西–施瓦茨不等式,有
非零时延处出现峰值,表明信号与其平移后的版本相似。即使波形复杂或受到噪声干扰,反复出现的峰值仍可能揭示其周期。
自相关也可以写成卷积:
其傅里叶变换为 ,其中 是 的傅里叶变换。这是平稳过程谱关系在确定性能量信号中的对应形式。由于变换的相位信息消失,不同信号可能具有相同的自相关。例如,时间平移不会改变自相关。由此产生的重建不唯一性是相位恢复中的核心问题。
在雷达和声呐中,接收波形与已知发射波形之间的相关,严格来说是互相关。当接收到的回波是发射波形经过衰减和延迟后的副本时,其时延响应由发射波形的自相关决定。较窄的中心峰能提高时延分辨能力,而较大的旁瓣可能掩盖附近较弱的回波。这也是采用编码脉冲和精心设计的序列的原因之一。对于均匀介质中的雷达传播,往返时延 对应的距离为 ,其中 为传播速度。
在语音和音乐分析中,准周期波形会在其基周期整数倍附近产生自相关峰。若采样率为 ,且相关峰出现在时延 处,则候选基频为 。谐波、音高变化、有限窗口和噪声都可能产生相互竞争的峰,因此,非零时延处的最大峰并不总能确定听觉感知到的基频。
物理学中的相关函数通常涉及某个测得的可观测量,而非直接使用位置或场。对于三维各向同性平衡流体,扩散的格林–久保关系为
其成立前提是该关系所要求的平衡极限和长时间极限均存在。因此,速度自相关将微观动力学与宏观输运系数联系起来。类似的平衡态时间相关公式将应力涨落与黏度联系起来,将热流涨落与热导率联系起来;各情形所涉及的可观测量、归一化方式和物理假设各不相同。
相关模拟、空间场与多变量扩展
自相关会直接影响平均值的不确定性。对于平稳实值过程的 个观测值,
这一恒等式可通过对协方差矩阵的所有元素求和得到。它说明,对于均值而言, 次相关测量所提供的信息量通常并不等同于 次独立测量。正相关会增大方差;具有适当结构的负相关则可以减小方差。
若相关系数绝对可求和,按照一种常见约定,定义
于是,当 足够大时,
量 称为积分自相关时间。另一种约定将其定义为上述数值的一半,因此在比较数值时需要核对定义。对于一阶自回归过程,
从相应的样本均值渐近方差角度来看,有效样本量为 。
这些公式在马尔可夫链蒙特卡洛中特别重要。模拟中相继产生的状态被有意设计为相互依赖,而每个标量观测量都可能具有不同的自相关时间。某个坐标混合迅速,并不能证明每个参数或衍生量的取值范围都已得到充分探索。由于大滞后处的估计噪声较大,从有限长度的链估计无穷级数时,需要进行截断或平滑处理。自相关计算还以过程处于适当的平稳状态为前提;仅凭已访问区域内部的波动,无法揭示目标分布中尚未访问的区域。
对于向量值过程 ,自协方差变为矩阵值:
其对角元素是各分量的自协方差,非对角元素则描述不同滞后下分量之间的交叉依赖关系。厄米对称性变为 ,而其对应的谱在每个频率处都是半正定矩阵。与实值标量自相关函数不同,两个不同分量之间的某个互协方差不一定是滞后的偶函数。
空间随机场用位移向量 代替时间滞后。平稳协方差 可以同时依赖方向和距离;在各向同性条件下,它仅依赖于 。对于实值平稳场,半变异函数为
这一关系将自协方差与空间插值及地统计建模联系起来。有效的协方差函数仍须在任意有限位置集合上满足半正定性,而在某一空间维数下可用的径向函数,不一定在所有更高维数下都可用。