aiwiki.page
中文
数学 / 概率与统计 / autoregressive-model

自回归模型

利用变量自身的历史值描述该变量的统计模型,也可扩展至多元时间序列和序列生成建模。

43 个关键词22 个词条链接到这里8 个尚未撰写AI 撰写
时间序列计量经济学机器学习线性回归期望值方差正态分布条件期望自回归模型

自回归模型利用变量自身的历史值来描述该变量。在经典形式中,它是一种时间序列模型,将当前观测值表示为有限个过去观测值的线性组合,再加上一个不可预测的扰动项。自回归模型能够简洁地描述持续性、振荡以及冲击的传播,因此是预测、信号处理和计量经济学中的基础工具。

在机器学习中,这个术语还有更广泛的含义:将联合分布表示为一系列条件分布,并依据前面的分量依次生成每个分量。这一用法既涵盖用于文本、图像和音频的非线性模型,也包括经典统计学中的自回归模型。这两种含义都强调对先前观测值或生成值的依赖,但在线性、记忆以及预测误差分布的假设上有所不同。

数学定义与假设

pp 阶线性自回归模型记作 AR(pp),其形式为

Xt=c+ϕ1Xt−1+⋯+ϕpXt−p+εt.X_t=c+\phi_1X_{t-1}+\cdots+\phi_pX_{t-p}+\varepsilon_t.

其中,tt 表示等时间间隔观测的序号,cc 为截距,ϕ1,…,ϕp\phi_1,\ldots,\phi_p 为自回归系数,εt\varepsilon_t 为扰动项。阶数 pp 指定模型中包含的最大滞后阶数。“自回归”这一名称表明,模型将变量对其自身的历史值进行线性回归,而不是对另一组同期解释变量进行回归。AR(0) 模型仅包含截距和扰动项。

通常假设扰动项为白噪声:其期望值为零,方差为有限常数 σε2\sigma_\varepsilon^2,且不同时刻之间的协方差为零。白噪声不一定由相互独立的变量组成,也不一定服从正态分布。这些区别很重要。扰动项互不相关足以支持许多二阶统计计算,而构造似然函数、进行非线性预测以及预测概率分布通常需要额外的假设。

对于预测,一个尤为重要的条件是

E(εt∣Ft−1)=0,E(\varepsilon_t\mid\mathcal F_{t-1})=0,

其中,Ft−1\mathcal F_{t-1} 表示时刻 tt 之前可获得的信息。在此条件下,去掉扰动项后的自回归表达式就是 XtX_t 的条件期望。当前扰动项与过去独立是一个充分条件,但它比实际所需的条件更强。如果扰动项仅仅在不同时刻之间互不相关,那么线性自回归未必能描述完整的条件分布。

截距通常并不等于过程的均值。如果过程具有恒定均值 μ\mu,则在分母不为零的前提下,对等式两边取期望可得

μ=c1−∑j=1pϕj,\mu=\frac{c}{1-\sum_{j=1}^{p}\phi_j},

因此,中心化过程 Yt=Xt−μY_t=X_t-\mu 满足

Yt=∑j=1pϕjYt−j+εt.Y_t=\sum_{j=1}^{p}\phi_jY_{t-j}+\varepsilon_t.

例如,Xt=2+0.8Xt−1+εtX_t=2+0.8X_{t-1}+\varepsilon_t 的平稳解的均值为 1010,而不是 22。

自回归方程还需要明确如何处理初始值。有限长度的模拟可以从指定的观测值开始,而理论上的平稳过程通常定义在所有整数时刻上。这两种构造在样本初期的分布不一定相同。此外,系数描述的是预测上的依赖关系,并不自然意味着因果关系:由于遗漏的共同影响因素、聚合或测量方式等原因,一个变量可能能够预测其自身的未来值。

稳定性、平稳性与因果解

弱平稳过程的均值恒定,自协方差仅取决于观测值之间的时间间隔。平稳性使不同时点的观测值能够为同一个底层依赖结构提供信息。若不满足平稳性,同一个系数向量就可能混合了均值、方差或动态特征各不相同的多种状态。

定义滞后算子为 BXt=Xt−1BX_t=X_{t-1},自回归多项式为

ϕ(z)=1−ϕ1z−⋯−ϕpzp.\phi(z)=1-\phi_1z-\cdots-\phi_pz^p.

中心化后的模型变为 ϕ(B)Yt=εt\phi(B)Y_t=\varepsilon_t。存在稳定的因果平稳解的标准条件是:ϕ(z)=0\phi(z)=0 的所有根都严格位于复平面的单位圆之外。这里的“因果”是时间序列领域的专门术语,指该过程可以仅用当前和过去的扰动来表示,与实证研究中关于因果识别的主张不同。

在此条件下,

Yt=∑j=0∞ψjεt−j,ψ0=1,Y_t=\sum_{j=0}^{\infty}\psi_j\varepsilon_{t-j}, \qquad \psi_0=1,

其中系数衰减得足够快,使级数能够按均方意义收敛。这些系数描述了过程对单位扰动的响应。在 AR(1) 模型中,ψj=ϕ1j\psi_j=\phi_1^j,因此稳定性要求 ∣ϕ1∣<1|\phi_1|<1。其无条件方差为

Var⁡(Xt)=σε21−ϕ12.\operatorname{Var}(X_t)=\frac{\sigma_\varepsilon^2}{1-\phi_1^2}.

系数为正时,响应会持续保持同一符号;系数为负时,响应的符号则交替变化。系数接近 11 时,扰动的影响会持续很久,不过只要系数的绝对值严格小于 11,过程就仍然是平稳的。

同一条件也可以通过伴随矩阵来表达。对于 p≥1p\geq1,将 Yt,…,Yt−p+1Y_t,\ldots,Y_{t-p+1} 依次排列成一个状态向量,并用一阶向量递推式描述其演化。稳定性要求伴随矩阵的所有特征值都位于单位圆内。这些特征值是滞后多项式各根的倒数,因此两种表述中的不等式方向看似相反。

陈述根的条件时,必须同时说明因果性这一限定。有些自回归方程虽然存在位于单位圆内的根,却仍有依赖于未来扰动的平稳解。当 εt\varepsilon_t 被设定为在时刻 tt 到来的新冲击时,这类非因果解通常并不适用。如果存在位于单位圆上的根,那么在非退化白噪声扰动下,通常的有限方差平稳因果解构造就不再成立。因此,稳定性不仅是为了计算方便:它决定了冲击如何累积,以及长期矩是否存在。

自相关、偏自相关与频谱

平稳自回归过程的依赖结构可以通过其自协方差

γ(k)=Cov⁡(Xt,Xt−k)\gamma(k)=\operatorname{Cov}(X_t,X_{t-k})

和自相关 ρ(k)=γ(k)/γ(0)\rho(k)=\gamma(k)/\gamma(0) 来描述。将中心化后的模型乘以一个滞后观测值,再取期望,即可得到 尤尔–沃克方程:

γ(k)=∑j=1pϕjγ(k−j),k≥1,\gamma(k)=\sum_{j=1}^{p}\phi_j\gamma(k-j), \qquad k\geq1,

以及

γ(0)=∑j=1pϕjγ(j)+σε2.\gamma(0)=\sum_{j=1}^{p}\phi_j\gamma(j)+\sigma_\varepsilon^2.

这些关系将动态方程的系数与可观测的二阶统计性质联系起来。

对于 AR(1),有 ρ(k)=ϕ1∣k∣\rho(k)=\phi_1^{|k|}。因此,平稳有限阶自回归过程的自相关函数通常不会在超过其阶数后突然截断。相反,相关性会以若干指数项组合的形式衰减,有时还伴有振荡。在 AR(2) 中,即使没有任何明确的周期性外部输入,共轭复根也能产生衰减振荡。这也是自回归模型适合用于波动形态更接近不规则振荡、而非平滑趋势的序列的原因之一。

滞后 kk 阶的偏自相关,衡量的是去除中间各观测值的线性影响后,XtX_t 与 Xt−kX_{t-k} 之间的线性关联。等价地,在通常的非奇异性条件下,它是将当前值对前 kk 个观测值作最佳线性投影时的最后一个系数。对于真正的 AR(pp) 过程,总体偏自相关在所有大于 pp 的滞后阶数上均为零。与普通自相关的逐渐衰减相比,这种截尾特征是识别模型的经典线索。样本估计值存在波动,因此,观察到明显的截尾只能作为证据,而不能作为确定模型阶数的绝对准则。

另一种互补的描述方式使用频率,而不是时间间隔。设角频率为 ω∈[−π,π]\omega\in[-\pi,\pi],则谱密度为

f(ω)=σε22π1∣1−∑j=1pϕje−iωj∣2.f(\omega)= \frac{\sigma_\varepsilon^2}{2\pi} \frac{1}{ \left|1-\sum_{j=1}^{p}\phi_je^{-i\omega j}\right|^2}.

频谱与自协方差通过傅里叶变换相联系。谱峰表明该过程的方差集中在哪些频率附近,但谱峰的存在并不能证明存在确定性的周期,或外部周期性成因。

当 AR(1) 的系数为接近 11 的正数时,频谱集中在零频率附近,对应于缓慢的波动。系数接近 −1-1 时,功率则集中在角频率 π\pi 附近,对应于相邻观测值之间的交替变化。自回归谱估计利用这种有理函数形式的频谱,通过相对较少的参数来估计平滑的频谱。其分辨能力具有实用价值,但阶数选择不当可能产生虚假的谱峰,或掩盖真实的频谱特征。

参数估计与统计推断

对于观测值 x1,…,xTx_1,\ldots,x_T,一种常见做法是用普通最小二乘法估计 AR(pp) 模型,将 xtx_t 作为响应变量,将其之前的 pp 个观测值作为回归变量。给定初始观测值,目标函数为

S(c,ϕ)=∑t=p+1T(xt−c−∑j=1pϕjxt−j)2.S(c,\boldsymbol\phi)= \sum_{t=p+1}^{T} \left(x_t-c-\sum_{j=1}^{p}\phi_jx_{t-j}\right)^2.

尽管由此得到的过程是动态的,但就系数而言,这仍是一个线性最小二乘问题。QR 分解等标准数值方法可以避免显式求取回归变量交叉乘积矩阵的逆所带来的数值问题。

在模型设定正确且稳定,并满足适当的扰动项条件和矩条件时,最小二乘估计量具有一致性和渐近正态性。这些是大样本性质,并不保证有限样本下的无偏性。滞后因变量带来的依赖结构不同于回归变量固定的回归模型;当持续性较强时,小样本偏差可能相当大。尤其在接近单位根时,常规的平稳渐近近似很不可靠。

尤尔–沃克估计则用样本估计值替代协方差方程中的理论自协方差。所得线性方程组具有托普利茨结构,即各条对角线上的元素相同。莱文森–德宾递推利用这一结构,高效地依次估计各个阶数的模型,同时还能得到偏自相关系数。自协方差的不同计算约定以及不同估计方法,在有限样本下未必会给出相同结果。伯格估计是另一种方法,尤其常见于谱分析;它利用前向和后向预测误差,并通过反射系数参数化来保证稳定性。

当扰动项相互独立且服从高斯分布时,最大似然估计提供了一种基于分布的方法。条件高斯似然将初始观测值视为固定值;将扰动项方差集中化消去后,最大化该似然等价于最小化残差平方和。精确高斯似然还纳入了平稳模型下初始观测值的分布。在样本较短或接近稳定性边界时,这一区别可能很重要。

贝叶斯推断将似然与系数及扰动项方差的先验分布相结合。先验可以使系数向零收缩、偏好持续性较强的动态特征,或将参数空间限制为稳定模型。后验预测随后通过积分计入系数的不确定性,而不是直接代入一组拟合值。在高阶模型中,频率学派的正则化方法,包括岭惩罚或 lasso 惩罚,通过控制估计方差发挥类似的实际作用。无论是收缩还是稳定性约束,都不能替代对所选动态模型设定是否符合数据的检验。

阶数选择与诊断检验

阶数的选择决定了模型的记忆长度和参数数量。滞后阶数过低,可能使扰动项中仍存在可预测的结构;阶数过高,则可能拟合抽样噪声,增加不确定性,并降低预测质量。如何权衡,取决于样本量、信号强度、季节性以及预期的预测跨度。如果只有少量观测来自同一个稳定机制,那么即使观测历史很长,也未必有理由采用高阶模型。

信息准则在似然拟合程度与模型复杂度之间进行权衡。常见的信息准则包括赤池信息准则和贝叶斯信息准则:

AIC=−2ℓ^+2k,BIC=−2ℓ^+klog⁡n,\mathrm{AIC}=-2\widehat\ell+2k, \qquad \mathrm{BIC}=-2\widehat\ell+k\log n,

其中,ℓ^\widehat\ell 为最大化后的对数似然,kk 为估计参数的数量,nn 为相应的样本量。进行比较时,各项处理约定必须一致,包括如何处理方差、截距和初始观测。如果模型拟合所用的响应变量时间窗口不同,比较时却未考虑这种差异,就可能扭曲模型的排序。

这些准则体现了不同的目标。AIC 以预测信息损失为出发点;BIC 则在真实模型是有限维的、且包含在候选模型之中时,于特定正则条件下具有模型选择一致性。这些性质并不意味着,在有限样本中,任一准则总能选出预测表现最好的模型。当参数数量相对于可用观测数量不算少时,AICc 等小样本修正可能十分重要。

按时间顺序进行的交叉验证能够更直接地评估模型表现。在滚动预测起点评估中,反复使用截至某一时点可获得的观测拟合模型,并用后续观测评估模型。扩展窗口保留较早的历史数据,而滚动窗口则舍弃过于久远的数据。将过去和未来的观测随机混合,可能导致信息泄漏,使评估结果脱离实际,尤其是在预处理或构造滞后变量时使用了未来数据的情况下。

诊断检验考察拟合得到的扰动项是否符合模型假设。残差自相关和包括 Ljung–Box 检验在内的综合检验,用于评估是否仍存在序列依赖。解释这些检验时,必须考虑已估计的参数以及所检验的滞后阶数。残差图可以揭示方差变化、异常值或水平突变,而单一检验可能遗漏这些现象。

残差不相关,并不意味着残差相互独立。例如,残差的线性自相关可能微乎其微,但其平方仍存在很强的依赖,这表明波动性随时间变化。在使用基于正态理论的预测区间或进行似然计算时,正态性是需要考虑的假设,但并非所有有用的线性预测都要求正态性。因此,诊断证据只能针对具体假设提供判断;没有任何单一残差检验能够证明整个模型都符合要求。

预测与不确定性的传播

对于参数已知、扰动项条件均值为零的已拟合模型,一步预测为

X^T+1∣T=c+∑j=1pϕjXT+1−j.\widehat X_{T+1\mid T} =c+\sum_{j=1}^{p}\phi_jX_{T+1-j}.

更长预测期的预测通过递推得到:凡是滞后值超出已观测样本范围,就用预测值代替。在稳定模型中,预测值最终会趋近于无条件均值。这种收敛反映的是初始条件影响的衰减,并不意味着假定每条实际轨迹都必须平滑地向其均值靠拢。

对于 AR(1) 模型,

X^T+h∣T=μ+ϕ1h(XT−μ).\widehat X_{T+h\mid T} =\mu+\phi_1^h(X_T-\mu).

若 ϕ1=0.8\phi_1=0.8,则当前相对于均值的偏差对未来第五期预测值的贡献,约为该偏差的 0.850.8^5,即 0.3280.328。若系数为负,预测偏差的正负号则会交替变化。在更高阶的系统中,预测路径可能同时包含多种衰减速率和阻尼振荡。

利用因果移动平均表示,参数已知时的预测误差为

XT+h−X^T+h∣T=∑j=0h−1ψjεT+h−j.X_{T+h}-\widehat X_{T+h\mid T} =\sum_{j=0}^{h-1}\psi_j\varepsilon_{T+h-j}.

若扰动项的条件方差恒定,并满足所需的正交性条件,则

Var⁡(XT+h−X^T+h∣T)=σε2∑j=0h−1ψj2.\operatorname{Var} \left(X_{T+h}-\widehat X_{T+h\mid T}\right) =\sigma_\varepsilon^2\sum_{j=0}^{h-1}\psi_j^2.

对于 AR(1) 模型,上式化为

σε21−ϕ12h1−ϕ12.\sigma_\varepsilon^2 \frac{1-\phi_1^{2h}}{1-\phi_1^2}.

随着预测期延长,该方差趋近于无条件方差。

如果未来扰动相互独立且服从高斯分布,就可以根据正态预测分布构造中心预测区间。这种区间针对的是未来观测值,而系数的置信区间针对的是参数的不确定性。将估计系数代入参数已知时的公式,通常会忽略参数不确定性。模拟、适当的自助法程序以及贝叶斯后验预测计算可以纳入额外的不确定性,但这些方法的有效性仍取决于模型和估计方案。

系数 ψj\psi_j 也给出了脉冲响应,即当期一个单位的扰动对后续观测值的影响。在单变量模型中,脉冲响应能够清晰地描述拟合出的动态特征。只有在作出额外假设、将扰动项与具有外部实际意义的冲击联系起来后,才能将其解释为具有实质意义的干预效应。

预测质量通常使用均方误差、绝对误差指标或预测分布评分来评估。条件均值使期望平方误差最小,而其他损失函数可能更偏好其他概括性统计量。因此,一个模型可能非常适合某一预测目标,却不适合另一目标。

单位根、趋势、季节性与结构变化

自回归多项式在 z=1z=1 处的根称为单位根。最简单的例子是

Xt=Xt−1+εt,X_t=X_{t-1}+\varepsilon_t,

即随机游走。当初始值固定、扰动相互独立且方差为 σε2\sigma_\varepsilon^2 时,其方差随时间推移线性增长。扰动会对序列水平产生永久影响,而在稳定的自回归模型中,扰动的影响会逐渐衰减。加入截距项会产生漂移,使序列水平的期望值也随时间变化。

在这个例子中,差分可以消除单位根:

ΔXt=Xt−Xt−1=εt.\Delta X_t=X_t-X_{t-1}=\varepsilon_t.

更一般地,自回归积分移动平均模型(简称 ARIMA 模型)将自回归移动平均模型用于差分后的序列。在 ARIMA(p,d,qp,d,q) 中,dd 是普通差分的次数,pp 和 qq 分别是自回归阶数和移动平均阶数。差分改变了建模的对象:对变化量建模与对水平值建立平稳模型,对长期走势的含义并不相同。

确定性趋势与单位根并不是一回事。趋势平稳模型围绕指定的时间趋势波动,扰动的影响最终会消散。差分平稳模型则会将冲击累积到序列的水平值中。在样本较短时,这两种情况可能难以区分,尤其是在自回归系数接近 11 时。迪基—富勒类检验采用非标准的参照分布,因为在单位根原假设下,通常用于平稳回归的近似方法并不适用。

季节性带来了另一种持续性。月度观测值可能与十二个月前的观测值高度相关;季度观测值则可能依赖于四个季度前的数值。季节自回归项可以刻画这种依赖关系,而季节差分则采用 (1−B12)Xt(1-B^{12})X_t 之类的表达式。季节因子与非季节因子可以按乘法形式组合,由此得到具有特定结构的滞后系数,而不是为每个滞后阶分别设置不受约束的系数。

结构变化又是另一种情况。如果把整个序列当作一段同质记录来分析,均值或自回归系数的变化可能使原本具有短记忆的序列表现出很强的持续性。测量系统、经济制度或物理运行条件的变化,都可能使参数恒定的模型设定失效。突变模型、时变参数模型以及分状态估计,分别用于处理这一问题的不同形式。

无论差分还是增加滞后项,都不是万能的补救办法。不必要的差分可能引入本可避免的依赖关系,并增大预测的不确定性;而高阶平稳模型虽然可以近似拟合突变,却未必能对其作出有意义的描述。区分随机趋势、确定性趋势、季节结构与参数变化,对模型的解释和预测表现都至关重要。

多元、非线性与状态空间扩展

向量自回归(VAR)对多个序列进行联合建模:

Xt=c+A1Xt−1+⋯+ApXt−p+εt.\mathbf X_t=\mathbf c+ A_1\mathbf X_{t-1}+\cdots+ A_p\mathbf X_{t-p}+\boldsymbol\varepsilon_t.

每个 AjA_j 都是系数矩阵,因此每个分量都可以依赖所有分量的滞后值。一个包含 mm 个变量、pp 阶滞后的 VAR,在尚未加入截距或其他项时,就已有 m2pm^2p 个滞后项系数。参数数量的这种快速增长会带来估计难题,即使每个方程本身都是线性的也不例外。

稳定性同样取决于友矩阵的特征值。预测和脉冲响应可通过矩阵递推求得,而扰动项的协方差矩阵则允许各分量之间存在同期关联。简约式 VAR 本身无法识别在经济意义或物理意义上不同的冲击。结构分析需要额外的识别约束,而不同但均有合理依据的约束可能产生不同的解释。

格兰杰因果关系描述的是预测信息:相对于给定的信息集,一个变量的过去值能够改善对另一个变量的预测。在线性 VAR 中,这通常转化为检验一组滞后项系数是否为零。它并不等同于基于干预的因果推断,因为遗漏变量、数据聚合和观测时点都可能在并不存在所提出的因果机制时,造成预测关系。

带外生输入的自回归模型可以纳入外部预测变量。这些变量的外生性是一项假设,并不是将其放在方程右侧就自然成立的性质。要利用它们进行多步预测,还必须事先知道其未来值、对其未来值作出预测,或通过情景设定指定其未来值。相关的自回归移动平均模型不仅加入滞后观测值,也加入滞后扰动项,因而往往能简洁地描述原本需要许多自回归滞后项才能刻画的依赖关系。

非线性自回归用一个函数取代线性预测器:

Xt=g(Xt−1,…,Xt−p)+εt.X_t=g(X_{t-1},\ldots,X_{t-p})+\varepsilon_t.

门限模型在滞后状态的不同区域采用不同的系数组;平滑转换模型则在不同状态机制之间平滑过渡。神经网络自回归使用人工神经网络从数据中学习这一函数。广义自回归模型则可以描述计数、二元结果或随时间变化的条件分布。对于非高斯结果,仅有条件均值通常不足以确定完整模型。

最后,将线性自回归的各阶滞后值堆叠为一个潜在状态,即可将其写成状态空间系统。这种表示将自回归与卡尔曼滤波器联系起来;在适当假设下,卡尔曼滤波器能够在存在观测缺失或测量噪声时进行似然计算和预测。状态空间建模还将潜在过程的动态特性与其被观测的机制区分开来,而基本的无误差观测方程并不作这种区分。

发展历程与主要应用领域

自回归建模起源于解释观测记录中序列依赖性的尝试。1927 年,G. 尤德尼·尤尔发表了一项关于太阳黑子波动的研究,利用二阶自回归机制解释随机扰动下看似呈周期性的行为。这项研究的重要意义在于,它表明不规则周期可以由随机动力系统产生,而不一定来自若干固定周期分量的叠加。吉尔伯特·沃克于 1931 年的研究,则推动确立了如今称为尤尔—沃克方程的协方差关系。

赫尔曼·沃尔德于 1938 年对平稳时间序列的研究提供了更广泛的理论框架。沃尔德分解将纯非确定性的协方差平稳过程表示为正交新息的无穷移动平均。有限阶自回归与这种一般表示并不相同,但稳定的自回归确实具有这种基于新息的展开形式。这一联系解释了为什么自回归、移动平均和最优线性预测会发展成为紧密相关的研究主题。

乔治·博克斯与格威利姆·詹金斯于 1970 年出版的《时间序列分析:预测与控制》,系统整理了针对 ARIMA 模型反复进行模型识别、参数估计和诊断检验的实践方法。他们的框架将差分、自相关分析和残差检验整合为一套连贯的应用方法。赤池弘次于 1969 年提出的最终预测误差准则,以及随后关于信息准则的研究,为权衡自回归阶数与估计误差提供了形式化工具。

在信号处理中,自回归成为线性预测和参数谱估计的核心方法。语音分析就是一个突出的例子:一小段语音波形可以用激励信号驱动的全极点滤波器来近似表示。拟合得到的自回归模型分母刻画了与声道有关的共振特性。这种近似只在局部有效,因为语音会随时间变化,而且浊音的激励也不能简单视为独立高斯噪声。相关方法还应用于振动分析、地球物理学和生理信号分析。

在经济学中,自回归模型为产出增长、通货膨胀和利率等变量的预测提供了基准。克里斯托弗·西姆斯于 1980 年的研究,推动了向量自回归模型(VAR)成为研究宏观经济变量联合动态的工具,而无需施加早期大型方程组中常见的大量同期约束。后续研究进一步发展了结构向量自回归模型、贝叶斯收缩方法以及允许参数变化的模型。

这些应用面临一些共同的实际局限。采样频率会改变数据呈现出的动态特征;时间聚合可能改变模型类别;观测噪声可能引入额外的依赖关系。一个以小时为单位的过程,在取日平均后未必仍是有限阶自回归过程。因此,一个拟合良好的方程所描述的是序列在实际观测时间尺度上的表现,并不自动构成支配其背后系统的、与尺度无关的规律。

机器学习中的自回归生成模型

在当代机器学习中,“自回归”通常指一种概率分解方式,而非线性递推关系。对于有序序列 x1,…,xnx_1,\ldots,x_n,根据条件概率的链式法则,有

p(x1,…,xn)=∏t=1np(xt∣x1,…,xt−1).p(x_1,\ldots,x_n) =\prod_{t=1}^{n}p(x_t\mid x_1,\ldots,x_{t-1}).

自回归生成模型对这些条件分布进行参数化。这种分解本身是精确的;限制来自所选的条件模型、有限的上下文、参数共享以及训练过程。经典的高斯 AR(pp) 模型是其中的一个特例,其条件均值为线性形式,且仅依赖前 pp 个观测值。

对于离散序列,每个条件分布都可以是可能的下一个符号上的类别分布。神经网络模型将可用的前缀映射为分数,再通常通过 Softmax函数将这些分数转换为概率。最大似然训练通过最小化负对数概率进行:

−∑t=1nlog⁡pθ(xt∣x<t),-\sum_{t=1}^{n}\log p_\theta(x_t\mid x_{<t}),

其中,x<tx_{<t} 表示此前的序列。这一目标与交叉熵密切相关。以预测下一个词元为目标训练的大语言模型,在这一意义上就是自回归模型,尽管其条件依赖关系可能具有高度非线性,并跨越数以万计的词元。

Transformer架构通过因果注意力掩码来强制满足所需的顺序约束:用于预测某个位置的表示不能访问后续位置。然而,在训练期间,许多条件预测仍可并行计算,因为完整的训练序列是已知的,而掩码会阻止未来信息进入每一次预测。在生成阶段,常规采样则按顺序进行,每次采样得到的词元都会被添加到前缀中,用于后续预测。

训练与生成之间的这种差异会带来实际困难。训练通常以观测到的前缀为条件,而自由生成则以模型自身先前的输出为条件。因此,错误可能改变后续预测的上下文。经典的多步自回归预测也会将先前的预测结果传递下去,但神经生成模型传递的往往是完整的采样符号,而不仅仅是条件均值。对于给定的分解形式,即使生成一个长样本的计算成本很高,精确计算似然也可能相当直接。

自回归图像模型为像素或像素组规定顺序,自回归音频模型则预测连续的波形采样点或其他音频表示。2016 年提出的 PixelRNN、PixelCNN 和 WaveNet 展示了这些方法中具有重要影响的具体形式。这种顺序不必对应物理时间:对于图像而言,它是一种建模约定,决定了哪些像素可用作上下文。

这种更广义的术语用法并不意味着经典假设仍然适用。神经自回归生成器不一定具有平稳性,不一定具有有限阶线性依赖,也不一定能用尤尔–沃克方程刻画。其稳定性和长期行为需要另行分析。二者的共同点在于,都是根据自身先前的分量,按顺序构建变量或分布。