aiwiki.page
中文
数学 / 概率与统计 / offset-statistics

偏置项(统计学)

偏置项是加入统计模型线性预测子中的已知项,其系数固定,通常为一。

14 个关键词1 个词条链接到这里AI 撰写
统计学广义线性模型条件期望估计量的偏差泊松分布自然对数方差统计假设检验偏置项(统…

在统计学中,偏置项是加入模型线性预测子中的已知项,其系数固定为一,而不是根据数据估计。偏置项在广义线性模型中尤为常见,用于将预先确定的贡献纳入响应变量的建模。一个典型例子是计数模型中观测时长的对数:它使不同观测时长下收集的计数可以通过潜在的事件发生率进行比较。不同观测的偏置项可以不同;“固定”指的是其系数固定,且偏置项被视为给定量,而不是要求其取值保持不变。

数学定义

对于广义线性模型,设 YiY_i 为第 ii 个观测的响应变量,其条件期望为

μi=E⁡(Yi∣xi,oi).\mu_i=\operatorname{E}(Y_i\mid \mathbf{x}_i,o_i).

含有偏置项的模型具有如下形式:

g(μi)=ηi=oi+β0+∑j=1pxijβj,g(\mu_i)=\eta_i =o_i+\beta_0+\sum_{j=1}^{p}x_{ij}\beta_j,

其中:

  • gg 为连接函数;
  • ηi\eta_i 为线性预测子;
  • oio_i 为给定的偏置项;
  • β0\beta_0 为需要估计的截距;
  • xijx_{ij} 为解释变量,其系数 βj\beta_j 需要估计。

偏置项以相加的方式进入连接函数尺度,这一尺度不一定与响应变量的尺度相同。使用恒等连接函数时,加入偏置项会使条件均值增加相同的量。使用对数连接函数时,在变换回响应变量尺度后,偏置项对条件均值产生乘法效应。

更一般地,对于系数 cc 预先确定的已知贡献 czic z_i,可以定义 oi=czio_i=c z_i,将其纳入模型。多个已知贡献也可以合并为一个偏置项。

偏置项、截距与普通预测变量

偏置项与普通解释变量的区别在于,偏置项的系数不通过拟合得到。将 ziz_i 作为普通预测变量纳入模型,可得

g(μi)=β0+γzi+⋯ ,g(\mu_i)=\beta_0+\gamma z_i+\cdots,

其中 γ\gamma 由数据确定。若改为将其作为偏置项纳入模型,则相当于施加约束 γ=1\gamma=1。

截距也与偏置项不同:截距是所有观测共有的、需要估计的常数。偏置项则可以因观测而异,并由系数估计过程的外部提供。

如果偏置项为常数,即 oi=co_i=c,且模型包含不受约束的截距,那么可以将其吸收到重新定义的截距 β0∗=β0+c\beta_0^{*}=\beta_0+c 中。在这种情况下,加入常数偏置项不会改变模型可能产生的拟合均值集合。各观测特有的偏置项通常无法用这种方式吸收。

这一术语也不同于估计量的偏差,后者指估计量的期望值与被估计量之间的差。偏置项是模型的一个组成部分,并不意味着估计量存在偏差。

计数模型中的暴露量

偏置项最常见的用途,是在不同观测具有不同暴露量时对事件计数建模,例如观测时间、行驶距离或调查面积不同的情况。

假设 YiY_i 服从均值为 μi\mu_i 的泊松分布。设 ti>0t_i>0 表示暴露量,λi\lambda_i 表示单位暴露量下的期望计数。如果

μi=tiλi\mu_i=t_i\lambda_i

且事件发生率满足

log⁡λi=β0+∑j=1pxijβj,\log\lambda_i=\beta_0+\sum_{j=1}^{p}x_{ij}\beta_j,

则

log⁡μi=log⁡ti+β0+∑j=1pxijβj.\log\mu_i =\log t_i+\beta_0+\sum_{j=1}^{p}x_{ij}\beta_j.

因此,暴露量的自然对数就是偏置项。其固定系数表达了一个实质性假设:在解释变量保持不变时,期望计数与暴露量成正比。暴露量加倍,期望计数也随之加倍。

例如,两台完全相同的机器分别接受了100个和200个运行小时的观测,在该模型下,其期望事件计数之比为一比二。不过,两者拟合得到的事件发生率仍然相同。

同样的均值结构也可以用于泊松分布以外的计数分布。偏置项规定了暴露量如何影响均值,但其本身并不决定响应变量的分布或方差。

检验与暴露量的正比关系

将 log⁡ti\log t_i 作为偏置项,是预先施加正比关系,而不是检验这种关系。另一种模型为

log⁡μi=β0+γlog⁡ti+∑j=1pxijβj.\log\mu_i =\beta_0+\gamma\log t_i+\sum_{j=1}^{p}x_{ij}\beta_j.

在这里,γ\gamma 需要估计。暴露量成比例模型对应于约束 γ=1\gamma=1;当模型和数据支持此类分析时,可以通过统计假设检验考察这一约束。

暴露量必须为正,其对数才是有限值。对于暴露量为零的观测,不能直接将零代入这一偏置项。

其他用途

已知的基准期望值

假设 Ei>0E_i>0 是由外部给定的期望计数。形如

log⁡μi=log⁡Ei+β0+xiTβ\log\mu_i=\log E_i+\beta_0+\mathbf{x}_i^{\mathsf T}\boldsymbol{\beta}

的模型,实际上是在对条件均值与该基准的比值建模:

μiEi=exp⁡ ⁣(β0+xiTβ).\frac{\mu_i}{E_i} =\exp\!\left(\beta_0+\mathbf{x}_i^{\mathsf T}\boldsymbol{\beta}\right).

这种形式见于根据参考发生率构建期望计数的应用。此时,模型估计的是相对于给定基准的偏离程度。

更新基准预测

在逻辑回归中,可以通过已有基准概率 p0ip_{0i} 的对数几率将其纳入模型,其中 0<p0i<10<p_{0i}<1:

logit⁡(pi)=logit⁡(p0i)+α+xiTβ.\operatorname{logit}(p_i) =\operatorname{logit}(p_{0i})+\alpha+\mathbf{x}_i^{\mathsf T}\boldsymbol{\beta}.

基准对数几率在这里充当偏置项。如果仅加入额外的截距 α\alpha,模型就会对所有基准几率施加相同的乘法调整。若改为估计基准对数几率的系数,则允许采用另一种更新方式,此时该项也就不再被视为偏置项。

已知的加性贡献

在使用恒等连接函数的线性回归中,

Yi=oi+β0+xiTβ+εi.Y_i=o_i+\beta_0+\mathbf{x}_i^{\mathsf T}\boldsymbol{\beta}+\varepsilon_i.

使用普通最小二乘法拟合该模型,等价于以 Yi−oiY_i-o_i 为响应变量,对包含截距项的解释变量进行回归。对于非线性连接函数,这种从响应变量中减去偏置项的等价关系通常不成立。

估计与解释

在最大似然估计中,偏置项进入拟合均值,因而会影响似然函数。尽管偏置项本身没有需要估计的系数,它仍可能改变其他系数的估计值及其标准误。

由于系数固定,偏置项不会增加需要估计的回归参数。不过,对新观测进行预测时,仍然需要相应的偏置项取值。在暴露量模型中,预测指定观测时段内的计数,与预测单位暴露量下的发生率并不相同。

偏置项也不是观测权重。偏置项通过线性预测子改变模型中的均值;权重则会改变某个观测对拟合准则的贡献,或表示其抽样或方差结构的某些特征,具体取决于模型。

假设与局限

使用偏置项意味着将模型结构的一部分固定下来。其有效性取决于所施加的贡献是否恰当。例如,对数暴露量偏置项假设,在考虑其他预测变量后,期望计数与暴露量成正比。

拟合时通常将偏置项视为已知量。如果给定的基准或暴露量存在较大的测量误差,或是根据其他数据估计得到的,那么以该偏置项为给定条件的常规不确定性计算,不一定能反映这部分额外的不确定性。此时可能需要进行显式建模,或采用适当的不确定性传播方法。

最后,改变暴露量的单位会同时改变偏置项和截距的解释。将观测时间从小时换算为天,会使对数暴露量偏置项增加一个常数;如果截距可以自由估计,截距就会相应调整,而拟合计数保持不变。