aiwiki.page
中文
数学 / 概率与统计 / link-function

连接函数

连接函数将响应变量的条件均值与线性预测子联系起来,使回归模型能够适应不同的响应分布及均值约束。

23 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
广义线性模型条件期望反函数逻辑回归实数概率分布泊松分布正态分布连接函数

连接函数是将响应变量的条件均值与广义线性模型(GLM)的线性预测子联系起来的函数。如果给定解释变量 xx 时响应的均值为 μ\mu,则模型规定 g(μ)=x⊤βg(\mu)=x^\top\beta,其中 gg 为连接函数,β\beta 为系数向量。这种构造使系数的线性组合能够描述概率、计数及其他响应的非线性变化。连接函数规定的是均值关系;它本身并不规定响应的分布。

数学定义

设 YiY_i 表示响应,xix_i 表示其解释变量向量,其中可以包含用于截距的常数项。将其条件期望写为

μi=E⁡[Yi∣xi].\mu_i=\operatorname{E}[Y_i\mid x_i].

连接函数 gg 将这一均值与线性预测子联系起来:

g(μi)=ηi,ηi=xi⊤β.g(\mu_i)=\eta_i, \qquad \eta_i=x_i^\top\beta.

这里的“线性”指的是关于系数 β\beta 呈线性。解释变量本身可以包含幂次项、交互项或其他固定变换。

连接函数通常在允许的均值空间内部是一一对应且可微的。它的反函数有时称为响应函数,用于求得均值:

μi=g−1(ηi).\mu_i=g^{-1}(\eta_i).

因此,连接函数将均值尺度映射到预测子尺度,而逆连接函数则沿相反方向进行映射。例如,在逻辑回归中,连接函数为对数几率函数,而逆连接函数为逻辑斯蒂函数。

许多连接函数将均值空间的整个内部映射到实数轴上,因此任意有限的线性预测子都能得到符合约束的均值。但并非所有连接函数都如此。有些连接函数要求对预测子或系数施加限制。

在广义线性模型中的作用

广义线性模型由三个要素组成:

  1. 响应的条件概率分布,通常来自指数离散族。
  2. 由解释变量和系数构成的线性预测子。
  3. 将该预测子与条件均值联系起来的连接函数。

这些要素各有不同的作用。分布规定观测值如何围绕其均值变化,而连接函数规定均值如何依赖于解释变量。

例如,采用泊松分布的模型,其条件方差等于条件均值。选择对数连接函数会增加以下关系:

log⁡(μi)=xi⊤β,\log(\mu_i)=x_i^\top\beta,

但取对数并不会产生泊松分布的方差假设。反过来,使用对数连接函数也不要求采用泊松分布:对于正值连续响应,同样可以使用对数连接函数,并搭配其他分布建模。

约翰·内尔德与罗伯特·韦德伯恩于1972年以统一的形式提出广义线性模型框架,将正态线性回归、逻辑回归等模型纳入共同的表述体系。

常见连接函数

连接函数 连接函数 g(μ)g(\mu) 逆连接函数 g−1(η)g^{-1}(\eta) 典型用途
恒等 μ\mu η\eta 不受约束的连续响应均值
对数 log⁡μ\log\mu eηe^\eta 正均值,包括期望计数
对数几率 log⁡ ⁣(μ/(1−μ))\log\!\left(\mu/(1-\mu)\right) 1/(1+e−η)1/(1+e^{-\eta}) 二元响应概率
概率单位(probit) Φ−1(μ)\Phi^{-1}(\mu) Φ(η)\Phi(\eta) 二元响应概率
互补对数-对数 log⁡[−log⁡(1−μ)]\log[-\log(1-\mu)] 1−exp⁡[−exp⁡(η)]1-\exp[-\exp(\eta)] 二元响应概率,包括离散时间事件模型
倒数 1/μ1/\mu 1/η1/\eta 预测子为正时的正均值

这里,Φ\Phi 是标准正态分布的累积分布函数。

恒等连接函数

恒等连接函数给出

μi=xi⊤β.\mu_i=x_i^\top\beta.

当误差服从方差恒定的正态分布时,这就得到普通线性回归。系数描述条件均值的加性变化。

恒等连接函数也可以用于其他响应分布,但可能需要施加约束。例如,泊松分布的均值必须保持为正,而不受约束的线性预测子可能为负。

对数连接函数

对数连接函数给出

μi=exp⁡(xi⊤β).\mu_i=\exp(x_i^\top\beta).

指数函数确保任意有限预测子所对应的拟合均值均为正。在其他解释变量保持不变时,如果变量 xjx_j 不涉及交互项或额外变换,那么它每增加一个单位,均值就会乘以 eβje^{\beta_j}。

在计数率模型中,可以通过偏置项纳入暴露量 ti>0t_i>0:

log⁡(μi)=log⁡(ti)+xi⊤β.\log(\mu_i)=\log(t_i)+x_i^\top\beta.

log⁡(ti)\log(t_i) 的系数固定为一。由此得到的期望发生率为 μi/ti=exp⁡(xi⊤β)\mu_i/t_i=\exp(x_i^\top\beta)。

对数几率、概率单位和互补对数-对数连接函数

对于二元响应,μ=p\mu=p 是结果被编码为一的条件概率。

对数几率连接函数对几率的对数建模:

log⁡(pi1−pi)=xi⊤β.\log\left(\frac{p_i}{1-p_i}\right)=x_i^\top\beta.

其反函数为逻辑斯蒂函数。在不含涉及 xjx_j 的交互项的模型中,eβje^{\beta_j} 是 xjx_j 每增加一个单位所对应的条件优势比。它通常并不等于概率之比。

概率单位连接函数使用标准正态分布的分位数函数。它可以用一个服从正态分布的潜变量来解释:该潜变量是否越过某个阈值,决定了二元结果。

与对数几率和概率单位连接函数不同,互补对数-对数连接函数是不对称的。当某一时间区间内的事件概率通过累积风险表示时,该连接函数便会自然出现:

p=1−exp⁡(−H),p=1-\exp(-H),

因为此时有 g(p)=log⁡Hg(p)=\log H。

对于试验次数为 nin_i、服从二项分布的计数 YiY_i,这些连接函数通常作用于成功概率 pip_i,此时 E⁡[Yi∣xi]=nipi\operatorname{E}[Y_i\mid x_i]=n_i p_i,而不是直接作用于期望计数。

典范连接函数

在一种常见参数化形式下,指数族可以写为

f(yi;θi,ϕ)=exp⁡{yiθi−b(θi)ai(ϕ)+c(yi,ϕ)}.f(y_i;\theta_i,\phi) = \exp\left\{ \frac{y_i\theta_i-b(\theta_i)}{a_i(\phi)} +c(y_i,\phi) \right\}.

这里,θi\theta_i 为自然参数,ϕ\phi 为离散参数,并且有

μi=b′(θi),Var⁡(Yi∣xi)=ai(ϕ)b′′(θi).\mu_i=b'(\theta_i), \qquad \operatorname{Var}(Y_i\mid x_i) = a_i(\phi)b''(\theta_i).

典范连接函数令线性预测子等于自然参数:

g(μi)=θi=ηi.g(\mu_i)=\theta_i=\eta_i.

因此,

g(μ)=(b′)−1(μ).g(\mu)=(b')^{-1}(\mu).

重要例子包括:

  • 对于方差已知或单独建模的正态响应,使用恒等连接函数。
  • 对于泊松响应,使用对数连接函数。
  • 对于伯努利分布响应或二项分布的成功概率,使用对数几率连接函数。

对于服从伽马分布的响应,在一种标准的指数离散族参数化形式中,自然参数为 −1/μ-1/\mu。因此,在该参数化形式下,严格意义上的典范连接函数为负倒数函数。由于符号可以吸收到回归系数中,正倒数连接函数也常被称为典范的倒数连接函数;具体说法取决于参数化形式。

典范连接函数可以简化似然函数的导数和估计方程。但它们不一定是所有应用中最合适的连接函数。可解释性、均值约束以及数据所支持的关系同样重要。

估计与计算

连接函数通过均值对系数的依赖关系进入最大似然估计。如果

Var⁡(Yi∣xi)=ϕV(μi),\operatorname{Var}(Y_i\mid x_i)=\phi V(\mu_i),

那么,对于条件独立且具有共同离散参数的观测,系数的得分函数为

U(β)=∑iyi−μiϕV(μi)dμidηixi.U(\beta) = \sum_i \frac{y_i-\mu_i}{\phi V(\mu_i)} \frac{d\mu_i}{d\eta_i} x_i.

因子 dμi/dηid\mu_i/d\eta_i 由逆连接函数决定。

广义线性模型通常使用迭代重加权最小二乘法拟合。在每次迭代中,构造工作响应:

zi=ηi+(yi−μi)dηidμi,z_i = \eta_i+(y_i-\mu_i)\frac{d\eta_i}{d\mu_i},

其权重为

wi=1ϕV(μi)(dηi/dμi)2.w_i = \frac{1}{ \phi V(\mu_i) \left(d\eta_i/d\mu_i\right)^2 }.

随后,通过加权最小二乘更新得到新的系数。如果各观测具有不同的离散参数或先验权重,则需要相应修改这些表达式。

连接函数的选择会影响工作权重、参数约束和数值稳定性。典范连接函数可以简化计算,但不能保证有限的最大似然估计一定存在。

不同尺度上的解释

系数描述的是连接函数尺度上的变化,不一定对应响应均值的恒定变化。对于以线性形式进入模型且不涉及交互项的预测变量,

∂μ∂xj=dg−1(η)dηβj.\frac{\partial\mu}{\partial x_j} = \frac{d g^{-1}(\eta)}{d\eta}\beta_j.

对于对数几率连接函数,上式变为

∂p∂xj=p(1−p)βj.\frac{\partial p}{\partial x_j} = p(1-p)\beta_j.

因此,概率的变化取决于当前概率,并通过当前概率依赖于解释变量的取值。

由于逆连接函数是非线性的,对预测值取平均通常不同于先对预测子取平均再应用逆连接函数:

E⁡[g−1(η)]≠g−1(E⁡[η]).\operatorname{E}[g^{-1}(\eta)] \ne g^{-1}(\operatorname{E}[\eta]).

在将条件预测转换为总体平均值,或对随机效应进行积分时,这一区别十分重要。

均值的置信区间通常可以先在预测子尺度上构造,再通过逆连接函数进行变换。如果逆连接函数是单调的,则相应地变换区间端点;若逆连接函数单调递减,还需对调端点的顺序。

与变换响应变量的区别

对条件均值应用连接函数,不等于对每一个响应观测值进行变换。对数连接模型规定

log⁡ ⁣(E⁡[Y∣x])=x⊤β,\log\!\left(\operatorname{E}[Y\mid x]\right)=x^\top\beta,

而对取对数后的响应进行回归,则可能规定

E⁡[log⁡Y∣x]=x⊤β.\operatorname{E}[\log Y\mid x]=x^\top\beta.

这是两种不同的假设,因为取对数和求期望这两种运算通常不能交换次序。使用对数连接函数的泊松模型可以处理观测值为零的情况;直接对每个观测值取对数则不能做到这一点。

同样,连接函数也不会使响应服从正态分布。它变换的是均值关系,而响应仍保留模型所规定的分布。

选择与局限

连接函数必须与允许的均值空间相容。对数几率和概率单位的逆连接函数会自动产生介于零和一之间的概率;对数连接函数的反函数会产生正均值。若对概率使用恒等连接函数,或对正值响应使用倒数连接函数,则需要额外的约束。

不同连接函数在观测到的预测子取值范围内可能具有相近的拟合效果,但在接近边界或进行外推时可能产生显著差异。它们的系数也具有不同的尺度和解释,因此不同连接函数下的系数数值大小不能直接比较。

合适的连接函数无法纠正不恰当的方差模型、观测之间的依赖关系或遗漏的预测变量。过度离散和相关性需要单独处理。模型比较可以采用基于似然的指标、残差诊断或交叉验证,并在与应用相关的响应尺度上评估预测性能。

最后,连接函数描述的是统计意义上的均值关系。其系数不会仅仅因为选择了某种连接函数就具有因果解释;因果解释还需要对研究设计和数据生成过程作出额外假设。