泊松回归是一种用于研究非负计数与解释变量之间关系的统计方法。在其标准形式中,给定预测变量后,响应变量服从泊松分布,其期望值的对数是这些预测变量的线性组合。泊松回归是广义线性模型的典型代表,将回归分析扩展到道路交叉口的事故次数、一个生产班次内产生的次品数量,或指定时间段内观测到的事件次数等结果。
当各观测对应的时间、人口、距离或其他暴露量不同时,这种方法尤其有用。将暴露量直接纳入模型,可以比较事件发生率,而不只是原始计数。泊松回归的系数描述的是期望计数或发生率的倍数变化,而线性回归通常描述的是加性变化。
从更广泛的角度看,泊松回归也可视为对数线性条件均值模型的一种估计方法。在适当条件下,即使响应变量不服从泊松分布,其系数估计量仍具有一致性。完整概率模型与条件均值模型之间的这一区别,是泊松回归在流行病学、计量经济学、人口学、保险及其他领域中应用的重要基础,也为稳健推断和其他计数模型的发展提供了依据。
概率模型与数学结构
设 表示第 个观测的响应变量, 包含该观测的解释变量,通常还包括一个用于表示截距的常数项。标准泊松回归规定:
其中, 是未知系数组成的向量,且
指数函数保证了只要线性预测子的值有限,拟合均值就为正。不过,实际观测到的响应值可以为零。该模型描述的是条件均值的对数,而非每个观测响应值的对数。
条件概率质量函数为
这一分布的一个标志性性质是条件等离散性,即条件方差等于条件均值:
这一等式比仅对均值作出规定施加了更强的约束。它决定了模型的条件不确定性,以及各个计数值所对应的概率。例如,对于均值为 2 的观测,其方差也为 2,而事件发生次数为零的概率为 ,约为 0.1353。
对数是泊松广义线性模型的典范连接函数。令 ,则对数概率可写为
其中依赖于参数的部分形式十分简单,因此便于计算似然函数的导数,也有利于采用稳定的优化方法。泊松响应分布也可以搭配其他连接函数,但使用恒等连接或平方根连接时,需要格外谨慎,以避免产生无效的负拟合均值。未加限定地提及泊松回归时,通常指的就是采用对数连接函数的模型。
不应将条件等离散性与整个样本的均值和方差相等混为一谈。根据全方差公式,
即使条件泊松模型设定正确,只要不同预测变量取值下的期望计数有所不同,第二项就会使边际方差大于边际均值。因此,异质总体即使在整体上表现出相当大的离散程度,也不一定违背条件模型。
标准的似然计算通常还假定各观测在给定条件下相互独立。每个观测的边际分布均为泊松分布,并不能说明观测之间相互独立。重复测量、共同环境或空间上的邻近关系都可能造成依赖性,需要另行建模。
系数、暴露量与率的比较
对数连接函数使回归系数具有乘法效应的解释。对于不涉及交互作用或非线性变换的预测变量 ,有
因此,在其他预测变量保持不变时, 表示 每增加一个单位时的期望计数与增加前的期望计数之比。系数为 0.2 时,对应的比值约为 1.221,即增加 22.1%。表达式 只是系数较小时对精确百分比变化 的近似。
对于二元预测变量,将其系数取指数,得到的是编码为 1 的类别与编码为 0 的参照类别之间的期望计数之比。对于变化量为 的连续预测变量,相应的比值为 。在原始计数尺度上的变化取决于基准均值:
因此,恒定的乘法效应会在期望计数本已较高的情况下产生更大的计数绝对差异。
当各观测的暴露量 不同时,通常采用以下模型:
这里, 是单位暴露量对应的预期发生率。 这一项是偏置项:其系数固定为 1,而不是通过估计得到。暴露量的例子包括人群研究中的人年、交通分析中的车辆行驶公里数,以及设备可靠性研究中的运行小时数。如果模型给出的预期发生率为每单位暴露量 0.004 次事件,那么暴露量为 500 和 2,000 个单位时,对应的期望计数分别为 2 和 8。
偏置项体现了一项实质性假设:在给定其他变量的条件下,期望计数与暴露量成正比。它并非仅仅用于校正一个无关紧要的测量值。如果暴露量翻倍并不能合理地推断期望计数也翻倍,就可能需要估计暴露量的效应,或采用更细致的模型。暴露量为零通常意味着计数在结构上必然为零,不能不加单独处理就将其代入对数偏置项。
统计交互作用会改变上述解释。在包含 的模型中, 增加一个单位所对应的期望计数之比为 。此时,不存在一个能描述 在所有 取值下效应的统一比值。
率比并不天然代表因果效应。暴露量测量上的差异、混杂、选择因素或遗漏的预测变量,都可能解释观察到的关联。要作出因果解释,除了泊松回归方程本身,还需要恰当的研究设计和识别假设。
似然估计与计算方法
对于条件独立的观测,最大似然估计通过最大化以下对数似然函数来估计参数:
加入偏置项 后,线性预测子变为 。得分方程仍保持相同的形式:
其中, 为设计矩阵。一般而言,这些非线性方程没有闭式解。不过,在不含暴露量、仅含截距项的模型中,拟合均值等于样本均值。若包含暴露量且仅有截距项,则率的估计值为 。
对数似然函数的海森矩阵为
对数似然函数是凹函数,因此,当内部最大值存在且设计矩阵满列秩时,该最大值是唯一的。但凹性并不保证存在有限的最大值。例如,若所有响应值都为零,则随着截距趋于负无穷,似然会不断增大。当预测变量的取值模式能够完全区分零响应与正响应时,也可能出现类似的边界行为。
牛顿法(牛顿–拉夫森法)的更新公式为
对于采用典范连接函数的泊松模型,观测信息矩阵与期望信息矩阵相同,因此牛顿–拉夫森法与费舍尔评分法完全一致。在实际计算中,通常通过求解线性方程组来完成更新,而不是显式计算矩阵的逆。
同样的更新也可以用迭代重加权最小二乘法来表示。在每次迭代中,算法构造工作响应值
并求解以 为权重的加权最小二乘问题。若模型中包含偏置项,则在更新系数时,要从工作响应值中减去固定的偏置项。迭代持续进行,直到似然的变化、系数的变化或得分的大小满足收敛准则。
预测变量近似线性相关、线性预测子过大或某些类别的观测稀少,都可能导致数值计算困难。指数运算可能溢出,而近乎奇异的加权设计矩阵则可能导致更新不稳定。对连续预测变量进行尺度调整、采用稳定的矩阵分解方法以及控制迭代步长,可以分别应对不同的计算问题,但无法解决模型本身不可识别的问题。
正则化会改变优化准则,例如加入系数的二次惩罚项或绝对值惩罚项。这些惩罚项可以提高高维估计的稳定性,并实现系数收缩或变量选择。它们也会改变估计量及其推断解释:针对无惩罚的内部最大值所推导出的不确定性公式,并不能直接适用。
统计推断与条件均值解释
在独立泊松模型设定正确且满足标准大样本条件时,估计的系数向量近似服从多元正态分布。其基于模型的估计协方差矩阵为
对角线元素为标准误的平方。系数的大样本 95% 置信区间近似为 。对区间两端取指数,即可得到相应计数比或率比的区间。
Wald 检验、得分检验和似然比检验提供了几种相互关联的统计假设检验方法。似然比统计量比较嵌套模型各自最大化后的对数似然值:
在适当的正则条件下,该统计量渐近服从卡方分布,其自由度等于约束条件的个数。样本量小、系数识别较弱、参数位于边界以及数据稀疏等情况,都可能使这些近似不准确。
得分方程本身提供了更广泛的理论依据。如果真实条件均值满足
那么
因此,即使条件分布并非泊松分布,求解泊松得分方程仍可得到 的相合估计量。这种用法通常称为泊松伪极大似然法或泊松准极大似然法。
均值设定正确,并不意味着通常的泊松标准误就有效。对于独立观测,三明治协方差估计量的形式为
其中
在满足适当的矩条件和渐近条件时,该估计量允许条件方差与条件均值不同。如果观测之间存在依赖关系,则还需进一步调整,例如用各聚类内的得分之和来构造中间矩阵。
这种区别对预测十分重要。均值设定正确的模型可以估计预期结果,却可能为零值、大计数或未来观测赋予错误的概率。稳健标准误既不能纠正分布预测,也不能修正错误的条件均值。同样,如果仅将泊松似然用作准似然,那么按真实泊松似然标定的似然比检验并不自动具有理论上的正当性。
稳健泊松方法也被用于二元结局,以估计风险比。在这种情况下,响应变量的方差是伯努利方差,而非泊松方差,且拟合均值并不会自动被限制在 1 以下。因此,采用这种估计方法,并不等于声称二元响应实际上服从泊松分布。
模型评估、残差与预测
评估泊松回归时,需要分别考察其均值结构、条件方差、依赖性假设和预测分布。一个模型可能很好地预测平均计数,却低估极端观测值出现的可能性或不确定性。反过来,表面上的变异过大,也可能是因为均值模型遗漏了重要的预测变量、非线性关系或交互作用,而不一定意味着必须采用另一种计数分布。
皮尔逊残差利用泊松方差对偏差进行标准化:
皮尔逊统计量 除以残差自由度 ,常被用作粗略诊断离散程度的指标,其中 为估计系数的个数。该比值明显大于 1 时,可能表明变异过大。在计数稀疏、杠杆值高、拟合参数较多或均值模型设定错误的情况下,这一指标的解释较为复杂,因此它并不是检验泊松假设的通用方法。
泊松偏差将拟合模型与饱和模型进行比较;饱和模型为每个观测值分别指定一个拟合均值:
其中, 定义为零。对各个观测值的偏差贡献取平方根,再赋予与原始残差相同的正负号,即得到偏差残差。偏差残差通常比原始残差更对称,但其分布仍是离散的,而且在均值较小时,未必近似正态分布。
分别以拟合值、暴露量、预测变量、时间和位置为横轴绘制残差图,可以揭示不同类型的模型问题。曲线趋势可能说明函数形式不恰当;残差的散布范围逐渐增大,可能说明方差存在问题;序列性模式则可能表明存在依赖性。影响力异常大的观测值通常既有较大的拟合偏离,也有较高的杠杆值,因此,仅凭原始计数很大,并不能断定某个观测值主导了模型拟合。
预测检验将实际观测到的特征与拟合模型生成的特征进行比较。相关特征包括零值的数量、分布的上尾、各组总计数,以及预测变量各分层内的变异。在泊松模型下,
因此,数据集中零值的期望数量为 ,一般并不等于 。判断零值是否异常频繁时,必须考虑拟合均值之间的差异。
的置信区间描述的是期望计数的不确定性。未来响应值的预测区间还包含响应本身固有的计数变异,因此通常更宽。存在过度离散时,仅依据拟合泊松分布构造的预测区间可能过窄。
交叉验证可以采用留出数据的对数概率、泊松偏差或预测误差平方等准则,比较模型的预测性能。数据划分方式必须与预测任务相匹配:如果实际应用旨在预测新受试者或未来时段,将同一受试者或相邻时段的观测值随机分配到训练集和验证集中,可能会高估预测性能。
过度离散、异质性与观测值间的依赖
过度离散是指条件变异程度超过参照分布所允许的水平。在泊松回归中,这通常意味着
可能的来源包括事件发生倾向上未被观测到的差异、聚集效应、传染效应、遗漏的预测变量、测量误差,以及不同过程的混合。也会出现方差小于均值的欠离散现象,尤其是在事件受到约束或抑制时。仅将未经调整的样本方差与未经调整的样本均值进行比较,无法恰当地描述这两种现象。
准泊松模型假定
当各观测值具有共同的离散参数 时,系数估计通常与采用相同均值结构的泊松回归一致,而基于模型的标准误则乘以 。准泊松分析规定的是均值与方差之间的关系,而非完整的概率分布。因此,它既不直接给出各个计数值的概率,也不直接提供通常基于完整似然的信息准则。
负二项回归提供了一种完整的替代分布。一种常见的构造方式是引入未观测的乘性因子 :
其中, 服从伽马分布,均值为 1,方差为 。对这一异质性因素积分后,得到
这一二次方差函数不同于准泊松模型的线性方差函数。负二项估计通常不仅会改变标准误,也会改变系数估计,因为其得分方程赋予各观测值的权重不同。
依赖性是另一个独立的问题。即使已纳入观测到的预测变量,对同一个人、同一家医院、同一家企业或同一地理区域进行的重复观测之间仍可能存在相关性。当各聚类相互独立且数量足够多时,聚类稳健标准误可以在大样本推断中处理聚类内的依赖性。但它并不显式地对相关结构建模,也不会改善单个结果变量的分布拟合。
广义估计方程规定边际均值和一个工作性的聚类内相关结构。泊松混合模型则引入随机效应,例如
当 服从正态分布时,所得的边际计数分布是泊松–对数正态混合分布。条件性的、个体特异的系数,其解释不一定与边际性的、总体平均的系数相同。
在时间序列和空间数据中,残差依赖可能持续存在于许多观测值之间,而不只是局限于若干彼此独立的简单聚类内部。模型可以采用滞后协变量、随时间演变的潜在效应,或具有特定结构的空间分量。相关的模型选择既涉及期望计数,也涉及不确定性如何在观测值之间传递;仅改变边际分布并不一定能解决依赖性问题。
过多零值、截断与观测机制
零值数量多,本身并不能证明泊松回归不适用。较小的拟合均值自然意味着较高的零值概率;即使每个条件分布都是泊松分布,将均值不同的观测混合在一起,也可能产生大量零值。真正需要比较的是实际观测到的零值数量与考虑协变量和暴露量后预测的零值数量。
零膨胀泊松模型引入了两种潜在状态。观测以概率 处于必然产生零值的状态;以概率 服从均值为 的泊松分布:
其无条件均值为 ,而不是 。预测变量可以同时进入零状态概率部分和计数部分。因此,计数部分的系数描述的是泊松状态下的均值,而不一定是总体观测均值。
跨栏模型将事件是否发生与出现正计数后的事件数量分开建模。若 ,则泊松跨栏模型满足
与零膨胀模型不同,其正计数部分不可能产生零值。跨栏模型可以描述这样一类过程:启动某项活动的机制与决定其后续强度的机制不同。这种区分体现了对数据生成过程的建模,而不仅仅是针对观测零值数量所作的技术性调整。
截断涉及哪些观测能够进入数据集。在零截断样本中,事件数为零的观测完全不在样本内。因此,观测到某个正计数的概率必须除以 。例如,仅对至少使用过一次某项服务的人进行抽样,就会出现这种情况。对这类数据拟合普通泊松模型,会忽略样本选择规则,通常会使对原始总体的推断产生偏差。
删失则不同:观测仍然存在,但其确切计数只得到部分确认。如果计数报告为“10 次或以上”,该类别对似然的贡献应为 ,而不是 。取整、报告阈值和漏检同样会影响观测模型。
此外,还存在根本性的可识别性限制。如果每个事件都以概率 被独立检出,那么均值为 的泊松计数会转化为均值为 的另一泊松计数。在没有额外检出信息的情况下,仅凭记录的计数,通常无法区分真实事件发生率较低,还是发生率较高但观测不完全。这类问题无法仅靠增加一个零膨胀部分来解决。
历史发展与主要应用
泊松回归的数学基础是泊松分布,由西莫恩-德尼·泊松于1837年在其概率论研究中提出。此后,计数回归模型将这一分布与期望频数的系统性变化联系起来。约翰·内尔德和罗伯特·韦德伯恩于1972年提出广义线性模型,将泊松回归与正态线性模型、二项回归纳入共同框架,统一了分布假设、连接函数和迭代估计方法。
在人口研究中,事件计数天然与暴露量相对应,因此泊松对数线性模型尤为实用。在人口学中,可以按年龄、性别和日历时期分组,对出生或死亡人数建模,并将相应人口暴露量的对数作为偏置项。在流行病学的发生率分析中,人时起着相同作用。这类模型能够区分:事件数量较多,究竟是由于暴露量较大,还是由于潜在的事件发生率较高。
泊松回归与事件时间的分段指数模型密切相关。如果风险率在指定的各个区间内保持恒定,就可以将事件时间数据重新整理为各区间的事件计数和风险暴露时间。由此得到的似然,其依赖参数的部分与以时间对数为偏置项的泊松似然具有相同形式。借助这一联系,只要区间划分和风险暴露量处理正确,就可以通过计数模型的设计来表示随时间变化的基线风险率和协变量。
在列联表分析中,泊松对数线性模型通过分类因子的组合来表示单元格的期望频数。交互作用刻画表中各维度之间对不同形式的统计独立性的偏离。在适当的抽样设计和条件化处理下,这些模型与多项分布分析及逻辑回归相联系。此时,它们的用途是通过单元格的期望计数来描述分类变量之间的关系,而不是对随时间观测到的计数建模。
计量经济学应用侧重于条件均值解释。克里斯蒂安·古里耶鲁、阿兰·蒙福尔和阿兰·特罗尼翁于1984年发表的论文发展了伪极大似然估计理论。2006年,若昂·桑托斯·席尔瓦和西尔瓦娜·滕雷罗展示了泊松伪极大似然法对乘法形式贸易模型的重要性。在指定指数形式的条件均值后,即使非负贸易额并非整数计数,也可以应用这种方法。
这一应用避免了在取对数前用任意正数常量替代零值结果。它还解决了另一个独立的问题:在存在异方差时,对 进行回归通常无法得到 的参数。泊松伪极大似然法直接估计后者所描述的均值关系,但仍要求均值设定正确,并采用适当的统计推断方法。
其他用途包括保险索赔频数、制造缺陷数量、生态种群丰度和交通事故数量等。在每一种应用中,统计模型的设定都取决于观测单位如何定义、暴露量如何衡量、事件是否成簇发生,以及能否观测到零计数。例如,保险索赔计数可以将保单期限用作暴露量;而生态计数可能需要额外的探测模型,因为记录到的数量可能与实际存在的数量有系统性差异。