aiwiki.page
中文
数学 / 概率与统计 / mixture-model

混合模型

混合模型将概率分布表示为多个分量分布的加权组合,用于描述潜在异质性,并支持密度估计与聚类分析。

50 个关键词1 个词条链接到这里4 个尚未撰写AI 撰写
概率分布统计学机器学习密度估计聚类分析概率密度函数概率质量函数凸组合混合模型

混合模型是一种统计模型,将一个概率分布表示为其他分布的加权组合,其中这些分布称为分量。各权重均非负,且总和为一。混合模型既可以描述包含未观测到的子总体的总体,例如由不同机器生产的制成品,也可以灵活地近似某个分布,而不意味着各分量对应于现实中不同的群体。

混合模型在统计学和机器学习中占据核心地位,因为它们将可观测的变异与未观测到的结构联系起来。它们可用于密度估计、聚类分析、分类、回归以及异质总体分析。其看似简单的形式背后隐藏着一些棘手的问题:不同的分量描述可能产生相同的分布,似然函数可能出现病态极大值,而一组拟合良好的分量也未必能揭示真实存在的潜在类别。

数学结构与潜变量

对于包含 KK 个成分的有限混合模型,观测值 XX 的分布可以写为

P(X∈A)=∑k=1KπkPk(A),πk≥0,∑k=1Kπk=1.P(X\in A)=\sum_{k=1}^{K}\pi_k P_k(A), \qquad \pi_k\geq 0,\qquad \sum_{k=1}^{K}\pi_k=1.

其中,PkP_k 是第 kk 个成分的概率分布,πk\pi_k 是其混合权重。如果每个成分相对于同一个参考测度都具有概率密度函数,则混合分布的密度为

p(x∣Θ)=∑k=1Kπkf(x∣θk),p(x\mid\Theta)=\sum_{k=1}^{K}\pi_k f(x\mid\theta_k),

其中,Θ\Theta 表示全部权重和成分参数。当这些函数为概率质量函数时,同一表达式也适用于离散数据。从数学上说,这是多个分布的凸组合,而不是观测值的加权和。

一种有用的生成式解释是引入一个未观测到的、即潜在的类别变量 ZZ。首先,以概率 πk\pi_k 选择 Z=kZ=k;然后,从第 kk 个成分生成 XX。其联合概率分布为

p(x,Z=k)=πkf(x∣θk).p(x,Z=k)=\pi_k f(x\mid\theta_k).

对 ZZ 求和,就得到观测数据的混合分布。因此,混合通常并不意味着每个观测值都包含来自所有成分的数值贡献。每个观测值都是在给定某一个成分的条件下生成的,不过即使已经看到观测值,它来自哪个成分仍可能存在不确定性。

根据贝叶斯定理,观测值属于某个成分的后验概率为

P(Z=k∣X=x,Θ)=πkf(x∣θk)∑j=1Kπjf(x∣θj).P(Z=k\mid X=x,\Theta) = \frac{\pi_k f(x\mid\theta_k)} {\sum_{j=1}^{K}\pi_j f(x\mid\theta_j)}.

这些概率通常称为责任度。它们给出软分配:一个观测值可能以不可忽略的概率属于多个成分。将其分配给责任度最大的成分,就得到硬分类,但这会丢失有关成分重叠的信息。

混合分布的矩可以区分成分内部的变异与成分之间的变异。如果第 kk 个成分的均值为 μk\mu_k,方差为 σk2\sigma_k^2,则

μ=E[X]=∑kπkμk,\mu=E[X]=\sum_k\pi_k\mu_k,

并且

Var⁡(X)=∑kπkσk2+∑kπk(μk−μ)2.\operatorname{Var}(X) = \sum_k\pi_k\sigma_k^2 + \sum_k\pi_k(\mu_k-\mu)^2.

第一项是成分内部方差的加权平均;第二项衡量各成分均值的离散程度。对于向量观测值,相应的协方差矩阵为

Cov⁡(X)=∑kπk[Σk+(μk−μ)(μk−μ)T].\operatorname{Cov}(X)= \sum_k\pi_k\left[ \Sigma_k+(\mu_k-\mu)(\mu_k-\mu)^\mathsf{T} \right].

因此,即使每个成分各自都很集中,异质性仍可能增大总体变异。由单峰成分构成的混合分布既可能是单峰的,也可能是多峰的:成分数量与可见峰的数量是不同的性质。

成分分布族与连续混合

最广为人知的有限混合模型是高斯混合模型,其各个成分服从正态分布。在 dd 维空间中,

p(x)=∑k=1Kπkexp⁡ ⁣[−12(x−μk)TΣk−1(x−μk)](2π)d/2∣Σk∣1/2.p(x)=\sum_{k=1}^{K}\pi_k \frac{\exp\!\left[-\tfrac12(x-\mu_k)^\mathsf{T} \Sigma_k^{-1}(x-\mu_k)\right]} {(2\pi)^{d/2}|\Sigma_k|^{1/2}}.

每个协方差矩阵决定相应成分的离散程度、方向和相关结构。各成分采用相同的球形协方差矩阵时,倾向于形成近似球状的群组;对角协方差矩阵允许各坐标方向具有不同的离散程度,但排除了成分内部的相关性;不受约束的协方差矩阵则可描述具有不同朝向的椭球。这些选择会显著影响模型在统计上的灵活性和计算成本。

离散混合模型用于描述具有异质性的计数和类别结果。泊松混合模型允许不同观测具有不同的潜在事件发生率。若

X∣Λ∼Poisson⁡(Λ),X\mid\Lambda\sim\operatorname{Poisson}(\Lambda),

则

E[X]=E[Λ],Var⁡(X)=E[Λ]+Var⁡(Λ).E[X]=E[\Lambda],\qquad \operatorname{Var}(X)=E[\Lambda]+\operatorname{Var}(\Lambda).

与单一的泊松分布不同,这类模型的方差可以大于均值。若发生率服从伽马分布,混合后便得到负二项分布。类别分布乘积的混合用于潜在类别分析,其中通常假定,在给定潜在类别的条件下,各观测响应相互独立。这一条件独立假设比仅仅允许存在多种响应模式更强。

混合模型可以包含性质截然不同的成分。零膨胀计数分布将零点处的点质量与普通计数分布结合起来:

P(X=0)=ω+(1−ω)g(0),P(X=x)=(1−ω)g(x),x>0.P(X=0)=\omega+(1-\omega)g(0),\qquad P(X=x)=(1-\omega)g(x),\quad x>0.

因此,零值可能来自任一成分。门槛模型则将零值与经过截断、排除零值的正值分布分开处理。这些构造可能产生相似的观测频数,却表达了不同的生成机制。由于点质量和连续分布并非都具有相对于通常长度测度的密度,因此在概率测度层面定义二者的组合最为清晰。

更一般地,可以用混合分布 GG 取代有限个权重:

p(x)=∫f(x∣θ) dG(θ).p(x)=\int f(x\mid\theta)\,dG(\theta).

当 GG 在每个 θk\theta_k 处赋予概率质量 πk\pi_k 时,就得到有限混合模型。连续混合可以产生许多常见的分布。例如,若正态分布的精度是一个服从适当伽马分布的随机变量,混合后便得到学生t分布。在层次建模中,将随机效应积分消去,同样是一种混合运算。

混合必须与卷积区分开来。卷积描述的是独立随机变量之和的分布,而混合描述的是在多个分布之间进行选择。同样,正态分布的混合一般不再是正态分布,而独立正态随机变量之和仍服从正态分布。只要物理解释涉及在不同生成来源之间进行选择,或涉及变异来源的相加,这一区别就十分重要。

可识别性与成分的含义

可识别性关注的是:不同的参数值能否产生相同的可观测分布。有限混合模型具有一种不可避免的对称性:置换成分标签不会改变其密度。一个权重为 (0.3,0.7)(0.3,0.7)、成分参数为 (θ1,θ2)(\theta_1,\theta_2) 的双成分模型,与一个权重为 (0.7,0.3)(0.7,0.3)、参数为 (θ2,θ1)(\theta_2,\theta_1) 的模型,描述的是完全相同的分布。因此,有意义的可识别性通常是指除标签置换外的唯一性。

其他歧义则更为实质性。权重为零的成分对混合分布没有任何贡献,因此无法从观测分布中恢复其参数。两个完全相同的成分可以通过权重相加合并为一个成分。反过来,一个成分也可以拆分为多个完全相同的副本,而不改变密度。在定义最少成分数时,需要排除这些冗余表示。即使排除了这些情况,可识别性仍取决于成分分布族,而不是由混合公式自动保证的。

伯努利分布的混合就是一个不具备可识别性的简单例子。如果成分 kk 的成功概率为 qkq_k,那么混合分布本身仍是伯努利分布,其成功概率为

q=∑kπkqk.q=\sum_k\pi_k q_k.

仅凭对这个二元变量的一组独立观测,无法识别各个成分的权重和成功概率。对每个观测单位进行多次测量可以提供额外信息,但此时,测量的组织方式以及关于条件依赖关系的假设就变得至关重要。相比之下,参数对互不相同的一元正态分布的有限混合,除标签置换外是可识别的;其他一些重要的参数分布族在适当条件下也具有这一性质。

理论上的可识别性并不保证能从有限样本中得到精确估计。均值相近、离散程度相似的成分可能难以区分。占比极小的成分可能只得到少数观测值的支持,导致其参数估计不稳定。这些问题源于信息不足,而不一定意味着分布完全相同。它们会影响置信区间、数值优化,以及成分数估计结果的可重复性。

另一个需要区分的问题是如何解释成分。统计成分并不天然对应生物物种、社会群体、疾病亚型或因果机制。为了近似一个偏态总体,可能需要多个高斯成分;而一个离散程度较大的成分也可能掩盖有实际意义的子群体。即使分解方式尚不确定,拟合得到的密度仍可能估计得很准确。反过来,一个视觉上颇具说服力的分组,也可能只是限制性协方差假设的产物。

因此,成分归属取决于所选模型。后验归属概率为 0.90.9,表达的是该模型内部的不确定性;它并不能证明相应类别独立于建模假设而存在。尤其是,仅凭潜在类别归属,无法对归属于某个群体所产生的影响作出因果推断。

似然估计与 EM 算法

对于独立观测 x1,…,xnx_1,\ldots,x_n,观测数据的似然函数为

L(Θ)=∏i=1n∑k=1Kπkf(xi∣θk),L(\Theta)=\prod_{i=1}^{n} \sum_{k=1}^{K}\pi_k f(x_i\mid\theta_k),

其对数似然为

ℓ(Θ)=∑i=1nlog⁡[∑k=1Kπkf(xi∣θk)].\ell(\Theta)= \sum_{i=1}^{n}\log \left[\sum_{k=1}^{K}\pi_k f(x_i\mid\theta_k)\right].

每个对数内部的求和使各成分的参数相互耦合,因而难以直接进行最大似然估计。这一优化问题通常是非凸的,可能存在多个局部极大值。

期望最大化算法(简称 EM)将成分标签视为缺失数据。给定当前参数 Θ(t)\Theta^{(t)},其期望步计算

rik(t)=πk(t)f(xi∣θk(t))∑jπj(t)f(xi∣θj(t)).r_{ik}^{(t)} = \frac{\pi_k^{(t)} f(x_i\mid\theta_k^{(t)})} {\sum_j\pi_j^{(t)}f(x_i\mid\theta_j^{(t)})}.

其最大化步则最大化完整数据对数似然的期望:

Q(Θ∣Θ(t))=∑i,krik(t)[log⁡πk+log⁡f(xi∣θk)].Q(\Theta\mid\Theta^{(t)}) = \sum_{i,k}r_{ik}^{(t)} \left[\log\pi_k+\log f(x_i\mid\theta_k)\right].

这通常能将一个复杂问题化为若干彼此独立的加权估计问题。

对于高斯混合模型,记 Nk=∑irikN_k=\sum_i r_{ik}。标准更新公式为

πknew=Nkn,μknew=1Nk∑irikxi,\pi_k^{\text{new}}=\frac{N_k}{n},\qquad \mu_k^{\text{new}}=\frac{1}{N_k}\sum_i r_{ik}x_i,

以及

Σknew=1Nk∑irik(xi−μknew)(xi−μknew)T.\Sigma_k^{\text{new}} = \frac{1}{N_k}\sum_i r_{ik} (x_i-\mu_k^{\text{new}}) (x_i-\mu_k^{\text{new}})^\mathsf{T}.

当期望步和最大化步都精确执行时,EM 不会使观测数据的似然下降。这种单调性并不意味着算法会收敛到全局极大值;当各成分高度重叠时,收敛过程可能变得非常缓慢。

不加约束的高斯混合模型还存在一个更根本的困难:对于通常包含多个观测值的数据集,只要至少有两个成分,当其中一个成分塌缩到某个观测值上、同时其协方差趋于零时,似然就可能趋于无穷大。此时,有限的全局最大值未必存在。对协方差施加约束、使用惩罚似然或引入适当的先验分布,都可以防止这种退化。在协方差矩阵的对角线上加上一个小量,可能改善数值稳定性,但也会改变实际求解的估计问题。

初始化通常采用随机分配、抽取子样本或 K均值聚类,随后多次运行优化过程。数值稳定的实现会计算对数密度,并使用 log-sum-exp 恒等式,而不是直接对极小的概率求和。对于具有稠密完整协方差矩阵的高斯成分,一次典型迭代的计算量约为 O(nKd2+Kd3)O(nKd^2+Kd^3),其中包括二次型计算和协方差矩阵分解。采用对角协方差矩阵可将主要的求值成本降至 O(nKd)O(nKd)。

其他可选方法包括直接梯度法、约束优化、随机 EM 和基于矩的估计方法。多次优化运行得到一致结果,可以增强对拟合解的信心,但仅凭这一点,既不能证明模型适用,也不能证明已经找到了全局最优解。

贝叶斯混合模型与不确定性

在贝叶斯推断中,混合权重和成分参数都被赋予先验分布。一种常见的有限混合模型设定是

(π1,…,πK)∼Dirichlet⁡(α1,…,αK),(\pi_1,\ldots,\pi_K) \sim\operatorname{Dirichlet}(\alpha_1,\ldots,\alpha_K),

并为各成分参数分别指定先验分布。狄利克雷分布是类别分配的共轭先验:给定各潜在成分的观测计数 n1,…,nKn_1,\ldots,n_K,权重的后验分布参数为 αk+nk\alpha_k+n_k。同样,也可以为高斯成分的均值和协方差指定共轭先验,从而方便地进行条件更新。

后验分布综合了关于权重、成分参数和成分分配的信息。基于马尔可夫链蒙特卡洛的采样方法可以交替采样成分分配和参数,也可以先通过解析积分消去某些量,再进行采样。这类算法能够表征单一最大似然估计所忽略的不确定性。不过,彼此分离的后验众数和不确定的成分分配可能使采样变得困难,尤其是在许多成分对观测数据的解释能力几乎相当时。

标签的对称性会造成标签切换问题。当各成分的先验具有可交换性时,对所有标签进行置换会得到概率相同的后验配置。如果采样器遍历这些配置,每个带标签成分的边际汇总统计量就可能几乎完全相同。因此,即使整体预测分布估计得很好,标为“成分 1”和“成分 2”的后验均值仍可能产生误导。可行的处理方法包括:为采样得到的配置重新标记,施加具有科学意义的可识别性约束,或报告不随标签置换而改变的量,例如两个观测属于同一成分的概率。

变分推断则使用一个易于处理的分布族来近似后验,通常将其分解为成分分配、权重和参数等因子。优化过程最大化证据下界,该下界与近似分布和后验分布之间的KL散度有关。这种方法可能比采样快得多,但限制性较强的因子分解可能低估不确定性,或无法捕捉对数据的多种相互竞争的解释。变分优化也仍然对初始化敏感。

贝叶斯非参数混合模型用随机混合分布取代固定的有限成分数。一种重要的构造采用狄利克雷过程先验:

G∼DP⁡(α,G0),θi∣G∼G,Xi∣θi∼f( ⋅∣θi).G\sim\operatorname{DP}(\alpha,G_0),\qquad \theta_i\mid G\sim G,\qquad X_i\mid\theta_i\sim f(\,\cdot\mid\theta_i).

随机分布 GG 几乎必然是离散的,因此多个观测可以共享参数值并形成簇。在该先验下,nn 个观测所占据的簇数 KnK_n 的期望为

E[Kn]=∑i=1nαα+i−1.E[K_n]=\sum_{i=1}^{n}\frac{\alpha}{\alpha+i-1}.

可用的潜在成分数量无上限,并不意味着有限数据集会占据无穷多个簇。狄利克雷过程混合模型也不会自动估计出在科学意义上正确的有限总体数。它的主要作用是灵活地对分布建模;如何解释簇数,取决于推断目标和模型的渐近行为。

选择复杂度与评估拟合优度

选择成分数量与选择成分形式密不可分。一个包含许多球形高斯成分的模型,与一个包含较少但不受约束的成分的模型,可能近似同一个密度。对于 dd 维高斯混合模型,不受约束的设定包含

q=(K−1)+Kd+Kd(d+1)2q=(K-1)+Kd+K\frac{d(d+1)}{2}

个自由参数。因此,在高维情形下,即使成分数量不多,也可能形成规模庞大的模型。共享协方差矩阵、采用对角结构以及施加正则化都能降低复杂度,但也会对模型能够表示的分布形状施加实质性限制。

赤池信息准则和贝叶斯信息准则通过权衡拟合后的似然与参数数量来比较模型:

AIC=−2ℓ(Θ^)+2q,BIC=−2ℓ(Θ^)+qlog⁡n.\mathrm{AIC}=-2\ell(\widehat{\Theta})+2q, \qquad \mathrm{BIC}=-2\ell(\widehat{\Theta})+q\log n.

在参与比较的模型中,准则值越小越好。然而,有限混合模型不满足常见似然渐近理论所依赖的正则性假设。参数可能位于边界上,冗余成分会造成奇异性,而当某些成分的权重降为零时,其参数将变得不可识别。因此,教科书中的推导并不能原封不动地适用于所有混合模型情形;不过,BIC 仍被广泛使用,而且在特定条件下已获得一致性方面的理论结果。

用于检验是否应增加一个成分的似然比检验也面临类似困难。在原假设模型下,拟增加成分的权重可能为零,从而无法根据数据确定其均值和协方差。因此,两倍对数似然差的参考分布通常并不是根据参数数量之差得到的普通卡方分布。参数化自助采样可以在指定的原假设模型下模拟数据并重新拟合,以近似得到参考分布,但其有效性与计算可靠性取决于拟合过程和模型假设。

交叉验证评估的是另一项目标:对未参与拟合的观测进行预测。对于密度估计,留出数据的对数似然是自然的评价指标;而在监督学习应用中,分类错误率或针对具体任务的损失函数可能更合适。为预测密度而选出的模型,不一定能还原出可解释的划分。例如,增加成分可能改善对长尾的近似,却并不意味着存在更多总体。对归属不确定性施加惩罚的准则可能更倾向于界限清晰的分组,但这也意味着它们追求的是聚类目标,而不只是密度估计的准确性。

模型检验着眼于总体评分可能掩盖的特征。值得比较的内容包括拟合与观测的边缘分布、尾部事件的频率、依赖关系模式,以及归属模糊的观测所占的比例。在贝叶斯分析中,后验预测检验将观测统计量与通过拟合模型生成的重复数据进行比较。均值吻合,并不保证极端值、多峰性或联合结构也同样吻合。

敏感性分析既涉及统计假设,也涉及数值计算中的选择,包括成分分布族、协方差约束、先验的集中程度、变量变换、初始化方式,以及对异常观测的处理。多个模型可能给出相似的预测,却导向不同的成分解释。若只报告最终选定的成分数量,就可能掩盖这种区别。

条件混合与相依观测

基本的混合模型采用固定权重,但许多应用需要让各成分的概率取决于观测到的预测变量。条件混合模型的形式为

p(y∣x)=∑k=1Kπk(x) fk(y∣x,θk).p(y\mid x)= \sum_{k=1}^{K}\pi_k(x)\, f_k(y\mid x,\theta_k).

在专家混合模型中,门控模型决定 πk(x)\pi_k(x),而各成分对应的专家则描述条件结果。常见的门控模型采用 Softmax函数:

πk(x)=exp⁡(ak+bkTx)∑jexp⁡(aj+bjTx).\pi_k(x)= \frac{\exp(a_k+b_k^\mathsf{T}x)} {\sum_j\exp(a_j+b_j^\mathsf{T}x)}.

必须对其中一组门控系数施加约束,或通过其他方式确保其可识别性,因为给所有门控项加上同一个线性预测子,不会改变任何概率。

专家可以是线性回归模型,

Y∣X=x,Z=k∼N(xTβk,σk2),Y\mid X=x,Z=k \sim N(x^\mathsf{T}\beta_k,\sigma_k^2),

也可以是更一般的条件分布。这类模型允许预测变量与结果之间的关系因潜在状态而异。它们能够在同一预测变量取值下表示两条不同的响应轨迹,这是误差方差恒定的单一线性回归模型无法刻画的。当只有专家依赖于预测变量,而权重保持不变时,这种模型通常称为混合回归模型。条件混合模型对 p(y∣x)p(y\mid x) 建模,无须指定预测变量本身的分布。

对于序列观测,假设各观测的成分标签相互独立往往并不现实。隐马尔可夫模型则将潜在状态建模为马尔可夫链:

P(Zt=k∣Zt−1=j)=Ajk,P(Z_t=k\mid Z_{t-1}=j)=A_{jk},

并根据当前状态生成观测。每个时间点的边缘分布都可能是混合分布,但联合分布仍保留时间依赖性。推断时必须考虑相邻观测,通常通过前向—后向递推来实现。将观测视为相互独立,可能会掩盖持续存在的状态,并高估有效信息量。

空间混合模型同样可以促使邻近位置具有相同标签。例如,在图像分割中,可以将强度模型与标签分配的空间先验相结合。由此得到的模型不再只是独立混合密度的乘积:局部邻域关系会影响后验归属概率。这类约束能够抑制孤立的分类噪声,但也会施加平滑性,而这种平滑性未必适合突变或复杂的边界。

现代神经网络专家混合架构也采用依赖输入的路由机制,但并非总是严格意义上的概率混合模型。有些架构组合的是专家的特征向量或确定性预测,而不是归一化的概率分布。专家输出的加权平均与预测分布的混合在数学上并不相同:后者保留了由成分间分歧所产生的不确定性,前者则可能将这些分歧压缩为单一输出。

实际应用与解释

在无监督学习中,混合模型可用于基于模型的聚类。观测值的分组依据是明确的概率分布,而不只是几何距离。例如,高斯混合模型能够容纳体积和方向各不相同的群组。K 均值与一种受限的极限构造密切相关:各成分具有相同的球形协方差,且分布越来越集中;但通常的混合模型估计会保留软分配,并基于似然处理成分之间的重叠。拟合得到的一个成分不一定就是一个簇:多个成分可能共同表示一个非高斯群组,而高度重叠的成分也未必能划分出有实际意义的不同类别。

在计量经济学中,混合模型用于表示选择、收入、持续时间以及对预测变量的响应中未观测到的异质性。回归模型的有限混合允许不同潜在类别具有不同的斜率系数。随机系数模型则利用连续混合来描述个体参数的分布。区分条件变异与无条件变异十分重要:一个表面上存在的潜在类别,可能只是吸收了被遗漏的预测变量、错误的函数形式,或模型未能刻画的依赖关系。因此,对成分的解释取决于模型的整体设定。

在计数数据中的应用包括对过度变异和零值异常频繁的情况进行建模。混合模型可以区分两种潜在群体:一种不可能产生正计数,另一种可以产生正计数,但恰好记录为零。然而,仅仅观察到大量零值,并不足以证明存在这种机制:常规的过度离散分布、暴露量差异以及测量过程也可能解释这一现象。在可靠性分析中,寿命分布的混合用于表示失效时间模式不同的群体。与竞争风险模型不同,这类模型通常为每个个体选定一种潜在的寿命机制,而不是为其同时赋予多种失效原因。

在基因表达分析及其他高维测量场景中,混合模型已被用于描述异质性的表达谱,并对样本或变量进行聚类。相对于观测数而言,测量维度往往很多,因此通常需要对协方差施加约束、进行降维,或采用结构化的成分模型。每个成分的完整协方差矩阵包含 d(d+1)/2d(d+1)/2 个参数,因此不加约束的拟合很快就会变得不稳定。测量批次和预处理也可能造成表面上的分离;仅凭统计成分,无法认定存在不同的生物学机制。

在图像和信号分析中,混合模型为颜色、强度、光谱测量值以及背景变异提供了灵活的建模方式。在异常检测中,拟合密度较低的观测值,相对于所建模的参考总体而言可能是异常的。不过,密度低并不等同于属于一个较小的成分:规模虽小但界限清晰的群组可能具有较高的局部密度,而分布较宽的成分可能会为许多普通观测值赋予较低的密度。

混合模型也是一种便于使用的生成模型。可以先抽取一个成分,再从该成分的分布中抽样,以此模拟新的观测值。在预测中,对成分的不确定性进行平均,往往能够保留单一均值所掩盖的多种合理结果。因此,所需的输出可能是完整的预测分布、某个事件的概率,或成分归属;这些是不同的推断结果,可能需要采用不同的性能评估方式。

历史发展与持续研究

西蒙·纽康在1886年关于观测结果合并的研究中,考察了误差偏离单一分布的情形,这是早期系统运用混合思想的例子。卡尔·皮尔逊在1894年的论文《对进化数学理论的贡献》中,提出了利用矩拟合两个正态分布的混合模型的方法。他对蟹类测量数据的分析,成为异质总体统计研究中的里程碑。由此得到的代数推导,既展示了将分布分解为若干成分的吸引力,也揭示了恢复这些成分在实践中的困难。

20世纪,混合模型理论与潜变量统计学、心理测量学和种群建模共同发展。潜类别研究将观测到的分类响应视为由未观测群体产生,通常以条件独立性为假设。亨利·泰歇尔在1963年的研究中,确立了包括正态混合在内的一些重要有限混合分布族的可识别性。西德尼·雅科维茨和约翰·斯普拉金斯于1968年进一步拓展了有限混合模型可识别性的研究。这些成果表明,分解的唯一性是特定分布族所具有的数学性质,并不会因为观测数据足够多就自动成立。

计算方法的发展改变了这一领域。阿瑟·登普斯特、南·莱尔德和唐纳德·鲁宾于1977年发表的EM算法论文,为不完全数据下的最大似然估计提供了通用框架。混合模型中的成分标签可以自然地纳入这一框架,使迭代拟合混合模型的方法得到广泛应用。此前的一些专门方法已经使用了相关思想,但EM算法的一般表述将这些方法与涉及观测缺失及其他潜变量的问题统一起来。

贝叶斯方法的发展拓宽了对不确定性和模型复杂度的处理。托马斯·弗格森于1973年提出狄利克雷过程,为分布提供了一种基础性的先验。后续研究将这类先验与混合核相结合,并发展出实用的后验模拟方法。吉姆·塞图拉曼于1994年提出的构造性表示,通过折棒权重来表达狄利克雷过程,在无限随机分布与计算近似之间建立了尤其实用的联系。此后,采样和变分方法的进步,使大型层次混合模型越来越易于计算处理。

若干研究问题关注的是分布估计与分解恢复之间的差距。当成分接近合并,或权重趋近于零时,标准渐近近似可能失效,参数估计也可能呈现非通常的收敛速率。奇异统计模型需要使用超出常规二次似然近似范围的工具。另一些研究则考察,在何种成分分离程度、样本量、维数和初始化条件下可以可靠地恢复模型,以及在何种情况下,尚无已知的计算可行方法能够达到最优的信息论极限。

模型误设同样是重要问题。如果真实总体并非所选分布族的有限混合,增加成分数量可能不断改善近似效果,却无法揭示一组稳定的群体。因此,研究将密度估计、预测、聚类和潜在群体恢复区分为不同的目标。稳健的成分分布族、结构化协方差模型、可扩展的优化方法以及经过校准的不确定性量化,分别应对这一问题的不同方面,而非共同构成一种普适的混合建模方法。