潜变量是统计模型中包含、但在所分析的数据中未被直接观测到的变量。其取值、分布或与其他变量的关系,是根据观测结果以及有关这些观测如何产生的假设推断出来的。在统计学和机器学习中,潜变量可以表示潜在属性、未观测到的群体归属、随时间演变的系统状态,或复杂数据的紧凑表示。潜变量是模型的组成部分:它们有用,并不等于它们必然对应着独立存在的实体。
定义与数学表述
设 表示观测变量, 表示潜变量, 表示模型参数。潜变量模型指定一个联合概率分布,通常将其分解为
其中, 描述潜变量的分布,而 描述观测值如何依赖于潜变量。对未观测到的取值求和或积分,即可得到观测数据的分布。对于连续的 ,
而对于离散的 ,
这一操作称为边缘化。由此得到的观测数据分布,是估计模型参数的基础。
给定一个观测值 后,其对应潜变量取值的不确定性由以下条件分布描述:
可以用该分布的均值、众数或其他概括性统计量来估计潜变量的取值。这种估计并非直接测量,即使模型参数已知,通常仍存在不确定性。
潜变量与参数的区别在一定程度上取决于建模惯例。潜变量通常随个体、观测、群体或时间点而变化,而参数则支配这些单位所共有的关系。在贝叶斯推断中,两者都可以被赋予概率分布,因此,与其看它们是否被视为随机量,不如看它们在模型中承担的不同角色。
潜变量、测量与构念
观测变量有时称为显变量或指标。例如,可以将多道考试题目的作答结果建模为依赖于某个未观测到的能力变量。作答结果是观测到的,而能力则通过测量模型推断。
潜变量有几种不同的用途:
- **测量:**通过多个不完美的指标来表示某种属性。
- **分类:**表示未知的群体归属或总体成分归属。
- **状态估计:**表示随时间变化、但只能间接观测到的系统状态。
- **表示:**用较少的潜在坐标对高维观测进行编码。
- **依赖关系建模:**通过共同的未观测量解释观测之间的关联。
这些用途不应混为一谈。用于压缩图像的潜在坐标,不一定具有与经过严格定义的心理学构念相同的解释。
潜变量也不同于普通的缺失观测值。缺失观测值是指通常应当记录、但在特定数据集中缺失的数值。潜变量则是在模型设计中就不被观测的变量。不过,处理两者时往往使用相同的计算方法,缺失数据插补等方法可以将缺失项视为额外的未知量。
潜变量模型的主要类型
连续潜变量与因子分析
因子分析使用数量较少的连续潜因子,对观测指标之间的依赖关系建模。一种常见的线性形式为
其中, 是观测向量, 是均值向量, 是载荷矩阵, 是潜因子向量, 表示各测量指标特有的变异。
如果 与 不相关,且协方差矩阵分别为 和 ,则
在标准的公因子模型中, 通常为对角矩阵,因此变量之间的协方差由公因子解释。更一般的模型则允许指定某些残差关联。
探索性因子分析考察可能的载荷模式;验证性因子分析检验预先指定的测量结构。两者都依赖于关于维数、误差和因子关系的假设。
因子分析与主成分分析有关,但并不相同。普通主成分被定义为观测变量的线性组合,这些组合以解释方差为目标选取。因子分析则明确建立包含未观测因子和测量特有误差的模型。主成分分析的概率形式将这两种方法联系起来,但并未使它们的目标变得相同。
离散潜变量与混合模型
在有限混合模型中,潜在类别变量 表示某个观测由哪个成分生成:
因此,
高斯混合模型使用高斯分布作为各成分的分布。成分归属的后验概率给出带有不确定性的归属判断,而不一定将每个观测都确定无疑地划入某个成分。
潜类别模型采用类似的方法,通常用于类别型指标。其中的类别描述拟合模型下的总体异质性,不一定对应界限分明的自然类别。
序列中的潜在状态
对于时间序列和其他序列数据,潜变量可以表示随时间演变的状态。一种常见的状态空间分解形式为
隐马尔可夫模型通常采用离散潜在状态。线性高斯状态空间模型采用连续状态,可通过卡尔曼滤波器及相关平滑算法进行推断。
滤波利用截至当前时刻可获得的观测来估计当前状态。平滑则利用整个可用序列中的观测,包括较晚时刻的测量结果,来估计状态。
测量模型与结构模型
结构方程模型将潜变量与指标之间的测量关系,同变量之间的结构关系结合起来。它既能明确考虑测量误差,也能表达有关潜在属性之间路径关系的假设。
项目反应理论将作答概率建模为潜在属性和项目特征的函数。一种基本的二元反应模型形式为
其中, 控制区分度, 确定该项目在潜在量尺上的位置。
这类模型通常假设局部独立性:给定潜在属性后,各项目的作答反应相互独立。这是条件独立的一种情形,并不是说观测到的作答反应在不附加条件时也相互独立。
机器学习中的潜在表示
潜在表示也是非线性生成模型的基础。变分自编码器将潜变量生成模型与近似推断模型相结合,后者通常使用人工神经网络实现。
这类模型可以先抽取一个潜变量值,再从相应的观测分布中抽样,从而生成观测。其潜在坐标可能捕捉到有用的结构,但各个坐标并不会自动具备可解释性或因果意义。
估计与推断
必须区分两项任务:
- **参数估计:**学习载荷、转移概率或成分均值等共享的量。
- **潜变量推断:**估计特定观测所对应的未观测状态、得分或归属。
在最大似然估计中,通过选择参数使观测数据似然最大化。对于相互独立的观测,
即使完整数据模型 很简单,积分也可能使优化变得困难。
期望最大化
期望最大化算法交替执行以下步骤:
- **E 步:**在潜变量当前的条件分布下,计算完整数据对数似然的期望;
- **M 步:**对参数进行优化,使上述期望最大化。
在满足通常条件时,精确实现的算法每次迭代都不会降低观测数据似然。但它一般不能保证找到全局最大值。初始化、局部最优解和边界解都可能产生重要影响。
贝叶斯方法与近似方法
贝叶斯方法估计参数与潜在量的联合后验分布。当直接计算不可行时,可以通过马尔可夫链蒙特卡洛抽样来近似这一分布。
变分推断则通过优化,选取一个便于计算的分布来近似后验分布。其中一个核心恒等式为
其中
识别与不确定性
统计识别关注不同的模型设定是否会产生相同的观测数据分布。如果会,仅凭观测就无法区分这些设定。
潜变量模型存在几种典型的非唯一性:
- **位置与尺度:**改变潜在属性的原点或单位,可以通过改变测量参数来抵消。
- **符号:**将某个因子及其载荷同时反号,可以使观测分布保持不变。
- **旋转:**在不受约束的因子模型中,变换后的因子坐标及相应变换后的载荷,可以重现相同的观测。
- **标签交换:**置换混合成分的标签,不会改变混合分布。
例如,在单因子模型
中,对于非零的 ,将 替换为 ,并将 替换为 ,测量方程保持不变。因此,需要施加尺度约束。
常见的识别约束包括固定潜变量的均值和方差、固定某些载荷,或施加特定的测量结构。这些约束确立了一种约定,或利用了实质性假设;它们并没有增加观测信息。
模型参数可识别,也不意味着可以精确恢复某个个体的潜变量取值。在带有噪声的指标数量有限时,该取值仍可能存在很大的不确定性。
解释、验证与局限
潜变量可以解释观测到的关联,但未必是唯一的解释。不同的潜在结构、残差依赖、非线性关系或遗漏变量,都可能产生相似的数据模式。
尤其是,共同的潜在原因可以在观测之间诱发相关关系,但仅有相关关系并不能证实这一共同原因的存在。在因果推断中,未观测到的共同原因可能造成混杂。仅仅在统计模型中引入潜变量,并不能识别因果效应,也不能消除未测量混杂。
模型评价可以考察整体拟合、残差关联、预测表现、跨样本的稳定性,以及与独立获得的测量结果是否一致。后验预测检验可以评估:由拟合后的贝叶斯模型生成的数据,能否重现观测数据的相关特征。
重要的局限包括:
- **依赖假设:**当分布、误差或独立性假设发生变化时,推断出的潜在结构也可能改变。
- **维数不确定:**现有数据可能无法明确确定因子、状态或类别的数量。
- **测量可比性:**跨群体或跨时间进行比较时,需要仔细考察指标与潜变量之间的关系是否具有足够的可比性。
- **计算困难:**高维积分、多峰目标函数和弱识别都可能使推断不稳定。
- **实体化:**为某个因子或类别命名,并不能证明该名称所指的实体作为独立的自然对象存在。
在后续分析中,将估计的潜变量得分当作无误差的观测值使用,也可能低估不确定性。联合建模或能够传递得分不确定性的方法,可以区分潜在量与其估计值。
历史发展
查尔斯·斯皮尔曼于1904年开展的认知测验表现公因子研究,是这一领域的重要早期基础。此后,因子分析成为心理测量学和多元统计学中的主要方法之一。
在20世纪,潜类别分析、项目反应理论、结构方程模型、混合模型和状态空间方法,在对未观测量建模方面形成了各自部分独立的传统。阿瑟·登普斯特、南·莱尔德和唐纳德·鲁宾于1977年以一般形式提出的期望最大化算法,为包括潜变量模型在内的不完整数据问题提供了广泛适用的计算框架。
此后,图模型、基于模拟的推断以及神经生成模型的发展,使潜变量方法扩展到规模越来越大、结构越来越复杂的数据集。