aiwiki.page
中文
数学 / 应用与计算数学 / nonnegative-matrix-factorization

非负矩阵分解

非负矩阵分解以两个非负矩阵的乘积近似非负数据矩阵,将观测表示为潜在成分的加性组合。

29 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
矩阵分解降维机器学习矩阵(数学)线性组合损失函数凸包范数(数学)非负矩阵分…

非负矩阵分解(NMF)是一类矩阵分解方法,将元素非负的矩阵表示为两个较小非负矩阵的精确或近似乘积。这两个因子分别描述潜在成分及其对各个观测的贡献。由于不允许负系数,重构具有加性:各成分的贡献不会相互抵消。NMF 广泛应用于降维、探索性数据分析和机器学习,尤其适用于测量值表示计数、强度、浓度或其他天然非负量的情形。

数学表述

设 V∈R≥0m×nV\in\mathbb{R}_{\geq 0}^{m\times n} 是一个矩阵,其各列表示在 mm 个特征上测得的 nn 个观测。对于选定的内部维数 rr,NMF 寻求如下分解:

V≈WH,W∈R≥0m×r,H∈R≥0r×n.V\approx WH, \qquad W\in\mathbb{R}_{\geq 0}^{m\times r}, \qquad H\in\mathbb{R}_{\geq 0}^{r\times n}.

WW 的各列为成分特征向量,而 HH 的第 jj 列包含重构第 jj 个观测所用的权重:

V:j≈∑k=1rW:kHkj.V_{:j}\approx \sum_{k=1}^{r}W_{:k}H_{kj}.

因此,每个观测都由一组共享成分的非负线性组合来近似表示。成分特征向量有时被称为“基向量”,但它们不一定线性无关,因此未必构成严格线性代数意义上的基。

通常,r≪min⁡(m,n)r\ll\min(m,n)。此时,分解用 r(m+n)r(m+n) 个参数而非 mnmn 个参数表示数据,不过,只有当 r(m+n)<mnr(m+n)<mn 时,参数数量才确实减少。

一般的拟合问题为

min⁡W,H≥0D(V∥WH)+λWRW(W)+λHRH(H),\min_{W,H\geq 0} D(V\Vert WH) +\lambda_W R_W(W) +\lambda_H R_H(H),

其中,DD 衡量重构偏差,RWR_W 和 RHR_H 是可选的惩罚项,λW,λH≥0\lambda_W,\lambda_H\geq0 控制其强度。损失函数和约束的选择决定了分解着重呈现哪些模式。

加性解释与几何意义

非负性约束使 NMF 有别于不受此约束的低秩近似。任何成分都不能通过被减去来抵消另一成分。对于适当的数据,这可以产生一种基于局部组成部分的表示:图像可由反复出现的视觉特征表示,文档可由加权主题表示,混合物的光谱则可由各组成物质特征谱的贡献表示。

这种解释并不会自动成立。仅有非负性并不能保证因子稀疏、图像特征局部化、源相互独立,或成分具有科学意义。这些性质取决于数据、损失、约束和优化过程。

从几何上看,WW 的各列生成一个锥,即这些列向量的所有非负组合构成的集合。NMF 寻找一个能够包含或近似表示观测的锥。如果额外施加归一化,使 HH 每一列中的系数之和为一,那么重构结果就位于成分特征向量的凸包内。这种归一化引入了未施加该约束的 NMF 所不具备的混合解释。

重构损失与统计模型

平方欧氏损失

一种常见的目标是

min⁡W,H≥012∥V−WH∥F2,\min_{W,H\geq0} \frac12\|V-WH\|_F^2,

其中,Frobenius 范数定义为

∥A∥F2=∑i,jAij2.\|A\|_F^2=\sum_{i,j}A_{ij}^2.

这一目标对重构误差的绝对量取平方后加以惩罚。它对应于误差为相互独立、具有相同方差的加性高斯误差,且均值受非负因子分解形式约束时的最大似然估计。

由于误差被平方,较大的残差可能主导拟合。因此,特征尺度的差异可能显著改变所得成分。

广义 KL 散度

另一种广泛使用的目标是最小化广义KL散度:

DKL(V∥Y)=∑i,j[Vijlog⁡VijYij−Vij+Yij],Y=WH.D_{\mathrm{KL}}(V\Vert Y) = \sum_{i,j} \left[ V_{ij}\log\frac{V_{ij}}{Y_{ij}} -V_{ij}+Y_{ij} \right], \qquad Y=WH.

这里,0log⁡(0/y)0\log(0/y) 视为零;如果正的观测值被赋予零的重构值,则散度为无穷大。

对于建模为相互独立、均值为 YijY_{ij} 的泊松分布随机变量的计数数据,忽略与 YY 无关的项后,最小化这一散度等价于最大化似然。与概率分布之间的 KL 散度不同,这一广义表达式不要求矩阵元素之和为一。

其他损失

Itakura–Saito 散度为

DIS(V∥Y)=∑i,j[VijYij−log⁡VijYij−1],D_{\mathrm{IS}}(V\Vert Y) = \sum_{i,j} \left[ \frac{V_{ij}}{Y_{ij}} -\log\frac{V_{ij}}{Y_{ij}}-1 \right],

其基本形式仅对严格为正的元素定义,常用于音频分析。其标量形式在两个自变量同时乘以同一正数时保持不变,因此,它对信号尺度的敏感性与平方误差不同。

β 散度族以平方欧氏损失、广义 KL 散度和 Itakura–Saito 散度为特例或极限情形。加权目标可以反映测量可靠性的差异,也可以将缺失项排除在重构损失之外。

优化算法

对 WW 和 HH 的联合优化通常是非凸的。不过,对于平方欧氏损失和广义 KL 散度,在固定一个因子时优化另一个因子是一个凸优化问题。这种结构促成了交替优化算法。

乘法更新

对于平方欧氏损失,经典的乘法更新形式为

H←H⊙W⊤VW⊤WH,H\leftarrow H\odot \frac{W^\top V}{W^\top WH},
W←W⊙VH⊤WHH⊤.W\leftarrow W\odot \frac{VH^\top}{WHH^\top}.

除通常的矩阵乘积外,式中的乘法和除法均按元素进行,⊤\top 表示矩阵转置。每一步都使用另一个因子的当前值。

这些规则保持非负性。在推导所依据的假设下,目标函数值不会增加。不过,仅有单调下降并不能证明算法收敛到全局最优解,甚至不能保证每种实现都具有令人满意的收敛表现。

乘法更新可能收敛缓慢,也可能出现零锁定:初始化为零的元素在纯乘法规则下会一直保持为零,即使增大该元素可以改善拟合。分母为零的情况需要谨慎处理。

交替非负最小二乘法

对于平方误差,固定 WW 可得

min⁡H≥0∥V−WH∥F2,\min_{H\geq0}\|V-WH\|_F^2,

该问题可按 HH 的各列拆分为多个非负最小二乘法问题。固定 HH 则得到关于 WW 的相应问题。有效集法、坐标下降法和块坐标法都可用于求解这些子问题。

投影梯度下降是另一种方法。例如,

H←max⁡ ⁣(0, H−ηW⊤(WH−V)),H\leftarrow \max\!\left(0,\, H-\eta W^\top(WH-V)\right),

其中,最大值运算按元素进行,η>0\eta>0 为步长。步长的选择影响收敛性和稳定性。

由于不同运行可能到达不同的驻点,初始化十分重要。常见选择包括正值随机因子,以及从奇异值分解构造的非负初值。停止准则可以依据目标函数值的变化、参数变化、迭代次数上限,或对卡鲁什—库恩—塔克条件的违反程度。

秩、非唯一性与可识别性

普通秩与非负秩

对于精确分解 V=WHV=WH,可能的最小内部维数称为非负秩,记为 rank⁡+(V)\operatorname{rank}_+(V)。它满足

rank⁡(V)≤rank⁡+(V)≤min⁡(m,n).\operatorname{rank}(V) \leq \operatorname{rank}_+(V) \leq \min(m,n).

因此,普通的矩阵的秩可能低估精确非负表示所需的成分数量。

在近似 NMF 中,rr 通常是建模时的选择,而非能够精确确定的固有属性。较大的取值可以降低训练数据的重构误差,但也可能将模式拆分为冗余成分,或拟合噪声。评估秩的选择时,可以考虑留出数据的重构表现、交叉验证、多次运行之间的稳定性,以及特定领域中的可解释性。

不确定性

NMF 始终存在缩放和排列不确定性。对于任意正对角矩阵 DD,有

WH=(WD)(D−1H).WH=(WD)(D^{-1}H).

同样,对 WW 的列进行排列,并对 HH 的行作相应排列,乘积也保持不变。对成分特征向量进行归一化可以固定缩放约定,但不能确立唯一性。

还可能存在更实质性的不确定性:不同的非负成分集合可能同样好地重构同一数据。统计识别需要对因子的几何结构、稀疏性或分布作出额外假设。

一个重要假设是可分离性:每个成分在允许缩放的意义下,都作为某个数据列出现。与此密切相关的模型使用锚定特征或纯观测。这类假设使专门的恢复算法成为可能,但它们比单纯的非负性更强。

正则化与变体

正则化和结构约束可以使 NMF 适应特定任务。

  • 稀疏 NMF: 通过惩罚项或显式约束,促使因子中的某些元素为零。这可以限制参与构成一个观测的成分数量,或表征一个成分的特征数量。
  • 平滑 NMF: 通过惩罚项促使相邻系数平缓变化,适用于空间测量或时间序列等情形。
  • 图正则化 NMF: 基于图的惩罚项促使相邻或相关的观测具有相似表示。
  • 正交 NMF: 额外的正交约束可以使表示类似于聚类分析的结果,不过非负正交性是一种很强的限制。
  • 半非负矩阵分解(Semi-NMF): 一个因子可以包含负元素,另一个因子则保持非负,从而允许输入数据含有正负值。
  • 凸 NMF: 将成分特征向量约束为观测数据的组合,通常为凸组合。
  • 在线 NMF: 随着观测陆续到达,以增量方式更新因子,减少一次性处理整个数据集的需要。

非负张量分解将加性成分的思想扩展到以张量表示的多维数组,而不是简单地将所有数据集都重塑为矩阵。

应用

文本分析。 非负的词项—文档矩阵可以分解为词项特征向量和文档权重。所得成分往往类似于主题,但普通 NMF 本身并不定义概率主题模型。

音频处理。 幅度谱图或功率谱图可以用频谱模板及随时间变化的激活系数来近似表示,从而支持声源分离和音频转写。重构波形还需要相位信息或额外的重构过程;仅分解幅度并不能确定波形。

光谱学与化学混合物。 光谱和浓度的非负性为光谱学中的加性模型提供了依据。其物理解释取决于线性混合能否充分近似测量过程,以及各成分是否可识别。

生物数据分析。 NMF 用于探索基因表达及其他非负分子测量中的模式。一个成分描述的是所分析数据中的统计结构,并不自动确立某种生物学机制。

图像与推荐数据。 NMF 可以提取反复出现的图像模式,或通过潜在因子表示用户与物品之间的交互。在推荐场景中,必须区分未观测到的交互与已观测到的零值。

与其他分解的关系

主成分分析通常作用于中心化后的数据,使用的正交方向可以同时包含正元素和负元素。NMF 通常使用非负且未经中心化的数据,不要求成分相互正交。通过加上一个常数将含正负值的数据变为非负,会改变所建模的结构,并不等同于对天然非负的测量值应用 NMF。

在没有非负性约束的情况下,截断 SVD 能够给出平方 Frobenius 损失下具有全局最优性的秩约束近似。NMF 通常没有这样的闭式最优解,但其加性表示可能更符合某些测量值的含义。

NMF 也不同于独立成分方法:非负成分不一定在统计上相互独立。硬聚类将一个观测分配给单个簇,而 NMF 表示可以为多个成分赋予正权重。

历史发展与局限

现代 NMF 源于早期关于非负因子模型、混合物分析和正定矩阵因子分解的研究。彭蒂·帕泰罗(Pentti Paatero)和翁托·塔佩尔(Unto Tapper)于 1994 年提出了一种纳入测量不确定性的正定矩阵因子分解方法。丹尼尔·D. 李(Daniel D. Lee)和 H. 塞巴斯蒂安·塞翁(H. Sebastian Seung)于 1999 年通过一项关于基于局部组成部分的表示的研究,使 NMF 受到广泛关注,并于 2001 年提出了影响深远的乘法更新算法。

其主要局限仍包括:对尺度、初始化、成分数量和损失设定敏感;解可能不唯一;标准局部算法通常没有全局最优性保证。缺失项、异常值和不等的测量不确定性都需要显式处理。此外,还必须将成分解释与重构质量区分开来:数值误差小,本身并不能证明恢复出的因子对应唯一的物理源或因果过程。