aiwiki.page
中文
数学 / 代数与数论 / singular-value

奇异值

奇异值是非负数,用于衡量矩阵或线性算子沿相互正交的主方向对向量的拉伸程度。

29 个关键词1 个词条链接到这里AI 撰写
矩阵(数学)特征值与特征向量共轭转置线性映射矩阵的秩矩阵转置奇异值分解酉矩阵奇异值

实矩阵或复矩阵 AA 的奇异值是 A∗AA^*A 的特征值的非负平方根,其中 A∗A^* 表示共轭转置。奇异值描述了相应线性映射产生的拉伸作用,不依赖于定义域和值域所采用的标准正交坐标。奇异值既适用于方阵,也适用于矩形矩阵,在矩阵近似、线性方程组求解和数值敏感性分析中具有核心作用。

定义与约定

设 A∈Cm×nA\in\mathbb{C}^{m\times n},其中 m,n≥1m,n\geq 1,并令 p=min⁡(m,n)p=\min(m,n)。按照通常的约定,AA 的奇异值按如下顺序排列,重复的奇异值按重数计入:

σ1(A)≥σ2(A)≥⋯≥σp(A)≥0,\sigma_1(A)\geq \sigma_2(A)\geq\cdots\geq\sigma_p(A)\geq0,

矩阵 A∗AA^*A 是半正定厄米矩阵,因为

x∗A∗Ax=∥Ax∥22≥0.x^*A^*Ax=\|Ax\|_2^2\geq0.

因此,它的所有特征值都是非负实数。

更确切地说,若 AA 的秩为 rr,则 A∗AA^*A 和 AA∗AA^* 有相同的 rr 个正特征值,按重数计入。这些特征值的正平方根就是 AA 的正奇异值。再补入 p−rp-r 个零,便得到通常约定的、含 pp 个奇异值的列表。

这一约定对矩形矩阵尤为重要。若 n>mn>m,则除了长度为 pp 的奇异值列表所对应的零特征值外,矩阵 A∗AA^*A 还有 n−mn-m 个额外的零特征值。有些文献则保留 A∗AA^*A 的全部 nn 个特征值的平方根,将这些额外的零也明确列入。

对于实矩阵,A∗A^* 就是其转置 ATA^{\mathsf T}。

奇异值分解

奇异值分解(SVD)将任意这样的矩阵表示为

A=UΣV∗,A=U\Sigma V^*,

其中 U∈Cm×mU\in\mathbb{C}^{m\times m} 和 V∈Cn×nV\in\mathbb{C}^{n\times n} 是酉矩阵,Σ\Sigma 是一个 m×nm\times n 的矩形对角矩阵,其对角元素为 σ1,…,σp\sigma_1,\ldots,\sigma_p。对于实矩阵,可以选取正交矩阵作为 UU 和 VV。

VV 的列向量 viv_i 称为右奇异向量,UU 的列向量 uiu_i 称为左奇异向量。对于 1≤i≤p1\leq i\leq p,有

Avi=σiui,A∗ui=σivi.Av_i=\sigma_i u_i, \qquad A^*u_i=\sigma_i v_i.

特别地,

A∗Avi=σi2vi,AA∗ui=σi2ui.A^*Av_i=\sigma_i^2v_i, \qquad AA^*u_i=\sigma_i^2u_i.

一旦规定了排列顺序,奇异值就由 AA 唯一确定。奇异向量则一般不唯一。对于重奇异值,可以在相应的奇异子空间内更换标准正交基。即使是单重的正奇异值,在实数情形下,也可以同时改变其左右奇异向量的符号;在复数情形下,则可以同时将二者乘以一个模为一的复数。

奇异值分解表明,每个矩阵都有奇异值,无须要求矩阵是方阵、可逆或可对角化。

几何解释

在标准内积下,矩阵将单位球面映射为椭球面,该椭球面可能位于一个较低维的子空间中。正奇异值是椭球面的主半轴长度,相应的左奇异向量给出这些主半轴的方向。零奇异值表示相应方向被压缩为零。

分解式 A=UΣV∗A=U\Sigma V^* 将变换分为三个步骤:

  1. V∗V^* 在定义域中进行标准正交坐标变换。
  2. Σ\Sigma 对各坐标方向进行拉伸、压缩或归零。
  3. UU 在值域中进行标准正交坐标变换。

例如,

A=(300−2)A= \begin{pmatrix} 3&0\\ 0&-2 \end{pmatrix}

的奇异值为 33 和 22。它将单位圆映射为半轴长度分别为 33 和 22 的椭圆。负特征值 −2-2 体现了方向的反转,而相应的奇异值只反映拉伸的幅度。

对于任意非零向量 xx,比值

∥Ax∥2∥x∥2\frac{\|Ax\|_2}{\|x\|_2}

衡量沿该向量方向的拉伸程度。其最大值为

σ1(A)=max⁡∥x∥2=1∥Ax∥2.\sigma_1(A)=\max_{\|x\|_2=1}\|Ax\|_2.

若 m≥nm\geq n,其最小值为

σn(A)=min⁡∥x∥2=1∥Ax∥2.\sigma_n(A)=\min_{\|x\|_2=1}\|Ax\|_2.

若 m<nm<n,由于零空间非平凡,这个最小值总是零,即使按通常约定列出的全部 p=mp=m 个奇异值均为正数也是如此。

奇异值依赖于所选的内积,或者等价地说,依赖于定义域和值域中长度的度量方式。奇异值在标准正交坐标变换下保持不变,但在任意换基或度量尺度变化下并不保持不变。

与特征值的关系

特征值描述的是方阵作用后仅发生标量倍乘、方向保持不变的那些方向。奇异值描述的是定义域与值域之间相互正交的拉伸方向,而这两个空间的维数可以不同。

对于正规矩阵,即满足 A∗A=AA∗A^*A=AA^* 的矩阵,其奇异值就是特征值的绝对值,按重数计入。实对称矩阵、复厄米矩阵和酉矩阵均属于这种情形。

对于一般矩阵,奇异值不一定等于特征值的模。例如,

A=(0100)A= \begin{pmatrix} 0&1\\ 0&0 \end{pmatrix}

有两个零特征值,但奇异值为 11 和 00。因此,仅凭特征值未必能描述矩阵对向量的拉伸程度。

特征值的最大模总是不超过 σ1(A)\sigma_1(A),但这一不等式可以是严格的。

基本性质

秩与可逆性

正奇异值的个数等于矩阵的秩:

rank⁡(A)=#{i:σi(A)>0}.\operatorname{rank}(A)=\#\{i:\sigma_i(A)>0\}.

对于 n×nn\times n 方阵,可逆性等价于 σn(A)>0\sigma_n(A)>0。若 AA 可逆,则其逆矩阵的奇异值是 AA 的奇异值的倒数,并按相反顺序排列:

σi(A−1)=1σn−i+1(A).\sigma_i(A^{-1})=\frac{1}{\sigma_{n-i+1}(A)}.

酉不变性与缩放

若 QQ 和 RR 是大小适当的酉矩阵,则

σi(QAR)=σi(A).\sigma_i(QAR)=\sigma_i(A).

此外,

σi(cA)=∣c∣ σi(A).\sigma_i(cA)=|c|\,\sigma_i(A).

按通常约定,矩阵 AA 和 A∗A^* 的奇异值列表相同。

矩阵范数

若干重要的矩阵范数可以用奇异值表示。

由欧几里得向量范数诱导的谱范数为

∥A∥2=σ1(A).\|A\|_2=\sigma_1(A).

弗罗贝尼乌斯范数满足

∥A∥F=(∑i,j∣aij∣2)1/2=(∑i=1pσi(A)2)1/2.\|A\|_F =\left(\sum_{i,j}|a_{ij}|^2\right)^{1/2} =\left(\sum_{i=1}^{p}\sigma_i(A)^2\right)^{1/2}.

核范数又称迹范数,其定义为

∥A∥∗=∑i=1pσi(A).\|A\|_*=\sum_{i=1}^{p}\sigma_i(A).

在凸优化中,它被用作秩的凸替代量。

更一般地,对于 1≤q<∞1\leq q<\infty,Schatten qq-范数为

∥A∥Sq=(∑i=1pσi(A)q)1/q.\|A\|_{S_q} =\left(\sum_{i=1}^{p}\sigma_i(A)^q\right)^{1/q}.

行列式与体积

对于方阵 AA,

∣det⁡A∣=∏i=1nσi(A).|\det A|=\prod_{i=1}^{n}\sigma_i(A).

因此,行列式的绝对值等于各主方向拉伸因子的乘积,它给出了该变换对体积的缩放倍数。

对于列满秩的矩形矩阵 AA,

det⁡(A∗A)=∏i=1nσi(A)2.\det(A^*A)=\prod_{i=1}^{n}\sigma_i(A)^2.

其平方根是 AA 将 nn 维体积映射到其像空间中时的缩放倍数。

变分刻画

无须显式构造奇异值分解,也可以刻画奇异值。设

σ^1≥⋯≥σ^n\widehat{\sigma}_1\geq\cdots\geq\widehat{\sigma}_n

为 A∗AA^*A 的全部特征值的平方根,包括 n>mn>m 时额外的零。则

σ^k=max⁡S⊆Cndim⁡S=k min⁡x∈S∥x∥2=1∥Ax∥2.\widehat{\sigma}_k = \max_{\substack{S\subseteq\mathbb{C}^n\\ \dim S=k}} \ \min_{\substack{x\in S\\ \|x\|_2=1}} \|Ax\|_2.

这里,SS 遍历所有维数为 kk 的线性子空间。这一表述说明,第 kk 个奇异值是在所有 kk 维子空间中,能够达到的最小拉伸程度的最大值。

低秩近似

奇异值衡量了用较低秩矩阵近似一个矩阵时所能达到的精度。将矩阵写成

A=∑i=1rσiuivi∗,A=\sum_{i=1}^{r}\sigma_i u_i v_i^*,

并定义截断奇异值分解

Ak=∑i=1kσiuivi∗,0≤k<r.A_k=\sum_{i=1}^{k}\sigma_i u_i v_i^*, \qquad 0\leq k<r.

埃卡特–杨–米尔斯基定理给出

min⁡rank⁡(B)≤k∥A−B∥2=∥A−Ak∥2=σk+1,\min_{\operatorname{rank}(B)\leq k}\|A-B\|_2 =\|A-A_k\|_2 =\sigma_{k+1},

以及

min⁡rank⁡(B)≤k∥A−B∥F=∥A−Ak∥F=(∑i=k+1pσi2)1/2.\min_{\operatorname{rank}(B)\leq k}\|A-B\|_F =\|A-A_k\|_F =\left(\sum_{i=k+1}^{p}\sigma_i^2\right)^{1/2}.

因此,奇异值快速衰减意味着低秩近似可以具有较小的误差。这是图像压缩、降维和降阶模型等应用的基础。若截断位置附近存在重奇异值,最佳近似可能不唯一。

条件性与扰动

对于可逆方阵,谱条件数为

κ2(A)=∥A∥2∥A−1∥2=σ1(A)σn(A).\kappa_2(A) =\|A\|_2\|A^{-1}\|_2 =\frac{\sigma_1(A)}{\sigma_n(A)}.

这个比值较大,意味着变换在某些方向上的拉伸程度远大于其他方向,因此在求解相应的线性方程组时,数据中的扰动可能被显著放大。

最小奇异值还给出了矩阵到奇异矩阵集合的距离:

min⁡A+E singular∥E∥2=σn(A).\min_{A+E\ \text{singular}}\|E\|_2=\sigma_n(A).

各个奇异值满足扰动界

∣σi(A+E)−σi(A)∣≤∥E∥2.|\sigma_i(A+E)-\sigma_i(A)|\leq\|E\|_2.

因此,从绝对误差的角度看,奇异值是稳定的。然而,对于很小的奇异值,即使扰动很小,其相对误差也可能很大。

当相邻奇异值彼此接近时,奇异向量可能敏感得多。因此,应当区分奇异值本身的稳定性与其对应方向的稳定性。

在数值计算中,数值秩统计的是超过某个容差的奇异值个数,而不是严格为正的奇异值个数。容差取决于数据尺度、噪声、矩阵维数以及浮点运算的精度;不存在能够普遍区分信号与误差的阈值。

应用

最小二乘法与逆问题

对于最小二乘法问题

min⁡x∥Ax−b∥2,\min_x\|Ax-b\|_2,

其最小范数解可写为

x=∑i=1rui∗bσivi.x=\sum_{i=1}^{r}\frac{u_i^*b}{\sigma_i}v_i.

很小的正奇异值会导致除以很小的数,从而可能放大 bb 中的误差。这是逆问题中的一个核心问题。

正则化通过调整这种放大作用来处理这一问题。截断奇异值分解舍去与小奇异值对应的项。吉洪诺夫正则化则将因子 1/σi1/\sigma_i 替换为

σiσi2+λ,λ>0.\frac{\sigma_i}{\sigma_i^2+\lambda}, \qquad \lambda>0.

这些方法以放弃敏感方向上的精确拟合为代价,降低对噪声的敏感性。

主成分分析

设 XX 是一个各列均已中心化的实数据矩阵,观测数为 N>1N>1。其样本协方差矩阵为

C=1N−1XTX.C=\frac{1}{N-1}X^{\mathsf T}X.

因此,各主成分的方差为

λi(C)=σi(X)2N−1.\lambda_i(C)=\frac{\sigma_i(X)^2}{N-1}.

右奇异向量给出主方向,从而将奇异值与主成分分析直接联系起来。选定分量所对应的奇异值平方和占全部奇异值平方和的比例,就是这些分量保留的总方差比例。

计算

尽管奇异值通过 A∗AA^*A 定义,但显式计算这一乘积通常并不可取。对于列满秩矩阵,

κ2(A∗A)=κ2(A)2,\kappa_2(A^*A)=\kappa_2(A)^2,

而且乘积计算中的舍入误差可能掩盖较小的奇异值。

数值线性代数中的算法通常先通过正交变换或酉变换,将 AA 化为双对角形式,然后计算该双对角矩阵的奇异值。此类变换有助于保持数值稳定性。

对于规模极大的矩阵,迭代方法和随机化方法可以在不计算完整奇异值分解的情况下,估计选定的奇异值或构造近似的截断分解。其精度和计算成本取决于谱、矩阵结构以及所需奇异值的数量。

向算子的推广

在泛函分析中,奇异值可以自然地推广到希尔伯特空间之间的紧算子 TT。它们是正算子

∣T∣=(T∗T)1/2,|T|=(T^*T)^{1/2},

的特征值,按非增顺序排列并计入重数,必要时补入零。

若有无穷多个非零奇异值,则它们趋于零。奇异值的衰减速度量化了有限秩算子的近似能力,将奇异值在矩阵中的作用推广到了算子情形。

对于一般的非紧有界算子,∣T∣|T| 未必具有离散的特征值列表。因此,有限维情形下用奇异值序列描述拉伸作用的方式,不能原封不动地推广到所有无穷维算子。