实矩阵或复矩阵 A 的奇异值是 A∗A 的特征值的非负平方根,其中 A∗ 表示共轭转置。奇异值描述了相应线性映射产生的拉伸作用,不依赖于定义域和值域所采用的标准正交坐标。奇异值既适用于方阵,也适用于矩形矩阵,在矩阵近似、线性方程组求解和数值敏感性分析中具有核心作用。
定义与约定
设 A∈Cm×n,其中 m,n≥1,并令 p=min(m,n)。按照通常的约定,A 的奇异值按如下顺序排列,重复的奇异值按重数计入:
σ1(A)≥σ2(A)≥⋯≥σp(A)≥0,
矩阵 A∗A 是半正定厄米矩阵,因为
x∗A∗Ax=∥Ax∥22≥0.
因此,它的所有特征值都是非负实数。
更确切地说,若 A 的秩为 r,则 A∗A 和 AA∗ 有相同的 r 个正特征值,按重数计入。这些特征值的正平方根就是 A 的正奇异值。再补入 p−r 个零,便得到通常约定的、含 p 个奇异值的列表。
这一约定对矩形矩阵尤为重要。若 n>m,则除了长度为 p 的奇异值列表所对应的零特征值外,矩阵 A∗A 还有 n−m 个额外的零特征值。有些文献则保留 A∗A 的全部 n 个特征值的平方根,将这些额外的零也明确列入。
对于实矩阵,A∗ 就是其转置 AT。
奇异值分解
奇异值分解(SVD)将任意这样的矩阵表示为
A=UΣV∗,
其中 U∈Cm×m 和 V∈Cn×n 是酉矩阵,Σ 是一个 m×n 的矩形对角矩阵,其对角元素为 σ1,…,σp。对于实矩阵,可以选取正交矩阵作为 U 和 V。
V 的列向量 vi 称为右奇异向量,U 的列向量 ui 称为左奇异向量。对于 1≤i≤p,有
Avi=σiui,A∗ui=σivi.
特别地,
A∗Avi=σi2vi,AA∗ui=σi2ui.
一旦规定了排列顺序,奇异值就由 A 唯一确定。奇异向量则一般不唯一。对于重奇异值,可以在相应的奇异子空间内更换标准正交基。即使是单重的正奇异值,在实数情形下,也可以同时改变其左右奇异向量的符号;在复数情形下,则可以同时将二者乘以一个模为一的复数。
奇异值分解表明,每个矩阵都有奇异值,无须要求矩阵是方阵、可逆或可对角化。
几何解释
在标准内积下,矩阵将单位球面映射为椭球面,该椭球面可能位于一个较低维的子空间中。正奇异值是椭球面的主半轴长度,相应的左奇异向量给出这些主半轴的方向。零奇异值表示相应方向被压缩为零。
分解式 A=UΣV∗ 将变换分为三个步骤:
- V∗ 在定义域中进行标准正交坐标变换。
- Σ 对各坐标方向进行拉伸、压缩或归零。
- U 在值域中进行标准正交坐标变换。
例如,
A=(300−2)
的奇异值为 3 和 2。它将单位圆映射为半轴长度分别为 3 和 2 的椭圆。负特征值 −2 体现了方向的反转,而相应的奇异值只反映拉伸的幅度。
对于任意非零向量 x,比值
∥x∥2∥Ax∥2
衡量沿该向量方向的拉伸程度。其最大值为
σ1(A)=∥x∥2=1max∥Ax∥2.
若 m≥n,其最小值为
σn(A)=∥x∥2=1min∥Ax∥2.
若 m<n,由于零空间非平凡,这个最小值总是零,即使按通常约定列出的全部 p=m 个奇异值均为正数也是如此。
奇异值依赖于所选的内积,或者等价地说,依赖于定义域和值域中长度的度量方式。奇异值在标准正交坐标变换下保持不变,但在任意换基或度量尺度变化下并不保持不变。
与特征值的关系
特征值描述的是方阵作用后仅发生标量倍乘、方向保持不变的那些方向。奇异值描述的是定义域与值域之间相互正交的拉伸方向,而这两个空间的维数可以不同。
对于正规矩阵,即满足 A∗A=AA∗ 的矩阵,其奇异值就是特征值的绝对值,按重数计入。实对称矩阵、复厄米矩阵和酉矩阵均属于这种情形。
对于一般矩阵,奇异值不一定等于特征值的模。例如,
A=(0010)
有两个零特征值,但奇异值为 1 和 0。因此,仅凭特征值未必能描述矩阵对向量的拉伸程度。
特征值的最大模总是不超过 σ1(A),但这一不等式可以是严格的。
基本性质
秩与可逆性
正奇异值的个数等于矩阵的秩:
rank(A)=#{i:σi(A)>0}.
对于 n×n 方阵,可逆性等价于 σn(A)>0。若 A 可逆,则其逆矩阵的奇异值是 A 的奇异值的倒数,并按相反顺序排列:
σi(A−1)=σn−i+1(A)1.
酉不变性与缩放
若 Q 和 R 是大小适当的酉矩阵,则
σi(QAR)=σi(A).
此外,
σi(cA)=∣c∣σi(A).
按通常约定,矩阵 A 和 A∗ 的奇异值列表相同。
矩阵范数
若干重要的矩阵范数可以用奇异值表示。
由欧几里得向量范数诱导的谱范数为
∥A∥2=σ1(A).
弗罗贝尼乌斯范数满足
∥A∥F=(i,j∑∣aij∣2)1/2=(i=1∑pσi(A)2)1/2.
核范数又称迹范数,其定义为
∥A∥∗=i=1∑pσi(A).
在凸优化中,它被用作秩的凸替代量。
更一般地,对于 1≤q<∞,Schatten q-范数为
∥A∥Sq=(i=1∑pσi(A)q)1/q.
行列式与体积
对于方阵 A,
∣detA∣=i=1∏nσi(A).
因此,行列式的绝对值等于各主方向拉伸因子的乘积,它给出了该变换对体积的缩放倍数。
对于列满秩的矩形矩阵 A,
det(A∗A)=i=1∏nσi(A)2.
其平方根是 A 将 n 维体积映射到其像空间中时的缩放倍数。
变分刻画
无须显式构造奇异值分解,也可以刻画奇异值。设
σ1≥⋯≥σn
为 A∗A 的全部特征值的平方根,包括 n>m 时额外的零。则
σk=S⊆CndimS=kmax x∈S∥x∥2=1min∥Ax∥2.
这里,S 遍历所有维数为 k 的线性子空间。这一表述说明,第 k 个奇异值是在所有 k 维子空间中,能够达到的最小拉伸程度的最大值。
低秩近似
奇异值衡量了用较低秩矩阵近似一个矩阵时所能达到的精度。将矩阵写成
A=i=1∑rσiuivi∗,
并定义截断奇异值分解
Ak=i=1∑kσiuivi∗,0≤k<r.
埃卡特–杨–米尔斯基定理给出
rank(B)≤kmin∥A−B∥2=∥A−Ak∥2=σk+1,
以及
rank(B)≤kmin∥A−B∥F=∥A−Ak∥F=(i=k+1∑pσi2)1/2.
因此,奇异值快速衰减意味着低秩近似可以具有较小的误差。这是图像压缩、降维和降阶模型等应用的基础。若截断位置附近存在重奇异值,最佳近似可能不唯一。
条件性与扰动
对于可逆方阵,谱条件数为
κ2(A)=∥A∥2∥A−1∥2=σn(A)σ1(A).
这个比值较大,意味着变换在某些方向上的拉伸程度远大于其他方向,因此在求解相应的线性方程组时,数据中的扰动可能被显著放大。
最小奇异值还给出了矩阵到奇异矩阵集合的距离:
A+E singularmin∥E∥2=σn(A).
各个奇异值满足扰动界
∣σi(A+E)−σi(A)∣≤∥E∥2.
因此,从绝对误差的角度看,奇异值是稳定的。然而,对于很小的奇异值,即使扰动很小,其相对误差也可能很大。
当相邻奇异值彼此接近时,奇异向量可能敏感得多。因此,应当区分奇异值本身的稳定性与其对应方向的稳定性。
在数值计算中,数值秩统计的是超过某个容差的奇异值个数,而不是严格为正的奇异值个数。容差取决于数据尺度、噪声、矩阵维数以及浮点运算的精度;不存在能够普遍区分信号与误差的阈值。
应用
最小二乘法与逆问题
对于最小二乘法问题
xmin∥Ax−b∥2,
其最小范数解可写为
x=i=1∑rσiui∗bvi.
很小的正奇异值会导致除以很小的数,从而可能放大 b 中的误差。这是逆问题中的一个核心问题。
正则化通过调整这种放大作用来处理这一问题。截断奇异值分解舍去与小奇异值对应的项。吉洪诺夫正则化则将因子 1/σi 替换为
σi2+λσi,λ>0.
这些方法以放弃敏感方向上的精确拟合为代价,降低对噪声的敏感性。
主成分分析
设 X 是一个各列均已中心化的实数据矩阵,观测数为 N>1。其样本协方差矩阵为
C=N−11XTX.
因此,各主成分的方差为
λi(C)=N−1σi(X)2.
右奇异向量给出主方向,从而将奇异值与主成分分析直接联系起来。选定分量所对应的奇异值平方和占全部奇异值平方和的比例,就是这些分量保留的总方差比例。
计算
尽管奇异值通过 A∗A 定义,但显式计算这一乘积通常并不可取。对于列满秩矩阵,
κ2(A∗A)=κ2(A)2,
而且乘积计算中的舍入误差可能掩盖较小的奇异值。
数值线性代数中的算法通常先通过正交变换或酉变换,将 A 化为双对角形式,然后计算该双对角矩阵的奇异值。此类变换有助于保持数值稳定性。
对于规模极大的矩阵,迭代方法和随机化方法可以在不计算完整奇异值分解的情况下,估计选定的奇异值或构造近似的截断分解。其精度和计算成本取决于谱、矩阵结构以及所需奇异值的数量。
向算子的推广
在泛函分析中,奇异值可以自然地推广到希尔伯特空间之间的紧算子 T。它们是正算子
∣T∣=(T∗T)1/2,
的特征值,按非增顺序排列并计入重数,必要时补入零。
若有无穷多个非零奇异值,则它们趋于零。奇异值的衰减速度量化了有限秩算子的近似能力,将奇异值在矩阵中的作用推广到了算子情形。
对于一般的非紧有界算子,∣T∣ 未必具有离散的特征值列表。因此,有限维情形下用奇异值序列描述拉伸作用的方式,不能原封不动地推广到所有无穷维算子。