实数或复数矩阵 A 的摩尔–彭罗斯伪逆是满足四个方程的唯一矩阵 A+,这四个方程推广了普通逆矩阵的定义性质。每个有限维矩阵都有伪逆,包括非方阵和奇异方阵。伪逆的核心作用是求出线性最小二乘法问题的最小范数解,无论相应方程有唯一解、无穷多解,还是没有精确解。
定义
设 A∈Cm×n。它的摩尔–彭罗斯伪逆是满足以下四个彭罗斯方程的矩阵 A+∈Cn×m:
A+AA+=A+,
(AA+)∗=AA+,
(A+A)∗=A+A.
这里,M∗ 表示 M 的共轭转置。对于实矩阵,它就是通常的转置。
前两个方程表达了广义逆关系。后两个方程要求乘积 AA+ 和 A+A 为厄米矩阵。这四个条件共同唯一确定了 A+。
另一种常用记号是 A†。广义逆是一个范围更广的概念:例如,仅满足 AGA=A 的矩阵不一定是摩尔–彭罗斯伪逆,也不一定唯一。
对于非奇异方阵,
A+=A−1.
零矩阵的伪逆仍为零矩阵,其行数与列数相对于原矩阵互换。
通过奇异值分解构造
奇异值分解提供了一种通用的构造方法,同时也证明了伪逆的存在性。将矩阵写成
A=UΣV∗,
其中,U∈Cm×m 和 V∈Cn×n 是酉矩阵,Σ 是矩形对角矩阵。若 A 的秩为 r,则其正奇异值为
σ1≥σ2≥⋯≥σr>0.
将 Σ 的行数与列数互换,把每个正奇异值替换为其倒数,并保持零元素不变,即得到 Σ+。于是
A+=VΣ+U∗.
等价地,仅使用与正奇异值对应的奇异向量,可得
A=i=1∑rσiuivi∗,A+=i=1∑rσi1viui∗.
这一公式清楚地揭示了核心操作:伪逆在每个非零奇异值对应的方向上施行逆变换,并将无法求逆的方向映射为零。
将这一表达式代入四个彭罗斯方程,即可验证存在性。对于唯一性,厄米条件迫使 AA+ 和 A+A 成为特定的正交投影;其余条件则进一步确定了 A+ 在这些投影的像空间上的作用。
几何解释
将 A 视为从 Cn 到 Cm 的线性映射,两个空间均配备标准内积。定义域可分解为
Cn=ker(A)⊥⊕ker(A),
其中,ker(A) 是零空间,上标 ⊥ 表示正交补。陪域可分解为
Cm=range(A)⊕ker(A∗).
限制映射
A:ker(A)⊥⟶range(A)
是双射。伪逆在这一限制映射上施行逆映射,并将 ker(A∗) 映射为零。
因此,
AA+=Prange(A),A+A=Prange(A∗),
其中,PS 是到子空间 S 上的正交投影。空间 range(A∗)=ker(A)⊥ 是行空间,在这里被视为定义域的子空间。
这一解释说明了这些乘积通常不是单位矩阵的原因:相关像空间以外的方向无法恢复。它还表明,摩尔–彭罗斯伪逆的构造依赖于内积。改变内积,可能会改变被视为最小范数解的那个解。
线性方程与最小二乘法
考虑线性方程组
对于每个 b,向量
都使残差的欧几里得范数最小:
x∗∈xargmin∥Ax−b∥2.
在所有达到这一最小残差的向量中,它是唯一具有最小欧几里得范数的向量。
相容方程组
存在精确解的充要条件是 b∈range(A),等价地,
此时,每个精确解都具有如下形式:
x=A+b+(In−A+A)z,z∈Cn,
其中,In 是单位矩阵。第二项遍历整个 ker(A)。
由于 A+b 与零空间正交,加上任何非零的零空间分量都会增大范数。因此,即使存在无穷多个精确解,伪逆也能从中选出唯一一个解。
不相容方程组
若 b∈/range(A),则不存在精确解。此时,
Ax∗=AA+b
是 b 在 A 的列空间上的正交投影。残差
与该空间正交。
所有最小二乘解同样具有如下形式:
x=A+b+(In−A+A)z.
它们满足正规方程
A∗Ax=A∗b.
当 A 秩亏时,这些方程不能唯一确定 x;最小范数要求则从中选出 A+b。
示例
对于单个方程
x1+x2=1,A=(11),
其伪逆为
A+=(1/21/2).
因此,最小范数解为
x∗=(1/21/2).
所有精确解为
x=(1/21/2)+t(1−1),
其范数的平方为 1/2+2t2。
特殊公式与代数性质
若 A 列满秩,则 A∗A 可逆,且
A+=(A∗A)−1A∗.
若 A 行满秩,则 AA∗ 可逆,且
A+=A∗(AA∗)−1.
若不满足相应的秩条件,这两个使用普通逆矩阵的公式均不适用。使用伪逆则有一般恒等式
A+=(A∗A)+A∗=A∗(AA∗)+.
其他有用的性质包括
(A+)+=A,(A∗)+=(A+)∗,
(αA)+=α−1A+for α=0,
以及
rank(A+)=rank(A).
对于维数相容的酉矩阵 U 和 V,有
(UAV)+=V∗A+U∗.
因此,这一构造与正交归一坐标变换自然相容。它通常不满足逆序律
(AB)+=B+A+;
这一恒等式需要额外条件才能成立。此外,伪逆运算通常也不满足对矩阵加法的分配律。
对于厄米矩阵,谱定理给出了一种类似的构造方法:保留其特征向量,将每个非零特征值替换为其倒数,并保持零特征值不变。
数值计算与敏感性
在数值线性代数中,奇异值分解(SVD)是计算伪逆和最小范数解的标准方法。能够揭示矩阵秩的QR分解及相关分解也常用于此类计算。
如果目的只是求得 A+b,通常不必显式构造整个矩阵 A+。可以利用分解直接对 b 进行运算,从而减少存储需求,有时也能降低计算成本。
列满秩情况下的表达式 (A∗A)−1A∗ 在代数推导中很有用,但在数值计算中可能并不理想。构造 A∗A 会使谱条件数变为原来的平方:
κ2(A∗A)=κ2(A)2.
这可能放大舍入误差的影响。
小奇异值与数值秩
在精确数学中,每个非零奇异值都要取倒数。在浮点运算中,极小的奇异值可能无法与扰动或舍入误差区分。因此,软件通常会设定一个容差,并将低于该容差的奇异值视为零。
由此得到的矩阵是 A 的某个截断近似矩阵的精确伪逆,而不一定是 A 本身的精确伪逆。容差决定了实际采用的数值秩。
即使某个很小的奇异值得到了精确计算,其倒数仍可能放大测量噪声。分解算法的数值稳定性并不能消除问题本身固有的敏感性。
连续性与秩的变化
在保持秩不变的扰动下,伪逆连续变化;但秩发生变化时,连续性可能失效。例如,
A(t)=(100t).
当 t=0 时,
A(t)+=(1001/t),
而
A(0)+=(1000).
1/t 的发散说明了近奇异问题为何可能具有很高的敏感性。
正则化与应用
伪逆在线性回归、带约束的线性计算和逆问题中发挥着核心作用。在普通最小二乘法中,即使设计矩阵秩亏,A+b 也能给出一个最小范数的系数向量。但这种代数上的选择本身并不能使不可辨识的系数获得唯一的解释。
在逆问题中,直接求伪逆可能放大噪声。正则化通过修改问题来替代精确求逆。例如,最小化
∥Ax−b∥22+λ∥x∥22,λ>0,
可得
xλ=(A∗A+λIn)−1A∗b.
这就是岭回归采用的基本二次惩罚形式。在奇异向量坐标下,它将倒数因子 1/σi 替换为
σi2+λσi.
对于固定的有限维矩阵,
A+=λ↓0lim(A∗A+λIn)−1A∗.
截断小奇异值是另一种正则化策略。这两种方法都改变了对那些难以准确确定的方向的处理方式;二者都不应与对原矩阵精确求伪逆混为一谈。
历史与适用范围
这一构造以埃利亚金·黑斯廷斯·摩尔和罗杰·彭罗斯的名字命名:前者于1920年引入了一种广义逆,后者于1955年给出了四方程刻画。此后,伪逆成为连接线性代数、最小二乘法和数值计算的标准工具。
有限维理论可以推广到希尔伯特空间之间的算子。对于具有闭值域的有界算子,摩尔–彭罗斯逆是有界算子,并具有类似的投影性质。若值域不闭,广义逆可能是无界的,也未必在整个陪域上都有定义,因此,有限维情形中的存在性结论在无限维情形下需要附加限定条件。