实数或复数矩阵 A 的摩尔–彭罗斯逆是满足四个代数条件的唯一矩阵 A+,这些条件推广了普通逆矩阵的定义性质。每个有限维矩阵都有摩尔–彭罗斯逆,包括矩形矩阵和奇异方阵。当 A 可逆时,A+ 就是它的逆矩阵。否则,它在能够逆转的方向上逆转 A 的作用,而将其余正交方向上的分量映射为零。
它的主要用途是求解无精确解或有多个解的线性方程组。对于任意右端向量 b,向量 A+b 都使残差 ∥Ax−b∥2 最小;在所有达到这一最小值的向量中,它的欧几里得范数最小。因此,摩尔–彭罗斯逆是最小二乘法、数值计算、统计建模和反问题研究中的基础工具。它的几何意义可用正交投影来描述,而最直接的计算表征则借助奇异值分解给出。
这一名称是为了纪念 E. H. 摩尔和罗杰·彭罗斯:前者于1920年提出了广义逆的一种早期形式,后者于1955年通过四个矩阵方程刻画了这种逆。阿尔内·比耶哈马尔也于1951年发表了相关研究。虽然“伪逆”有时泛指更广泛的一类广义逆,但通常指的就是摩尔–彭罗斯逆。
定义方程与几何意义
设 A∈Cm×n,以 A∗ 表示其共轭转置。摩尔–彭罗斯逆是满足以下四个彭罗斯方程的矩阵 A+∈Cn×m:
AA+A=A,A+AA+=A+,
(AA+)∗=AA+,(A+A)∗=A+A.
对于实矩阵,共轭转置就是通常的矩阵转置。第一个方程表明,A+ 能在足够的程度上逆转 A 的作用,从而重现 A 的每一个输出。第二个方程排除了实现这种逆向作用所需部分之外的多余作用。最后两个方程则要求投影具有正交性,而不仅仅是代数意义上的投影。
为理解这些要求,可将 A 看作从 Cn 到 Cm 的线性映射,这两个空间均配备标准内积。其定义域和陪域具有如下正交分解:
Cn=R(A∗)⊕N(A),Cm=R(A)⊕N(A∗),
其中,R 表示像,N 表示零空间。将 A 限制在 R(A∗) 上,便得到一个到 R(A) 的双射。伪逆在该像空间上就是这一双射的逆,而在 N(A∗) 上为零。这一构造同时确立了伪逆的存在性和唯一性,无须要求 A 为方阵。
两个乘积
P=AA+,Q=A+A
都是正交投影。具体而言,P 投影到列空间 R(A),而 Q 投影到 R(A∗),即对行空间取共轭转置所得的空间。它们均为自伴算子,并具有幂等性:
P∗=P,P2=P,Q∗=Q,Q2=Q.
因此,I−P 投影到 N(A∗),而 I−Q 投影到 N(A)。这些互补投影将可实现的数据与残差分离,也将可辨识的输入方向与被 A 映为零的方向分离。
正交性要求使摩尔–彭罗斯逆区别于一般的广义逆。仅满足 AGA=A 的矩阵 G 可以重现 A 的输出,却不一定产生正交投影或最小范数解。这样的矩阵可能有很多。摩尔–彭罗斯逆的典范性是相对于给定内积而言的,并非独立于几何结构:改变内积,通常也会改变哪个解具有最小范数。
奇异值与显式构造
奇异值分解给出了适用于任意矩阵的直接公式。令
A=UΣV∗,
其中 U∈Cm×m 和 V∈Cn×n 是酉矩阵,Σ 是矩形对角矩阵。若 A 的秩为 r,则其正奇异值可按如下顺序排列:
σ1≥σ2≥⋯≥σr>0.
将每个正奇异值替换为其倒数,并使所有零元素保持为零,即可构造出 Σ+∈Rn×m。于是
A+=VΣ+U∗.
因此,求伪逆会交换输入与输出的奇异向量方向,同时仅对非零的缩放因子取倒数。
用左、右奇异向量可表示为
A=i=1∑rσiuivi∗,A+=i=1∑rσi1viui∗.
相应的投影为
AA+=i=1∑ruiui∗,A+A=i=1∑rvivi∗.
这些公式表明,rank(A+)=r,A+ 的非零奇异值是 A 的非零奇异值的倒数,而零矩阵的伪逆仍是零矩阵,其行数与列数互换。
一些重要的特殊情形有更简洁的表达式。若 A 列满秩,则 m≥n,且
A+=(A∗A)−1A∗.
若它行满秩,则 m≤n,且
A+=A∗(AA∗)−1.
矩阵 A∗A 和 AA∗ 都是格拉姆矩阵;相应的格拉姆矩阵可逆,当且仅当上述对应的秩条件成立。这些表达式在代数运算中很有用,但在数值计算中,显式构造格拉姆矩阵可能并不理想。
秩分解提供了另一种精确构造方法。若
其中 B∈Cm×r 列满秩,C∈Cr×n 行满秩,则
A+=C∗(CC∗)−1(B∗B)−1B∗.
这个公式只需要对 r 阶矩阵求逆。对于非零的秩一矩阵 A=uv∗,它可简化为
A+=(u∗u)(v∗v)vu∗.
对于厄米矩阵,谱定理给出了类似的构造方法:先将矩阵对角化,再对每个非零特征值取倒数,并将零特征值保留为零。负特征值取倒数后仍为负数。
最小二乘解与最小范数
对于 A∈Cm×n 和 b∈Cm,考虑
x∈Cnmin∥Ax−b∥2.
伪逆选取的解为
其拟合输出为
Ax0=AA+b,
即 b 在 R(A) 上的正交投影。要说明这一选择为何使残差最小,可作如下分解:
b=AA+b+(I−AA+)b.
对于任意 x,向量 Ax−AA+b 与 (I−AA+)b 相互正交。因此,由勾股恒等式可得
∥Ax−b∥22=∥Ax−AA+b∥22+∥(I−AA+)b∥22.
第二项无法消除;第一项恰好在 Ax=AA+b 时为零。
所有最小二乘解都具有如下形式:
x=A+b+(I−A+A)z,z∈Cn.
第二项遍历 N(A),因此它只改变输入,而不改变拟合输出。由于 A+b∈R(A∗),它与所有这样的附加项都正交。因此
∥x∥22=∥A+b∥22+∥(I−A+A)z∥22.
这就证明了 A+b 是唯一的最小范数最小二乘解。这两个最小化过程有先后层次:先使残差范数最小,再仅在残差范数已达到最小值的解中,使解的范数最小。
当 b∈R(A) 时,残差为零,上述公式给出了 Ax=b 的所有精确解。例如,
A=(11),A+=21(11).
方程 x1+x2=b 有无穷多个解,但伪逆选取的是 x1=x2=b/2。反过来,对于
A=(11),
其伪逆为 21(1 1)。将其作用于 b=(b1,b2)T,得到的是算术平均值,即使其与这两个观测值之差的平方和最小的标量。
每个最小二乘解都满足正规方程
A∗Ax=A∗b.
如果 A 秩亏,这些方程就无法确定唯一的向量。伪逆通过附加条件 x∈R(A∗),排除了零空间中的分量。若将多个右端项汇集为矩阵 B,则上述论证可逐列应用:A+B 使 ∥AX−B∥F 最小,并且在所有使该范数达到最小值的解中,其弗罗贝尼乌斯范数最小。
代数恒等式及其局限
若干熟悉的求逆恒等式对伪逆仍然成立。对于任意有限维矩阵,
(A+)+=A,(A∗)+=(A+)∗.
对于非零标量 α,
(αA)+=α−1A+.
若 U 和 V 是维数适当的酉矩阵,则
(UAV)+=V∗A+U∗.
因此,伪逆与正交归一坐标变换相容。这一性质既可由彭罗斯方程推出,也可由奇异值分解得到。
这些恒等式不能推广到任意可逆坐标变换。非酉变换会改变长度和角度,从而改变最小范数准则。一般而言,
(SAT)+=T−1A+S−1.
例如,令 A=(1 1),T=diag(2,1)。则
(AT)+=51(21),
而
T−1A+=(1/41/2).
两者都是 AT 的右逆,但只有前者给出的解具有最小的标准欧几里得范数。
通常的逆序律一般也不成立:
(AB)+=B+A+.
一个简单的例子是
A=(11),B=(10).
此时 AB=(1),所以 (AB)+=(1),但
B+A+=(10)21(11)=21.
在附加条件下,逆序律确实成立。特别地,当 A 列满秩且 B 行满秩时,逆序律成立,这可由秩分解公式推出。当相关因子为酉矩阵时,逆序律也成立。
以下实用的格拉姆矩阵恒等式无需满秩假设即可成立:
A+=(A∗A)+A∗=A∗(AA∗)+,
以及
(A∗A)+=A+(A+)∗.
对于正交投影 P,有 P+=P;对于酉矩阵,其伪逆就是其伴随矩阵。分块对角矩阵的伪逆可逐块求取。相比之下,伪逆没有普遍成立的加法法则:(A+B)+ 通常不等于 A++B+。这些区别很重要,因为对可逆矩阵成立的运算,在中间因子降秩时可能会不知不觉地失效。
数值计算与数值秩
奇异值分解是计算伪逆的标准通用方法。它的主要优势在于能够揭示矩阵在哪些方向上接近奇异。在精确算术中,每个正奇异值都取其倒数。然而,在浮点运算中,计算得到的奇异值若接近舍入误差的量级,就无法可靠地区分精确的线性相关与极弱的线性无关。因此,软件通常会采用阈值 τ,仅当 σi>τ 时才保留 σi−1。
一种典型的、随尺度变化的阈值形式为
τ=cmax(m,n)εσ1,
其中,ε 为机器精度,c 为取决于具体实现的系数。所得矩阵是 A 的某个截断近似矩阵的精确伪逆,不一定是原始数学矩阵的精确伪逆。对于病态数据,这一区别尤为重要。仅依据算术精度设定阈值,是为了处理舍入误差;为抑制测量噪声而选择阈值,则体现了额外的建模决策。
若已知矩阵满列秩,则通过薄QR分解
A=QR,Q∗Q=I,
可得
A+=R−1Q∗.
对于单个右端向量,也可以先计算 Q∗b,再求解三角方程组 Rx=Q∗b,而不必构造 A+。秩揭示 QR 分解和完全正交分解能够处理秩亏情形,但仍须判定矩阵的秩。奇异值分解通常能提供更充分的奇异值信息,而基于 QR 分解的方法计算成本可能更低。
代数公式 (A∗A)−1A∗ 通常不是数值计算的首选。对于满列秩矩阵,其谱条件数满足
κ2(A∗A)=κ2(A)2.
因此,构造正规方程会使条件数变为原来的平方,并可能在计算逆矩阵之前,就丢失小奇异值所对应方向上的信息。正交分解可以避免这种特定的放大效应,但任何算法都无法消除原问题固有的敏感性。
对于满足 m≥n 的稠密 m×n 矩阵,标准奇异值分解的算术运算成本为 mn2 量级。显式存储伪逆需要存储 mn 个元素,而且可能破坏稀疏性。因此,大规模计算方法往往间接计算 A+b。LSQR 等克雷洛夫子空间最小二乘方法,在精确算术下以零向量为初始向量时,收敛后会得到最小范数最小二乘解。提前停止、预条件处理和有限精度都可能改变这一行为,必须将它们与精确求伪逆区分开来。
扰动、不连续性与正则化
求伪逆对很小的非零奇异值十分敏感,因为对于非零的秩为 r 的矩阵,有
∥A+∥2=σr1
如果矩阵保持不变,而右端项发生了 δb 的变化,则
δx=A+δb,∥δx∥2≤∥A+∥2∥δb∥2.
更具体地说,沿 ui 方向的噪声会在输入中产生沿 vi 方向的误差,并被放大 1/σi 倍。因此,困难与方向有关,而不只是数据整体量级的问题。
与非奇异矩阵集合上的普通求逆不同,当矩阵的秩发生变化时,求伪逆并不连续。考虑
A(t)=(100t).
当 t=0 时,
A(t)+=(100t−1),
但
A(0)+=(1000).
尽管 A(t)→A(0),其伪逆却发散。如果只考虑秩固定的矩阵,伪逆的变化则是连续且光滑的。然而,在任意秩亏矩阵的任意小邻域内,都存在秩更高的矩阵,因此不受限制的扰动可能导致奇异行为。
在逆问题中,一个很小的奇异值可能对应一个真实存在、但观测不充分的方向。精确求伪逆可能将该方向上的噪声放大到无法接受的程度。正则化通过调整逆算子的作用方式来处理这一问题,而不是试图恢复每一个非零奇异分量。截断奇异值分解采用
xτ=σi>τ∑σiui∗bvi.
这种方法将难以分辨的方向完全剔除。阈值控制着抑制噪声与舍弃信号之间的权衡;它并非由彭罗斯方程决定。
一种平滑的替代方法是二次正则化,也称吉洪诺夫正则化:
xλ=xargmin(∥Ax−b∥22+λ∥x∥22)=(A∗A+λI)−1A∗b,λ>0.
它在各奇异方向上的因子为
σi2+λσi,
而不是 1/σi。对于固定的有限维矩阵 A,有
λ↓0limxλ=A+b,
在矩阵层面则有
A+=λ↓0lim(A∗A+λI)−1A∗.
当 λ 为正时,正则化解通常不是原问题的摩尔–彭罗斯解。它的目的恰恰是用可控的近似取代不稳定的精确求逆。
统计与科学应用
在线性回归中,实设计矩阵 X∈Rn×p 通过下式将观测值与系数联系起来:
y=Xβ+ε.
普通最小二乘法的系数向量可取为
β=X+y.
若 X 的各列线性无关,则该式等于 (XTX)−1XTy。若各列线性相关,最小二乘法便不能唯一确定系数,但拟合向量仍然唯一:
y=Hy,H=XX+.
帽子矩阵 H 是到模型列空间上的正交投影,且
tr(H)=rank(X).
采用最小范数这一约定并不能解决统计识别中的不可识别性问题。在 E[ε]=0 的条件下,
E[β]=X+Xβ,
仅当 β 位于 X 的行空间中时,该式才等于 β。当 c∈R(XT) 时,线性对比 cTβ 可由响应的均值估计。若
Cov(ε)=σ2I,
则
Cov(β)=σ2X+(X+)T=σ2(XTX)+.
零空间方向上的方差为零,反映的是估计量按约定将该分量设为零,而非观测提供了相关信息。
加权问题表明,明确所采用的几何结构十分重要。对于正定矩阵 W,最小化
(Ax−b)∗W(Ax−b)
可通过对 A 和 b 分别左乘 W1/2,化为普通最小二乘问题。若解的大小用 x∗Mx 衡量,其中 M 为正定矩阵,则最小 M-范数加权最小二乘解为
x=M−1/2(W1/2AM−1/2)+W1/2b.
当观测误差的方差不相等,或输入坐标具有不同的物理尺度时,就会出现这类问题。
在微分运动学中,机器人的关节速度 q˙ 与任务空间速度 x˙ 通过雅可比矩阵联系起来:
Jq˙=x˙.
指令 q˙=J+x˙ 在所有精确解中具有最小的关节速度欧几里得范数;若所要求的速度无法实现,则它在所有最小二乘解中具有最小范数。项 (I−J+J)z 描述了在一阶近似下不改变任务空间速度的运动。在运动学奇异点附近,较小的奇异值可能导致很大的指令值,因此需要采用阻尼最小二乘等变体。
在图论中,连通无向图的图拉普拉斯算子对应的矩阵 L 是奇异的,其零空间由常向量张成。只要 b 的分量之和为零,其伪逆就会选出 Lx=b 的均值为零的解。对于边电导均为正的电阻网络,顶点 i 与 j 之间的有效电阻为
Rij=(ei−ej)TL+(ei−ej).
无法求逆的那个方向,对应于电势中任意的加法常数。
希尔伯特空间上的算子与无限维极限
上述几何构造可以从矩阵推广到希尔伯特空间之间的有界线性算子,但有限维情形掩盖了一个重要条件:有限维值域总是闭的。设 T:H→K 为有界算子。如果 R(T) 是闭的,则
H=N(T)⊥⊕N(T),K=R(T)⊕R(T)⊥.
将 T 限制在 N(T)⊥ 上,就得到一个到 R(T) 的双射。取其逆映射,并在 R(T)⊥ 上将其延拓为零,便得到有界算子 T+。它与矩阵伪逆具有相同的最小范数解释和投影解释。
如果值域不是闭的,仍可将摩尔–彭罗斯逆定义为一个稠密定义的算子,其定义域为
D(T+)=R(T)⊕R(T)⊥,
但此时它是无界的。这会改变最小二乘解的存在性。元素 y 可能属于 R(T) 的闭包,却不属于值域本身。此时,∥Tx−y∥ 的下确界为零,却没有任何向量能使其达到这一值。有限维最小二乘问题总有极小解,因为矩阵的值域是闭的。
一个具体例子是作用于平方可和序列空间 ℓ2 上的算子:
T(x1,x2,…)=(x1,2x2,3x3,…).
这个算子有界且为单射,其值域稠密但不闭。它的广义逆按下式作用:
T+(y1,y2,…)=(y1,2y2,3y3,…)
其定义域由使所得序列平方可和的所有序列组成。对于单位坐标向量 ek,有 ∥T+ek∥=k,这就证明了 T+ 是无界的。序列 y=(1,1/2,1/3,…) 属于 ℓ2,却不属于 R(T),因为它的形式原像是一个不具平方可和性的常数序列。
对于具有奇异系统
Tvi=σiui,
的算子,有限维公式推广为
T+y=i∑σi⟨y,ui⟩vi,
其中级数仅对适当的 y 收敛。特别地,y 的值域分量必须满足
i∑σi2∣⟨y,ui⟩∣2<∞.
无限秩紧算子的奇异值趋于零,因此它们在值域上的逆是无界的。这种现象出现在积分方程及泛函分析中的其他问题中。有限维离散化将无界求逆问题转化为矩阵求逆问题,而所得矩阵的奇异值会越来越小,从而将算子理论中的闭值域条件与数值上的病态性及正则化的必要性直接联系起来。