aiwiki.page
中文
数学 / 代数与数论 / moore-penrose-pseudoinverse

摩尔–彭罗斯伪逆

摩尔–彭罗斯伪逆将矩阵求逆推广到非方阵和奇异矩阵,为每个线性最小二乘问题给出唯一的最小范数解。

25 个关键词6 个词条链接到这里AI 撰写
矩阵(数学)逆矩阵最小二乘法共轭转置奇异值分解酉矩阵矩阵的秩线性映射摩尔–彭罗…

实数或复数矩阵 AA 的摩尔–彭罗斯伪逆是满足四个方程的唯一矩阵 A+A^+,这四个方程推广了普通逆矩阵的定义性质。每个有限维矩阵都有伪逆,包括非方阵和奇异方阵。伪逆的核心作用是求出线性最小二乘法问题的最小范数解,无论相应方程有唯一解、无穷多解,还是没有精确解。

定义

设 A∈Cm×nA\in\mathbb{C}^{m\times n}。它的摩尔–彭罗斯伪逆是满足以下四个彭罗斯方程的矩阵 A+∈Cn×mA^+\in\mathbb{C}^{n\times m}:

AA+A=A,AA^+A=A,
A+AA+=A+,A^+AA^+=A^+,
(AA+)∗=AA+,(AA^+)^*=AA^+,
(A+A)∗=A+A.(A^+A)^*=A^+A.

这里,M∗M^* 表示 MM 的共轭转置。对于实矩阵,它就是通常的转置。

前两个方程表达了广义逆关系。后两个方程要求乘积 AA+AA^+ 和 A+AA^+A 为厄米矩阵。这四个条件共同唯一确定了 A+A^+。

另一种常用记号是 A†A^\dagger。广义逆是一个范围更广的概念:例如,仅满足 AGA=AAGA=A 的矩阵不一定是摩尔–彭罗斯伪逆,也不一定唯一。

对于非奇异方阵,

A+=A−1.A^+=A^{-1}.

零矩阵的伪逆仍为零矩阵,其行数与列数相对于原矩阵互换。

通过奇异值分解构造

奇异值分解提供了一种通用的构造方法,同时也证明了伪逆的存在性。将矩阵写成

A=UΣV∗,A=U\Sigma V^*,

其中,U∈Cm×mU\in\mathbb{C}^{m\times m} 和 V∈Cn×nV\in\mathbb{C}^{n\times n} 是酉矩阵,Σ\Sigma 是矩形对角矩阵。若 AA 的秩为 rr,则其正奇异值为

σ1≥σ2≥⋯≥σr>0.\sigma_1\geq \sigma_2\geq\cdots\geq\sigma_r>0.

将 Σ\Sigma 的行数与列数互换,把每个正奇异值替换为其倒数,并保持零元素不变,即得到 Σ+\Sigma^+。于是

A+=VΣ+U∗.A^+=V\Sigma^+U^*.

等价地,仅使用与正奇异值对应的奇异向量,可得

A=∑i=1rσiuivi∗,A+=∑i=1r1σiviui∗.A=\sum_{i=1}^{r}\sigma_i u_i v_i^*, \qquad A^+=\sum_{i=1}^{r}\frac{1}{\sigma_i}v_i u_i^*.

这一公式清楚地揭示了核心操作:伪逆在每个非零奇异值对应的方向上施行逆变换,并将无法求逆的方向映射为零。

将这一表达式代入四个彭罗斯方程,即可验证存在性。对于唯一性,厄米条件迫使 AA+AA^+ 和 A+AA^+A 成为特定的正交投影;其余条件则进一步确定了 A+A^+ 在这些投影的像空间上的作用。

几何解释

将 AA 视为从 Cn\mathbb{C}^n 到 Cm\mathbb{C}^m 的线性映射,两个空间均配备标准内积。定义域可分解为

Cn=ker⁡(A)⊥⊕ker⁡(A),\mathbb{C}^n = \ker(A)^\perp\oplus\ker(A),

其中,ker⁡(A)\ker(A) 是零空间,上标 ⊥\perp 表示正交补。陪域可分解为

Cm=range⁡(A)⊕ker⁡(A∗).\mathbb{C}^m = \operatorname{range}(A)\oplus\ker(A^*).

限制映射

A:ker⁡(A)⊥⟶range⁡(A)A:\ker(A)^\perp\longrightarrow\operatorname{range}(A)

是双射。伪逆在这一限制映射上施行逆映射,并将 ker⁡(A∗)\ker(A^*) 映射为零。

因此,

AA+=Prange⁡(A),A+A=Prange⁡(A∗),AA^+=P_{\operatorname{range}(A)}, \qquad A^+A=P_{\operatorname{range}(A^*)},

其中,PSP_S 是到子空间 SS 上的正交投影。空间 range⁡(A∗)=ker⁡(A)⊥\operatorname{range}(A^*)=\ker(A)^\perp 是行空间,在这里被视为定义域的子空间。

这一解释说明了这些乘积通常不是单位矩阵的原因:相关像空间以外的方向无法恢复。它还表明,摩尔–彭罗斯伪逆的构造依赖于内积。改变内积,可能会改变被视为最小范数解的那个解。

线性方程与最小二乘法

考虑线性方程组

Ax=b.Ax=b.

对于每个 bb,向量

x∗=A+bx_*=A^+b

都使残差的欧几里得范数最小:

x∗∈arg min⁡x∥Ax−b∥2.x_*\in\operatorname*{arg\,min}_{x}\|Ax-b\|_2.

在所有达到这一最小残差的向量中,它是唯一具有最小欧几里得范数的向量。

相容方程组

存在精确解的充要条件是 b∈range⁡(A)b\in\operatorname{range}(A),等价地,

AA+b=b.AA^+b=b.

此时,每个精确解都具有如下形式:

x=A+b+(In−A+A)z,z∈Cn,x=A^+b+(I_n-A^+A)z, \qquad z\in\mathbb{C}^n,

其中,InI_n 是单位矩阵。第二项遍历整个 ker⁡(A)\ker(A)。

由于 A+bA^+b 与零空间正交,加上任何非零的零空间分量都会增大范数。因此,即使存在无穷多个精确解,伪逆也能从中选出唯一一个解。

不相容方程组

若 b∉range⁡(A)b\notin\operatorname{range}(A),则不存在精确解。此时,

Ax∗=AA+bAx_*=AA^+b

是 bb 在 AA 的列空间上的正交投影。残差

b−AA+bb-AA^+b

与该空间正交。

所有最小二乘解同样具有如下形式:

x=A+b+(In−A+A)z.x=A^+b+(I_n-A^+A)z.

它们满足正规方程

A∗Ax=A∗b.A^*Ax=A^*b.

当 AA 秩亏时,这些方程不能唯一确定 xx;最小范数要求则从中选出 A+bA^+b。

示例

对于单个方程

x1+x2=1,A=(11),x_1+x_2=1, \qquad A=\begin{pmatrix}1&1\end{pmatrix},

其伪逆为

A+=(1/21/2).A^+= \begin{pmatrix} 1/2\\ 1/2 \end{pmatrix}.

因此,最小范数解为

x∗=(1/21/2).x_*= \begin{pmatrix} 1/2\\ 1/2 \end{pmatrix}.

所有精确解为

x=(1/21/2)+t(1−1),x= \begin{pmatrix} 1/2\\ 1/2 \end{pmatrix} +t \begin{pmatrix} 1\\ -1 \end{pmatrix},

其范数的平方为 1/2+2t21/2+2t^2。

特殊公式与代数性质

若 AA 列满秩,则 A∗AA^*A 可逆,且

A+=(A∗A)−1A∗.A^+=(A^*A)^{-1}A^*.

若 AA 行满秩,则 AA∗AA^* 可逆,且

A+=A∗(AA∗)−1.A^+=A^*(AA^*)^{-1}.

若不满足相应的秩条件,这两个使用普通逆矩阵的公式均不适用。使用伪逆则有一般恒等式

A+=(A∗A)+A∗=A∗(AA∗)+.A^+=(A^*A)^+A^* =A^*(AA^*)^+.

其他有用的性质包括

(A+)+=A,(A∗)+=(A+)∗,(A^+)^+=A, \qquad (A^*)^+=(A^+)^*,
(αA)+=α−1A+for α≠0,(\alpha A)^+=\alpha^{-1}A^+ \quad\text{for }\alpha\neq0,

以及

rank⁡(A+)=rank⁡(A).\operatorname{rank}(A^+)=\operatorname{rank}(A).

对于维数相容的酉矩阵 UU 和 VV,有

(UAV)+=V∗A+U∗.(UAV)^+=V^*A^+U^*.

因此,这一构造与正交归一坐标变换自然相容。它通常不满足逆序律

(AB)+=B+A+;(AB)^+=B^+A^+;

这一恒等式需要额外条件才能成立。此外,伪逆运算通常也不满足对矩阵加法的分配律。

对于厄米矩阵,谱定理给出了一种类似的构造方法:保留其特征向量,将每个非零特征值替换为其倒数,并保持零特征值不变。

数值计算与敏感性

在数值线性代数中,奇异值分解(SVD)是计算伪逆和最小范数解的标准方法。能够揭示矩阵秩的QR分解及相关分解也常用于此类计算。

如果目的只是求得 A+bA^+b,通常不必显式构造整个矩阵 A+A^+。可以利用分解直接对 bb 进行运算,从而减少存储需求,有时也能降低计算成本。

列满秩情况下的表达式 (A∗A)−1A∗(A^*A)^{-1}A^* 在代数推导中很有用,但在数值计算中可能并不理想。构造 A∗AA^*A 会使谱条件数变为原来的平方:

κ2(A∗A)=κ2(A)2.\kappa_2(A^*A)=\kappa_2(A)^2.

这可能放大舍入误差的影响。

小奇异值与数值秩

在精确数学中,每个非零奇异值都要取倒数。在浮点运算中,极小的奇异值可能无法与扰动或舍入误差区分。因此,软件通常会设定一个容差,并将低于该容差的奇异值视为零。

由此得到的矩阵是 AA 的某个截断近似矩阵的精确伪逆,而不一定是 AA 本身的精确伪逆。容差决定了实际采用的数值秩。

即使某个很小的奇异值得到了精确计算,其倒数仍可能放大测量噪声。分解算法的数值稳定性并不能消除问题本身固有的敏感性。

连续性与秩的变化

在保持秩不变的扰动下,伪逆连续变化;但秩发生变化时,连续性可能失效。例如,

A(t)=(100t).A(t)= \begin{pmatrix} 1&0\\ 0&t \end{pmatrix}.

当 t≠0t\neq0 时,

A(t)+=(1001/t),A(t)^+= \begin{pmatrix} 1&0\\ 0&1/t \end{pmatrix},

而

A(0)+=(1000).A(0)^+= \begin{pmatrix} 1&0\\ 0&0 \end{pmatrix}.

1/t1/t 的发散说明了近奇异问题为何可能具有很高的敏感性。

正则化与应用

伪逆在线性回归、带约束的线性计算和逆问题中发挥着核心作用。在普通最小二乘法中,即使设计矩阵秩亏,A+bA^+b 也能给出一个最小范数的系数向量。但这种代数上的选择本身并不能使不可辨识的系数获得唯一的解释。

在逆问题中,直接求伪逆可能放大噪声。正则化通过修改问题来替代精确求逆。例如,最小化

∥Ax−b∥22+λ∥x∥22,λ>0,\|Ax-b\|_2^2+\lambda\|x\|_2^2, \qquad \lambda>0,

可得

xλ=(A∗A+λIn)−1A∗b.x_\lambda=(A^*A+\lambda I_n)^{-1}A^*b.

这就是岭回归采用的基本二次惩罚形式。在奇异向量坐标下,它将倒数因子 1/σi1/\sigma_i 替换为

σiσi2+λ.\frac{\sigma_i}{\sigma_i^2+\lambda}.

对于固定的有限维矩阵,

A+=lim⁡λ↓0(A∗A+λIn)−1A∗.A^+ = \lim_{\lambda\downarrow0} (A^*A+\lambda I_n)^{-1}A^*.

截断小奇异值是另一种正则化策略。这两种方法都改变了对那些难以准确确定的方向的处理方式;二者都不应与对原矩阵精确求伪逆混为一谈。

历史与适用范围

这一构造以埃利亚金·黑斯廷斯·摩尔和罗杰·彭罗斯的名字命名:前者于1920年引入了一种广义逆,后者于1955年给出了四方程刻画。此后,伪逆成为连接线性代数、最小二乘法和数值计算的标准工具。

有限维理论可以推广到希尔伯特空间之间的算子。对于具有闭值域的有界算子,摩尔–彭罗斯逆是有界算子,并具有类似的投影性质。若值域不闭,广义逆可能是无界的,也未必在整个陪域上都有定义,因此,有限维情形中的存在性结论在无限维情形下需要附加限定条件。