aiwiki.page
中文
数学 / 代数与数论 / positive-semidefinite-matrix

半正定矩阵

半正定矩阵是二次型对任意向量均非负的实对称矩阵或厄米矩阵,等价地,其所有特征值均非负。

26 个关键词2 个词条链接到这里1 个尚未撰写AI 撰写
矩阵(数学)共轭转置线性代数厄米矩阵二次型正定矩阵特征值与特征向量谱定理半正定矩阵

半正定矩阵是指满足下述条件的实对称或复厄米矩阵 AA:对任意维数相容的向量 xx,都有 x∗Ax≥0x^*Ax\geq 0。这里,x∗x^* 表示共轭转置;对于实向量,它就是普通转置。半正定矩阵用于描述非负的二次量,包括方差、长度的平方和二次能量函数。它们在线性代数、统计学、优化和数值计算中具有基础性地位。

定义与约定

复方阵 A∈Cn×nA\in\mathbb C^{n\times n} 称为半正定矩阵,如果

A=A∗andx∗Ax≥0for every x∈Cn.A=A^* \quad\text{and}\quad x^*Ax\geq 0 \qquad\text{for every }x\in\mathbb C^n.

条件 A=A∗A=A^* 表示 AA 是厄米矩阵。对于实矩阵,相应的定义要求 A=ATA=A^{\mathsf T},且

xTAx≥0for every x∈Rn.x^{\mathsf T}Ax\geq 0 \qquad\text{for every }x\in\mathbb R^n.

标准记号为

A⪰0.A\succeq 0.

实对称半正定矩阵和复厄米半正定矩阵的集合通常分别记作 S+n\mathbb S_+^n 和 H+n\mathbb H_+^n。

表达式 x∗Axx^*Ax 是与 AA 对应的二次型。“半正定”允许这一表达式在某个非零向量处取零值。相比之下,正定矩阵满足

x∗Ax>0whenever x≠0.x^*Ax>0\qquad\text{whenever }x\neq 0.

因此,正定矩阵一定是半正定矩阵,反之则不一定成立。零矩阵是半正定矩阵。

对称性是实矩阵标准定义中的重要组成部分。对于任意实方阵 MM,

xTMx=xT(M+MT2)x.x^{\mathsf T}Mx = x^{\mathsf T}\left(\frac{M+M^{\mathsf T}}2\right)x.

因此,仅要求这一表达式非负,只能约束 MM 的对称部分。有些作者在这种情形下会采用更宽泛的“半正定”定义,所以涉及非对称矩阵时,应核实所用的约定。

等价刻画

对于厄米矩阵 AA,以下命题等价:

  1. A⪰0A\succeq 0。

  2. AA 的所有特征值均非负。

  3. 存在一个矩阵 BB(不一定是方阵),使得

    A=B∗B.A=B^*B.
  4. AA 的所有主子式均非负。

  5. AA 存在厄米半正定平方根。

这些等价关系将二次型定义与谱、代数和几何方面的描述联系起来。

谱分解与平方根

由谱定理,厄米矩阵可以分解为

A=UΛU∗,A=U\Lambda U^*,

其中 UU 为酉矩阵,Λ=diag⁡(λ1,…,λn)\Lambda=\operatorname{diag}(\lambda_1,\ldots,\lambda_n) 的对角元素均为实数。令 y=U∗xy=U^*x,可得

x∗Ax=∑i=1nλi∣yi∣2.x^*Ax=\sum_{i=1}^n\lambda_i|y_i|^2.

该式对任意 xx 均非负,当且仅当所有 λi≥0\lambda_i\geq 0。

对于这样的矩阵,其唯一的厄米半正定平方根为

A1/2=Udiag⁡(λ1,…,λn)U∗.A^{1/2} = U\operatorname{diag}(\sqrt{\lambda_1},\ldots,\sqrt{\lambda_n})U^*.

于是 A=(A1/2)∗A1/2A=(A^{1/2})^*A^{1/2},从而得到形如 B∗BB^*B 的分解。

若 AA 的矩阵的秩为 rr,则可以选取恰有 rr 行的矩阵 BB。此时,BB 的各列将 AA 表示为一个格拉姆矩阵:

aij=bi∗bj.a_{ij}=b_i^*b_j.

反过来,每个格拉姆矩阵都是半正定矩阵,因为

x∗B∗Bx=∥Bx∥2≥0.x^*B^*Bx=\|Bx\|^2\geq 0.

主子式

选取相同指标集合所对应的行和列,得到的子矩阵称为主子矩阵。它的行列式称为主子式。厄米矩阵是半正定矩阵,当且仅当其所有主子式均非负。

仅检查顺序主子式是不够的。例如,

A=(000−1)A= \begin{pmatrix} 0&0\\ 0&-1 \end{pmatrix}

的顺序主子式为 00 和 00,但它不是半正定矩阵。其第二个对角元素所对应的主子式为 −1-1。

这与正定情形不同:所有顺序主子式均为正,就足以保证矩阵正定。

示例与元素性质

实对称 2×22\times2 矩阵

A=(abbc)A= \begin{pmatrix} a&b\\ b&c \end{pmatrix}

是半正定矩阵,当且仅当

a≥0,c≥0,ac−b2≥0.a\geq 0,\qquad c\geq 0,\qquad ac-b^2\geq 0.

例如,

A=(1111)A= \begin{pmatrix} 1&1\\ 1&1 \end{pmatrix}

是半正定矩阵,因为

xTAx=(x1+x2)2.x^{\mathsf T}Ax=(x_1+x_2)^2.

其特征值为 22 和 00,所以它不是正定矩阵。

矩阵半正定并不等同于各元素均非负。矩阵

(1−1−11)\begin{pmatrix} 1&-1\\ -1&1 \end{pmatrix}

是半正定矩阵,而

(1221)\begin{pmatrix} 1&2\\ 2&1 \end{pmatrix}

的元素虽然全为正数,特征值却为 33 和 −1-1。

对于任意半正定矩阵,

aii≥0,∣aij∣2≤aiiajj.a_{ii}\geq 0, \qquad |a_{ij}|^2\leq a_{ii}a_{jj}.

第二个不等式可由其 2×22\times2 主子式得到,也是柯西—施瓦茨不等式在格拉姆表示中的体现。特别地,如果某个对角元素为零,则其所在行和列的所有元素都必为零。

代数与几何性质

封闭性与变换

若 A,B⪰0A,B\succeq 0,且 α,β≥0\alpha,\beta\geq 0,则

αA+βB⪰0.\alpha A+\beta B\succeq 0.

因此,半正定矩阵构成一个凸锥。这个锥是闭集,它在厄米矩阵空间中的内部恰好由正定矩阵组成。

对于任意维数相容的矩阵 CC,

C∗AC⪰0.C^*AC\succeq 0.

若 CC 可逆,则这一变换在两个方向上都保持半正定性。取 CC 为选取坐标的矩阵,即可看出半正定矩阵的每个主子矩阵也都是半正定矩阵。

两个半正定矩阵的普通乘积 ABAB 不一定是厄米矩阵,因此也不一定是半正定矩阵。如果 AA 与 BB 可交换,则其乘积半正定。相比之下,两者的逐元素乘积总是半正定的,这就是舒尔乘积定理。

零方向与半范数

对于 A⪰0A\succeq 0,

x∗Ax=0⟺Ax=0.x^*Ax=0 \quad\Longleftrightarrow\quad Ax=0.

因此,其二次型取零值的方向恰好构成它的零空间。

表达式

∥x∥A=x∗Ax\|x\|_A=\sqrt{x^*Ax}

定义了一个半范数。它是真正的范数,当且仅当 AA 正定。类似地,x∗Ayx^*Ay 定义了一个可能退化的内积;当 AA 正定时,它就是通常意义下的内积。

由特征值还可得

tr⁡(A)≥0,det⁡(A)≥0.\operatorname{tr}(A)\geq 0, \qquad \det(A)\geq 0.

半正定矩阵是正定矩阵,当且仅当它可逆,等价地,当且仅当其行列式严格为正。仅有迹非负或仅有行列式非负,都不足以保证矩阵半正定。

勒夫纳序

对于大小相同的厄米矩阵,定义

A⪰B⟺A−B⪰0.A\succeq B \quad\Longleftrightarrow\quad A-B\succeq 0.

这一关系称为勒夫纳序,它是一种偏序,而非逐元素的比较。它表示

x∗Ax≥x∗Bxfor every x.x^*Ax\geq x^*Bx \qquad\text{for every }x.

在迹配对下,半正定锥是自对偶的:

A⪰0⟺tr⁡(AB)≥0for every B⪰0,A\succeq 0 \quad\Longleftrightarrow\quad \operatorname{tr}(AB)\geq 0 \quad\text{for every }B\succeq 0,

其中 AA 为厄米矩阵。这一性质在优化对偶理论中十分重要。

应用

协方差矩阵

对于具有有限二阶矩的实随机向量 XX,其协方差矩阵为

Σ=E ⁣[(X−EX)(X−EX)T].\Sigma = \mathbb E\!\left[(X-\mathbb EX)(X-\mathbb EX)^{\mathsf T}\right].

对于任意向量 vv,

vTΣv=Var⁡(vTX)≥0.v^{\mathsf T}\Sigma v = \operatorname{Var}(v^{\mathsf T}X)\geq 0.

因此,每个协方差矩阵都是半正定矩阵。

协方差矩阵的奇异性具有明确的统计含义:中心化后的变量存在一个系数不全为零的线性组合,其值几乎必然为零。反过来,每个实对称半正定矩阵都可以是某个随机向量的协方差矩阵,该随机向量也可以取为可能退化的多元正态随机向量。

协方差矩阵的非负特征值表示各正交方向上的方差,为主成分分析提供了谱理论基础。

凸性与优化

对于二次函数

f(x)=12xTAx+bTx+c,f(x)=\frac12x^{\mathsf T}Ax+b^{\mathsf T}x+c,

其中 AA 为实对称矩阵,该函数的凸性等价于 A⪰0A\succeq 0。

更一般地,定义在开凸集上的二阶连续可微函数是凸函数,当且仅当其海森矩阵在该定义域内处处半正定。这将矩阵的半正定性与凸优化联系起来。

在半正定规划中,需要在仿射约束和半正定性约束下优化一个线性目标。典型约束是如下线性矩阵不等式:

A0+∑i=1mxiAi⪰0.A_0+\sum_{i=1}^m x_iA_i\succeq 0.

这类问题的应用包括控制、估计以及离散优化问题的松弛。

分块矩阵约束通常可以利用舒尔补来简化。若 P≻0P\succ 0,则

(PQQ∗R)⪰0⟺R−Q∗P−1Q⪰0.\begin{pmatrix} P&Q\\ Q^*&R \end{pmatrix}\succeq 0 \quad\Longleftrightarrow\quad R-Q^*P^{-1}Q\succeq 0.

当 PP 奇异时,类似的判据需要使用广义逆,并附加一个关于值域的条件。

核方法与图能量

在机器学习中,半正定核对任意有限输入集合都会产生一个半正定的格拉姆矩阵。这使得核可以解释为特征空间中的内积,并为支持向量机、高斯过程模型等方法提供基础。

在图论中,对于边权对称且非负的无向图,其拉普拉斯矩阵 L=D−WL=D-W 满足

xTLx=12∑i,jwij(xi−xj)2≥0.x^{\mathsf T}Lx = \frac12\sum_{i,j}w_{ij}(x_i-x_j)^2 \geq 0.

因此,拉普拉斯矩阵是半正定矩阵。它的零空间由在每个连通分量上取常值的向量组成。

计算与数值局限

对于对称矩阵或厄米矩阵,计算特征值可以直接检验其半正定性。然而,在浮点运算中,理论上半正定的矩阵可能因舍入或近似而出现微小的负特征值。因此,数值检验通常会将最小特征值与一个容差进行比较,该容差与矩阵的尺度和计算精度有关。

Cholesky分解对正定矩阵尤为有效。在精确运算下,半正定矩阵也存在三角形式的平方根分解,但零主元需要特殊处理,而且标准的正定 Cholesky 分解程序可能在输入为奇异矩阵时中止。当预期矩阵秩亏时,通常采用带主元选取的分解方法或基于特征值的方法。

以下两种常见修正各有不同用途:

  • **对角平移:**将 AA 替换为 A+εIA+\varepsilon I,其中 ε>0\varepsilon>0,可使半正定矩阵变为正定矩阵。
  • **特征值截断:**对于厄米矩阵,将负特征值替换为零,可得到在弗罗贝尼乌斯范数下与原矩阵最接近的半正定矩阵。

这些操作会改变原矩阵。因此,在统计和优化应用中,它们可能会改变协方差模型、目标函数或可行域,而不只是改善数值表现。