半正定矩阵是指满足下述条件的实对称或复厄米矩阵 A:对任意维数相容的向量 x,都有 x∗Ax≥0。这里,x∗ 表示共轭转置;对于实向量,它就是普通转置。半正定矩阵用于描述非负的二次量,包括方差、长度的平方和二次能量函数。它们在线性代数、统计学、优化和数值计算中具有基础性地位。
定义与约定
复方阵 A∈Cn×n 称为半正定矩阵,如果
A=A∗andx∗Ax≥0for every x∈Cn.
条件 A=A∗ 表示 A 是厄米矩阵。对于实矩阵,相应的定义要求 A=AT,且
xTAx≥0for every x∈Rn.
标准记号为
实对称半正定矩阵和复厄米半正定矩阵的集合通常分别记作 S+n 和 H+n。
表达式 x∗Ax 是与 A 对应的二次型。“半正定”允许这一表达式在某个非零向量处取零值。相比之下,正定矩阵满足
x∗Ax>0whenever x=0.
因此,正定矩阵一定是半正定矩阵,反之则不一定成立。零矩阵是半正定矩阵。
对称性是实矩阵标准定义中的重要组成部分。对于任意实方阵 M,
xTMx=xT(2M+MT)x.
因此,仅要求这一表达式非负,只能约束 M 的对称部分。有些作者在这种情形下会采用更宽泛的“半正定”定义,所以涉及非对称矩阵时,应核实所用的约定。
等价刻画
对于厄米矩阵 A,以下命题等价:
A⪰0。
A 的所有特征值均非负。
存在一个矩阵 B(不一定是方阵),使得
A 的所有主子式均非负。
A 存在厄米半正定平方根。
这些等价关系将二次型定义与谱、代数和几何方面的描述联系起来。
谱分解与平方根
由谱定理,厄米矩阵可以分解为
A=UΛU∗,
其中 U 为酉矩阵,Λ=diag(λ1,…,λn) 的对角元素均为实数。令 y=U∗x,可得
x∗Ax=i=1∑nλi∣yi∣2.
该式对任意 x 均非负,当且仅当所有 λi≥0。
对于这样的矩阵,其唯一的厄米半正定平方根为
A1/2=Udiag(λ1,…,λn)U∗.
于是 A=(A1/2)∗A1/2,从而得到形如 B∗B 的分解。
若 A 的矩阵的秩为 r,则可以选取恰有 r 行的矩阵 B。此时,B 的各列将 A 表示为一个格拉姆矩阵:
aij=bi∗bj.
反过来,每个格拉姆矩阵都是半正定矩阵,因为
x∗B∗Bx=∥Bx∥2≥0.
主子式
选取相同指标集合所对应的行和列,得到的子矩阵称为主子矩阵。它的行列式称为主子式。厄米矩阵是半正定矩阵,当且仅当其所有主子式均非负。
仅检查顺序主子式是不够的。例如,
A=(000−1)
的顺序主子式为 0 和 0,但它不是半正定矩阵。其第二个对角元素所对应的主子式为 −1。
这与正定情形不同:所有顺序主子式均为正,就足以保证矩阵正定。
示例与元素性质
实对称 2×2 矩阵
A=(abbc)
是半正定矩阵,当且仅当
a≥0,c≥0,ac−b2≥0.
例如,
A=(1111)
是半正定矩阵,因为
xTAx=(x1+x2)2.
其特征值为 2 和 0,所以它不是正定矩阵。
矩阵半正定并不等同于各元素均非负。矩阵
(1−1−11)
是半正定矩阵,而
(1221)
的元素虽然全为正数,特征值却为 3 和 −1。
对于任意半正定矩阵,
aii≥0,∣aij∣2≤aiiajj.
第二个不等式可由其 2×2 主子式得到,也是柯西—施瓦茨不等式在格拉姆表示中的体现。特别地,如果某个对角元素为零,则其所在行和列的所有元素都必为零。
代数与几何性质
封闭性与变换
若 A,B⪰0,且 α,β≥0,则
αA+βB⪰0.
因此,半正定矩阵构成一个凸锥。这个锥是闭集,它在厄米矩阵空间中的内部恰好由正定矩阵组成。
对于任意维数相容的矩阵 C,
C∗AC⪰0.
若 C 可逆,则这一变换在两个方向上都保持半正定性。取 C 为选取坐标的矩阵,即可看出半正定矩阵的每个主子矩阵也都是半正定矩阵。
两个半正定矩阵的普通乘积 AB 不一定是厄米矩阵,因此也不一定是半正定矩阵。如果 A 与 B 可交换,则其乘积半正定。相比之下,两者的逐元素乘积总是半正定的,这就是舒尔乘积定理。
零方向与半范数
对于 A⪰0,
x∗Ax=0⟺Ax=0.
因此,其二次型取零值的方向恰好构成它的零空间。
表达式
∥x∥A=x∗Ax
定义了一个半范数。它是真正的范数,当且仅当 A 正定。类似地,x∗Ay 定义了一个可能退化的内积;当 A 正定时,它就是通常意义下的内积。
由特征值还可得
tr(A)≥0,det(A)≥0.
半正定矩阵是正定矩阵,当且仅当它可逆,等价地,当且仅当其行列式严格为正。仅有迹非负或仅有行列式非负,都不足以保证矩阵半正定。
勒夫纳序
对于大小相同的厄米矩阵,定义
A⪰B⟺A−B⪰0.
这一关系称为勒夫纳序,它是一种偏序,而非逐元素的比较。它表示
x∗Ax≥x∗Bxfor every x.
在迹配对下,半正定锥是自对偶的:
A⪰0⟺tr(AB)≥0for every B⪰0,
其中 A 为厄米矩阵。这一性质在优化对偶理论中十分重要。
应用
协方差矩阵
对于具有有限二阶矩的实随机向量 X,其协方差矩阵为
Σ=E[(X−EX)(X−EX)T].
对于任意向量 v,
vTΣv=Var(vTX)≥0.
因此,每个协方差矩阵都是半正定矩阵。
协方差矩阵的奇异性具有明确的统计含义:中心化后的变量存在一个系数不全为零的线性组合,其值几乎必然为零。反过来,每个实对称半正定矩阵都可以是某个随机向量的协方差矩阵,该随机向量也可以取为可能退化的多元正态随机向量。
协方差矩阵的非负特征值表示各正交方向上的方差,为主成分分析提供了谱理论基础。
凸性与优化
对于二次函数
f(x)=21xTAx+bTx+c,
其中 A 为实对称矩阵,该函数的凸性等价于 A⪰0。
更一般地,定义在开凸集上的二阶连续可微函数是凸函数,当且仅当其海森矩阵在该定义域内处处半正定。这将矩阵的半正定性与凸优化联系起来。
在半正定规划中,需要在仿射约束和半正定性约束下优化一个线性目标。典型约束是如下线性矩阵不等式:
A0+i=1∑mxiAi⪰0.
这类问题的应用包括控制、估计以及离散优化问题的松弛。
分块矩阵约束通常可以利用舒尔补来简化。若 P≻0,则
(PQ∗QR)⪰0⟺R−Q∗P−1Q⪰0.
当 P 奇异时,类似的判据需要使用广义逆,并附加一个关于值域的条件。
核方法与图能量
在机器学习中,半正定核对任意有限输入集合都会产生一个半正定的格拉姆矩阵。这使得核可以解释为特征空间中的内积,并为支持向量机、高斯过程模型等方法提供基础。
在图论中,对于边权对称且非负的无向图,其拉普拉斯矩阵 L=D−W 满足
xTLx=21i,j∑wij(xi−xj)2≥0.
因此,拉普拉斯矩阵是半正定矩阵。它的零空间由在每个连通分量上取常值的向量组成。
计算与数值局限
对于对称矩阵或厄米矩阵,计算特征值可以直接检验其半正定性。然而,在浮点运算中,理论上半正定的矩阵可能因舍入或近似而出现微小的负特征值。因此,数值检验通常会将最小特征值与一个容差进行比较,该容差与矩阵的尺度和计算精度有关。
Cholesky分解对正定矩阵尤为有效。在精确运算下,半正定矩阵也存在三角形式的平方根分解,但零主元需要特殊处理,而且标准的正定 Cholesky 分解程序可能在输入为奇异矩阵时中止。当预期矩阵秩亏时,通常采用带主元选取的分解方法或基于特征值的方法。
以下两种常见修正各有不同用途:
- **对角平移:**将 A 替换为 A+εI,其中 ε>0,可使半正定矩阵变为正定矩阵。
- **特征值截断:**对于厄米矩阵,将负特征值替换为零,可得到在弗罗贝尼乌斯范数下与原矩阵最接近的半正定矩阵。
这些操作会改变原矩阵。因此,在统计和优化应用中,它们可能会改变协方差模型、目标函数或可行域,而不只是改善数值表现。