矩阵范数是定义在由矩阵组成的向量空间上的范数,它为每个矩阵赋予一个非负数,用来衡量矩阵的大小。根据所选范数的不同,这种大小可以表示矩阵元素的大小、矩阵对向量的最大放大倍数,或其奇异值的总体大小。矩阵范数是线性代数和数值分析中的基本工具,用于量化误差、敏感性、近似质量和收敛性。
定义与约定
设 F 为实数域或复数域。Fm×n 上的范数是满足以下条件的函数 A↦∥A∥:
- 正定性:∥A∥≥0,且等号成立当且仅当 A=0。
- **绝对齐次性:**对任意标量 α,都有 ∥αA∥=∣α∣∥A∥。
- 三角不等式:∥A+B∥≤∥A∥+∥B∥。
第三条性质就是矩阵加法的三角不等式。
不同文献中的术语约定有所不同。有些作者将矩阵空间上的任意范数都称为矩阵范数;另一些作者还要求它满足次乘性:
∥AB∥≤∥A∥∥B∥.
对于方阵,这一要求涉及同一矩阵空间内的乘积。对于矩形矩阵,它则涉及相关各维数上彼此相容的一族范数。
这一区别很重要:基于矩阵元素定义的范数未必具有次乘性。除非另有说明,涉及乘积的性质都必须加以验证,不能仅由三条范数公理推断出来。
诱导范数
矩阵 A∈Fm×n 表示从 Fn 到 Fm 的一个线性映射。给定这两个向量空间上的范数,其诱导范数又称算子范数或从属范数,定义为
∥A∥α→β=x=0sup∥x∥α∥Ax∥β=∥x∥α=1max∥Ax∥β.
由于有限维空间中的单位球面是紧的,上述最大值存在。
这一范数衡量输入向量所能受到的最大放大倍数:
∥Ax∥β≤∥A∥α→β∥x∥α.
它是使该不等式对所有 x 都成立的最小常数。
当定义域和值域采用同一种类型的向量范数时,通常将记号简写为 ∥A∥p。诱导范数满足
∥AB∥α→γ≤∥A∥β→γ∥B∥α→β.
特别地,每一种诱导 p-范数都具有次乘性。单位矩阵满足 ∥I∥p=1。
诱导 1-范数
对于向量范数 ∥x∥1=∑j∣xj∣,其诱导矩阵范数是各列元素绝对值之和的最大值:
∥A∥1=1≤j≤nmaxi=1∑m∣aij∣.
诱导无穷范数
对于向量范数 ∥x∥∞=maxj∣xj∣,其诱导矩阵范数是各行元素绝对值之和的最大值:
∥A∥∞=1≤i≤mmaxj=1∑n∣aij∣.
谱范数
由向量的欧几里得范数诱导的范数称为谱范数:
∥A∥2=σmax(A)=λmax(A∗A).
这里,A∗ 是共轭转置,σmax(A) 是最大奇异值,λmax(A∗A) 是半正定矩阵 A∗A 的最大特征值。
从几何上看,谱范数是 A 对欧几里得空间中向量的最大拉伸倍数。它可以通过奇异值分解求得。尽管名为“谱范数”,它一般并不等于 A 的特征值绝对值的最大值。
逐元素范数与弗罗贝尼乌斯范数
也可以把矩阵看成由其各元素组成的向量。对于 1≤p<∞,逐元素 p-范数定义为
∥A∥entry,p=(i,j∑∣aij∣p)1/p,
逐元素最大范数则定义为
∥A∥max=i,jmax∣aij∣.
这些都是范数,但通常不同于诱导 p-范数。特别是,“矩阵 1-范数”通常指最大绝对列和,而不是所有元素绝对值的总和。同样,“矩阵无穷范数”通常指最大绝对行和,而不是元素绝对值的最大值。
最大元素范数一般不满足常数为 1 的次乘性。例如,若 J 是所有元素均为 1 的 n×n 矩阵,则
∥J∥max=1,∥J2∥max=n.
对于乘积有定义且内维数为 n 的矩阵,一般估计为
∥AB∥max≤n∥A∥max∥B∥max.
弗罗贝尼乌斯范数
逐元素 2-范数称为弗罗贝尼乌斯范数,也称希尔伯特–施密特范数:
∥A∥F=(i,j∑∣aij∣2)1/2.
它由矩阵内积
⟨A,B⟩F=tr(A∗B),
诱导,其中 tr 表示矩阵的迹。因此,
∥A∥F2=tr(A∗A)=j∑σj(A)2.
弗罗贝尼乌斯范数具有次乘性:
∥AB∥F≤∥A∥F∥B∥F.
一般而言,它并不是由底层输入、输出空间上的向量范数诱导的:对于 n×n 单位矩阵,
∥I∥F=n,
而在同一空间上由同一向量范数诱导的任何范数都满足 ∥I∥=1。
酉不变范数与 Schatten 范数
如果对任意一对尺寸适当的酉矩阵 U,V,都有
∥UAV∥=∥A∥
则称该范数具有酉不变性。在实数域上,相应的变换使用正交矩阵。
这类范数仅取决于奇异值。其中一类重要的例子是 Schatten 范数:
∥A∥Sp=(j∑σj(A)p)1/p,1≤p<∞,
以及
∥A∥S∞=jmaxσj(A).
主要的特殊情形包括:
p=1:核范数或迹范数,
∥A∥∗=j∑σj(A);
p=2:弗罗贝尼乌斯范数;
p=∞:谱范数。
因此,在记号上必须区分诱导 1-范数与 Schatten 1-范数,以及诱导 2-范数与 Schatten 2-范数。
核范数在凸优化中很重要,因为它是矩阵的秩的凸替代函数。对核范数施加惩罚,会促使解只有相对较少的显著奇异值,但这并不总能得到与直接最小化秩相同的解。
比较与等价性
对于秩为 r 的 A∈Fm×n,有
∥A∥2≤∥A∥F≤r∥A∥2,
以及
∥A∥F≤∥A∥∗≤r∥A∥F.
这些不等式可通过比较奇异值的最大值、欧几里得范数及其总和得到。
其他有用的界包括
∥A∥2≤∥A∥1∥A∥∞
和
∥A∥max≤∥A∥F≤mn∥A∥max.
固定的有限维矩阵空间上的所有范数都是等价的:对于任意两个范数 ∥⋅∥a,∥⋅∥b,都存在常数 c,C>0,使得
c∥A∥a≤∥A∥b≤C∥A∥a
对该空间中的每个矩阵都成立。因此,它们定义了相同的拓扑,也具有相同的收敛序列。
这并不意味着不同范数在定量上可以互换。等价关系中的常数可能依赖于维数,并且可能随着矩阵尺寸增大而无限增长。
特征值、矩阵幂与收敛性
方阵的谱半径定义为
ρ(A)=jmax∣λj(A)∣.
对于每个具有次乘性的矩阵范数,都有
ρ(A)≤∥A∥.
对于正规矩阵,即满足 A∗A=AA∗ 的矩阵,谱范数等于谱半径。对于非正规矩阵,二者可能相差很大。例如,
A=(00M0)
满足 ρ(A)=0,但 ∥A∥2=∣M∣。
由次乘性可得
∥Ak∥≤∥A∥k.
因此,∥A∥<1 是 Ak→0 的一个充分条件。其充要条件是 ρ(A)<1;即使矩阵的幂最终趋于零,某个选定范数的值仍可能大于 1。
更一般地,盖尔范德公式指出,对于固定的有限维方阵空间上的任意范数,
ρ(A)=k→∞lim∥Ak∥1/k.
当某个具有次乘性的范数满足 ∥A∥<1 时,矩阵等比级数满足
(I−A)−1=k=0∑∞Ak.
对于诱导范数,还可得到
∥(I−A)−1∥≤1−∥A∥1.
数值应用
条件性与误差界
对于可逆方阵,基于范数的条件数定义为
κ(A)=∥A∥∥A−1∥,
其中通常采用诱导范数。在谱范数下,
κ2(A)=σmin(A)σmax(A).
考虑线性方程组 Ax=b,设近似解为 x,残差为 r=b−Ax。当 b 非零时,利用相应的诱导范数可得
∥x∥∥x−x∥≤κ(A)∥b∥∥r∥.
因此,当矩阵病态时,残差小并不一定意味着解的相对误差小。条件性描述数学问题本身的敏感性,与算法的数值稳定性不同。
低秩近似
若
A=UΣV∗
是一个奇异值分解,仅保留最大的 k 个奇异值,就能得到秩至多为 k 的矩阵 Ak。埃卡特–杨–米尔斯基定理给出
rank(B)≤kmin∥A−B∥2=σk+1(A)
和
rank(B)≤kmin∥A−B∥F=j>k∑σj(A)21/2.
这些结果为矩阵压缩及与主成分分析相关的方法提供了理论基础。
正则化与计算成本
不同范数对应不同的误差度量或模型复杂度概念。弗罗贝尼乌斯范数惩罚对所有元素或奇异值施加平方惩罚;谱范数约束控制欧几里得范数意义下最坏情况下的放大倍数;核范数惩罚则促使解具有低秩。因此,它们在正则化中的作用不能相互替代。
对于稠密的 m×n 矩阵,诱导 1-范数、无穷范数、最大元素范数和弗罗贝尼乌斯范数都可以用 O(mn) 次算术运算直接求得。谱范数和核范数通常需要进行奇异值计算或采用迭代近似。对于大型稀疏矩阵,往往可以利用与 A 和 A∗ 的乘积来估计谱范数,而不必显式构造 A∗A。