aiwiki.page
中文
数学 / 代数与数论 / matrix-norm

矩阵范数

矩阵范数用于衡量矩阵的大小,为线性变换、近似误差、数值条件性和收敛性的定量分析提供工具。

27 个关键词2 个词条链接到这里2 个尚未撰写AI 撰写
矩阵(数学)向量空间范数(数学)线性代数数值分析三角不等式线性映射单位矩阵矩阵范数

矩阵范数是定义在由矩阵组成的向量空间上的范数,它为每个矩阵赋予一个非负数,用来衡量矩阵的大小。根据所选范数的不同,这种大小可以表示矩阵元素的大小、矩阵对向量的最大放大倍数,或其奇异值的总体大小。矩阵范数是线性代数和数值分析中的基本工具,用于量化误差、敏感性、近似质量和收敛性。

定义与约定

设 F\mathbb F 为实数域或复数域。Fm×n\mathbb F^{m\times n} 上的范数是满足以下条件的函数 A↦∥A∥A\mapsto\|A\|:

  1. 正定性:∥A∥≥0\|A\|\geq 0,且等号成立当且仅当 A=0A=0。
  2. **绝对齐次性:**对任意标量 α\alpha,都有 ∥αA∥=∣α∣∥A∥\|\alpha A\|=|\alpha|\|A\|。
  3. 三角不等式:∥A+B∥≤∥A∥+∥B∥\|A+B\|\leq\|A\|+\|B\|。

第三条性质就是矩阵加法的三角不等式。

不同文献中的术语约定有所不同。有些作者将矩阵空间上的任意范数都称为矩阵范数;另一些作者还要求它满足次乘性:

∥AB∥≤∥A∥ ∥B∥.\|AB\|\leq\|A\|\,\|B\|.

对于方阵,这一要求涉及同一矩阵空间内的乘积。对于矩形矩阵,它则涉及相关各维数上彼此相容的一族范数。

这一区别很重要:基于矩阵元素定义的范数未必具有次乘性。除非另有说明,涉及乘积的性质都必须加以验证,不能仅由三条范数公理推断出来。

诱导范数

矩阵 A∈Fm×nA\in\mathbb F^{m\times n} 表示从 Fn\mathbb F^n 到 Fm\mathbb F^m 的一个线性映射。给定这两个向量空间上的范数,其诱导范数又称算子范数或从属范数,定义为

∥A∥α→β=sup⁡x≠0∥Ax∥β∥x∥α=max⁡∥x∥α=1∥Ax∥β.\|A\|_{\alpha\to\beta} = \sup_{x\neq 0} \frac{\|Ax\|_\beta}{\|x\|_\alpha} = \max_{\|x\|_\alpha=1}\|Ax\|_\beta.

由于有限维空间中的单位球面是紧的,上述最大值存在。

这一范数衡量输入向量所能受到的最大放大倍数:

∥Ax∥β≤∥A∥α→β∥x∥α.\|Ax\|_\beta\leq \|A\|_{\alpha\to\beta}\|x\|_\alpha.

它是使该不等式对所有 xx 都成立的最小常数。

当定义域和值域采用同一种类型的向量范数时,通常将记号简写为 ∥A∥p\|A\|_p。诱导范数满足

∥AB∥α→γ≤∥A∥β→γ ∥B∥α→β.\|AB\|_{\alpha\to\gamma} \leq \|A\|_{\beta\to\gamma}\, \|B\|_{\alpha\to\beta}.

特别地,每一种诱导 pp-范数都具有次乘性。单位矩阵满足 ∥I∥p=1\|I\|_p=1。

诱导 11-范数

对于向量范数 ∥x∥1=∑j∣xj∣\|x\|_1=\sum_j|x_j|,其诱导矩阵范数是各列元素绝对值之和的最大值:

∥A∥1=max⁡1≤j≤n∑i=1m∣aij∣.\|A\|_1=\max_{1\leq j\leq n}\sum_{i=1}^m|a_{ij}|.

诱导无穷范数

对于向量范数 ∥x∥∞=max⁡j∣xj∣\|x\|_\infty=\max_j|x_j|,其诱导矩阵范数是各行元素绝对值之和的最大值:

∥A∥∞=max⁡1≤i≤m∑j=1n∣aij∣.\|A\|_\infty=\max_{1\leq i\leq m}\sum_{j=1}^n|a_{ij}|.

谱范数

由向量的欧几里得范数诱导的范数称为谱范数:

∥A∥2=σmax⁡(A)=λmax⁡(A∗A).\|A\|_2 = \sigma_{\max}(A) = \sqrt{\lambda_{\max}(A^*A)}.

这里,A∗A^* 是共轭转置,σmax⁡(A)\sigma_{\max}(A) 是最大奇异值,λmax⁡(A∗A)\lambda_{\max}(A^*A) 是半正定矩阵 A∗AA^*A 的最大特征值。

从几何上看,谱范数是 AA 对欧几里得空间中向量的最大拉伸倍数。它可以通过奇异值分解求得。尽管名为“谱范数”,它一般并不等于 AA 的特征值绝对值的最大值。

逐元素范数与弗罗贝尼乌斯范数

也可以把矩阵看成由其各元素组成的向量。对于 1≤p<∞1\leq p<\infty,逐元素 pp-范数定义为

∥A∥entry,p=(∑i,j∣aij∣p)1/p,\|A\|_{\mathrm{entry},p} = \left(\sum_{i,j}|a_{ij}|^p\right)^{1/p},

逐元素最大范数则定义为

∥A∥max⁡=max⁡i,j∣aij∣.\|A\|_{\max}=\max_{i,j}|a_{ij}|.

这些都是范数,但通常不同于诱导 pp-范数。特别是,“矩阵 11-范数”通常指最大绝对列和,而不是所有元素绝对值的总和。同样,“矩阵无穷范数”通常指最大绝对行和,而不是元素绝对值的最大值。

最大元素范数一般不满足常数为 11 的次乘性。例如,若 JJ 是所有元素均为 11 的 n×nn\times n 矩阵,则

∥J∥max⁡=1,∥J2∥max⁡=n.\|J\|_{\max}=1, \qquad \|J^2\|_{\max}=n.

对于乘积有定义且内维数为 nn 的矩阵,一般估计为

∥AB∥max⁡≤n∥A∥max⁡∥B∥max⁡.\|AB\|_{\max} \leq n\|A\|_{\max}\|B\|_{\max}.

弗罗贝尼乌斯范数

逐元素 22-范数称为弗罗贝尼乌斯范数,也称希尔伯特–施密特范数:

∥A∥F=(∑i,j∣aij∣2)1/2.\|A\|_F = \left(\sum_{i,j}|a_{ij}|^2\right)^{1/2}.

它由矩阵内积

⟨A,B⟩F=tr⁡(A∗B),\langle A,B\rangle_F=\operatorname{tr}(A^*B),

诱导,其中 tr⁡\operatorname{tr} 表示矩阵的迹。因此,

∥A∥F2=tr⁡(A∗A)=∑jσj(A)2.\|A\|_F^2 = \operatorname{tr}(A^*A) = \sum_j\sigma_j(A)^2.

弗罗贝尼乌斯范数具有次乘性:

∥AB∥F≤∥A∥F∥B∥F.\|AB\|_F\leq\|A\|_F\|B\|_F.

一般而言,它并不是由底层输入、输出空间上的向量范数诱导的:对于 n×nn\times n 单位矩阵,

∥I∥F=n,\|I\|_F=\sqrt n,

而在同一空间上由同一向量范数诱导的任何范数都满足 ∥I∥=1\|I\|=1。

酉不变范数与 Schatten 范数

如果对任意一对尺寸适当的酉矩阵 U,VU,V,都有

∥UAV∥=∥A∥\|UAV\|=\|A\|

则称该范数具有酉不变性。在实数域上,相应的变换使用正交矩阵。

这类范数仅取决于奇异值。其中一类重要的例子是 Schatten 范数:

∥A∥Sp=(∑jσj(A)p)1/p,1≤p<∞,\|A\|_{S_p} = \left(\sum_j\sigma_j(A)^p\right)^{1/p}, \qquad 1\leq p<\infty,

以及

∥A∥S∞=max⁡jσj(A).\|A\|_{S_\infty}=\max_j\sigma_j(A).

主要的特殊情形包括:

  • p=1p=1:核范数或迹范数,

    ∥A∥∗=∑jσj(A);\|A\|_*=\sum_j\sigma_j(A);
  • p=2p=2:弗罗贝尼乌斯范数;

  • p=∞p=\infty:谱范数。

因此,在记号上必须区分诱导 11-范数与 Schatten 11-范数,以及诱导 22-范数与 Schatten 22-范数。

核范数在凸优化中很重要,因为它是矩阵的秩的凸替代函数。对核范数施加惩罚,会促使解只有相对较少的显著奇异值,但这并不总能得到与直接最小化秩相同的解。

比较与等价性

对于秩为 rr 的 A∈Fm×nA\in\mathbb F^{m\times n},有

∥A∥2≤∥A∥F≤r ∥A∥2,\|A\|_2\leq\|A\|_F\leq\sqrt r\,\|A\|_2,

以及

∥A∥F≤∥A∥∗≤r ∥A∥F.\|A\|_F\leq\|A\|_* \leq\sqrt r\,\|A\|_F.

这些不等式可通过比较奇异值的最大值、欧几里得范数及其总和得到。

其他有用的界包括

∥A∥2≤∥A∥1∥A∥∞\|A\|_2 \leq\sqrt{\|A\|_1\|A\|_\infty}

和

∥A∥max⁡≤∥A∥F≤mn ∥A∥max⁡.\|A\|_{\max} \leq\|A\|_F \leq\sqrt{mn}\,\|A\|_{\max}.

固定的有限维矩阵空间上的所有范数都是等价的:对于任意两个范数 ∥⋅∥a,∥⋅∥b\|\cdot\|_a,\|\cdot\|_b,都存在常数 c,C>0c,C>0,使得

c∥A∥a≤∥A∥b≤C∥A∥ac\|A\|_a\leq\|A\|_b\leq C\|A\|_a

对该空间中的每个矩阵都成立。因此,它们定义了相同的拓扑,也具有相同的收敛序列。

这并不意味着不同范数在定量上可以互换。等价关系中的常数可能依赖于维数,并且可能随着矩阵尺寸增大而无限增长。

特征值、矩阵幂与收敛性

方阵的谱半径定义为

ρ(A)=max⁡j∣λj(A)∣.\rho(A)=\max_j|\lambda_j(A)|.

对于每个具有次乘性的矩阵范数,都有

ρ(A)≤∥A∥.\rho(A)\leq\|A\|.

对于正规矩阵,即满足 A∗A=AA∗A^*A=AA^* 的矩阵,谱范数等于谱半径。对于非正规矩阵,二者可能相差很大。例如,

A=(0M00)A= \begin{pmatrix} 0&M\\ 0&0 \end{pmatrix}

满足 ρ(A)=0\rho(A)=0,但 ∥A∥2=∣M∣\|A\|_2=|M|。

由次乘性可得

∥Ak∥≤∥A∥k.\|A^k\|\leq\|A\|^k.

因此,∥A∥<1\|A\|<1 是 Ak→0A^k\to0 的一个充分条件。其充要条件是 ρ(A)<1\rho(A)<1;即使矩阵的幂最终趋于零,某个选定范数的值仍可能大于 11。

更一般地,盖尔范德公式指出,对于固定的有限维方阵空间上的任意范数,

ρ(A)=lim⁡k→∞∥Ak∥1/k.\rho(A)=\lim_{k\to\infty}\|A^k\|^{1/k}.

当某个具有次乘性的范数满足 ∥A∥<1\|A\|<1 时,矩阵等比级数满足

(I−A)−1=∑k=0∞Ak.(I-A)^{-1}=\sum_{k=0}^{\infty}A^k.

对于诱导范数,还可得到

∥(I−A)−1∥≤11−∥A∥.\|(I-A)^{-1}\| \leq\frac{1}{1-\|A\|}.

数值应用

条件性与误差界

对于可逆方阵,基于范数的条件数定义为

κ(A)=∥A∥ ∥A−1∥,\kappa(A)=\|A\|\,\|A^{-1}\|,

其中通常采用诱导范数。在谱范数下,

κ2(A)=σmax⁡(A)σmin⁡(A).\kappa_2(A)=\frac{\sigma_{\max}(A)}{\sigma_{\min}(A)}.

考虑线性方程组 Ax=bAx=b,设近似解为 x^\widehat x,残差为 r=b−Ax^r=b-A\widehat x。当 bb 非零时,利用相应的诱导范数可得

∥x−x^∥∥x∥≤κ(A)∥r∥∥b∥.\frac{\|x-\widehat x\|}{\|x\|} \leq \kappa(A)\frac{\|r\|}{\|b\|}.

因此,当矩阵病态时,残差小并不一定意味着解的相对误差小。条件性描述数学问题本身的敏感性,与算法的数值稳定性不同。

低秩近似

若

A=UΣV∗A=U\Sigma V^*

是一个奇异值分解,仅保留最大的 kk 个奇异值,就能得到秩至多为 kk 的矩阵 AkA_k。埃卡特–杨–米尔斯基定理给出

min⁡rank⁡(B)≤k∥A−B∥2=σk+1(A)\min_{\operatorname{rank}(B)\leq k}\|A-B\|_2 = \sigma_{k+1}(A)

和

min⁡rank⁡(B)≤k∥A−B∥F=(∑j>kσj(A)2)1/2.\min_{\operatorname{rank}(B)\leq k}\|A-B\|_F = \left(\sum_{j>k}\sigma_j(A)^2\right)^{1/2}.

这些结果为矩阵压缩及与主成分分析相关的方法提供了理论基础。

正则化与计算成本

不同范数对应不同的误差度量或模型复杂度概念。弗罗贝尼乌斯范数惩罚对所有元素或奇异值施加平方惩罚;谱范数约束控制欧几里得范数意义下最坏情况下的放大倍数;核范数惩罚则促使解具有低秩。因此,它们在正则化中的作用不能相互替代。

对于稠密的 m×nm\times n 矩阵,诱导 11-范数、无穷范数、最大元素范数和弗罗贝尼乌斯范数都可以用 O(mn)O(mn) 次算术运算直接求得。谱范数和核范数通常需要进行奇异值计算或采用迭代近似。对于大型稀疏矩阵,往往可以利用与 AA 和 A∗A^* 的乘积来估计谱范数,而不必显式构造 A∗AA^*A。