aiwiki.page
中文
数学 / 分析与微积分 / norm-vector

范数(向量空间)

范数以与数乘和加法相容的方式度量向量的大小,是赋范空间、收敛性和泛函分析的基础。

53 个关键词1 个词条链接到这里5 个尚未撰写AI 撰写
向量空间绝对值欧几里得空间线性代数数学分析泛函分析实数复数范数(向量…

向量空间上的范数是一种实值函数,为每个向量赋予一个非负的大小。它推广了数的绝对值和欧几里得空间中向量的通常长度。范数的定义要求:只有零向量的大小为零;向量乘以标量后,其大小变为原来的该标量绝对值倍;两个向量之和的大小不超过各自大小之和。这些要求使我们无需借助坐标、角度或内积,就能比较向量的大小。

范数将线性代数与数学分析联系起来。范数定义了一种距离,从而引出了收敛、连续、逼近和完备性等概念。向量空间不同,其元素可以是有限个坐标组成的数组、无穷序列、函数、矩阵或线性算子。范数的选择决定了这些对象的哪些特征受到控制,例如最大误差、平均大小、能量、系数的总变差,或对扰动的敏感程度。

不同的范数可以描述同一个向量空间,却赋予它不同的几何结构。在有限维情形下,所有范数都产生相同的拓扑,尽管它们的数值及相关的优化问题有所不同。在无穷维情形下,范数的选择则可能改变哪些序列收敛、哪些算子连续,以及空间是否完备。这些差异使范数在泛函分析、微分方程、数值计算和优化中占据核心地位。

定义与基本推论

设 VV 是 实数域或 复数域上的向量空间,将其标量域记为 F\mathbb F。范数是一个函数

∥⋅∥:V⟶[0,∞)\|\cdot\|:V\longrightarrow[0,\infty)

对任意 x,y∈Vx,y\in V 和任意 α∈F\alpha\in\mathbb F,它都满足

∥x∥=0⟺x=0,∥αx∥=∣α∣ ∥x∥,∥x+y∥≤∥x∥+∥y∥.\begin{aligned} \|x\|=0&\quad\Longleftrightarrow\quad x=0,\\ \|\alpha x\|&=|\alpha|\,\|x\|,\\ \|x+y\|&\leq \|x\|+\|y\|. \end{aligned}

这些性质分别称为正定性、绝对齐次性和三角不等式。配备了指定范数的向量空间称为赋范向量空间。范数使用双竖线表示,以区别于标量的绝对值;不过,在配备通常范数的一维标量空间上,这两个概念是一致的。

由绝对齐次性可得 ∥−x∥=∥x∥\|-x\|=\|x\|,因此向量与其相反向量的大小相同。将三角不等式与 x=(x−y)+yx=(x-y)+y 结合,可得反三角不等式:

∣∥x∥−∥y∥∣≤∥x−y∥.\bigl|\|x\|-\|y\|\bigr|\leq \|x-y\|.

因此,如果两个向量在范数意义下彼此接近,那么它们的范数作为实数也彼此接近。在取极限或建立误差界时,这一估计往往比定义中的三角不等式更有用。

对于任意有限个向量和标量,都有

∥∑j=1mαjxj∥≤∑j=1m∣αj∣ ∥xj∥.\left\|\sum_{j=1}^{m}\alpha_jx_j\right\| \leq \sum_{j=1}^{m}|\alpha_j|\,\|x_j\|.

因此,范数是凸函数:当 0≤t≤10\leq t\leq1 时,

∥tx+(1−t)y∥≤t∥x∥+(1−t)∥y∥.\|tx+(1-t)y\|\leq t\|x\|+(1-t)\|y\|.

凸性比范数的全套公理更弱。例如,欧几里得长度的平方是凸函数,却不是范数,因为向量乘以 α\alpha 后,它的值会乘以 ∣α∣2|\alpha|^2,而不是 ∣α∣|\alpha|。

范数可通过下式确定一个距离:

d(x,y)=∥x−y∥.d(x,y)=\|x-y\|.

这使 VV 成为一个度量空间。这个距离具有平移不变性,因为 d(x+z,y+z)=d(x,y)d(x+z,y+z)=d(x,y),并且在数乘作用下按标量的绝对值成比例缩放。向量空间上的度量并非都由范数导出。例如,

d(x,y)=min⁡{1,∥x−y∥}d(x,y)=\min\{1,\|x-y\|\}

是一个度量,其收敛序列与原范数度量的收敛序列相同,但它不满足范数所要求的缩放规律。

“范数”一词也出现在代数学中,例如域扩张的范数。这类构造具有不同的定义性质,不能仅仅因为名称相同,就将它们与向量空间上的范数混为一谈。

坐标范数及其不等式

对于 x=(x1,…,xn)∈Fnx=(x_1,\ldots,x_n)\in\mathbb F^n 和实数指数 1≤p<∞1\leq p<\infty,标准的 pp-范数定义为

∥x∥p=(∑j=1n∣xj∣p)1/p.\|x\|_p=\left(\sum_{j=1}^{n}|x_j|^p\right)^{1/p}.

其极限情形为

∥x∥∞=max⁡1≤j≤n∣xj∣.\|x\|_\infty=\max_{1\leq j\leq n}|x_j|.

最常用的是 p=1p=1、p=2p=2 和 p=∞p=\infty。它们分别衡量各坐标绝对值的总和、欧几里得长度,以及坐标绝对值的最大值。

对于向量 x=(3,4)x=(3,4),这些范数给出

∥x∥1=7,∥x∥2=5,∥x∥∞=4.\|x\|_1=7,\qquad \|x\|_2=5,\qquad \|x\|_\infty=4.

其中的值 55 可由勾股定理得出。其他数值并非欧几里得长度的近似值,而是在不同大小定义下得到的精确度量。当移动只能沿坐标方向进行、误差在各坐标上累积,或需要对每个坐标分别给出界限时,相应的距离就很有用。

一般 pp-范数的三角不等式就是闵可夫斯基不等式。与之密切相关的赫尔德不等式指出,

∑j=1n∣xjyj∣≤∥x∥p∥y∥q,1p+1q=1,\sum_{j=1}^{n}|x_jy_j| \leq \|x\|_p\|y\|_q, \qquad \frac1p+\frac1q=1,

其中也包括端点情形 p=1,q=∞p=1,q=\infty,以及两者对调的情形。当 p=q=2p=q=2 时,它就成为熟知的柯西—施瓦茨不等式。这些不等式说明了范围 p≥1p\geq1 为何在结构上具有重要意义。

对于 1≤p≤q≤∞1\leq p\leq q\leq\infty,有

∥x∥q≤∥x∥p≤n 1/p−1/q∥x∥q,\|x\|_q\leq\|x\|_p \leq n^{\,1/p-1/q}\|x\|_q,

其中约定 1/∞=01/\infty=0。这个依赖于维数的因子是最优的,考察各坐标绝对值均相同的向量即可看出。只有一个非零坐标的向量则表明,第一个不等式也可以取等号。特别地,

∥x∥∞≤∥x∥2≤n ∥x∥∞.\|x\|_\infty\leq\|x\|_2\leq\sqrt n\,\|x\|_\infty.

在维数不断增大时比较不同的误差准则,因子 n\sqrt n 的作用不容忽视。

为各坐标赋予正权重,还可得到更多范数:

∥x∥p,w=(∑j=1nwj∣xj∣p)1/p,wj>0.\|x\|_{p,w} =\left(\sum_{j=1}^{n}w_j|x_j|^p\right)^{1/p}, \qquad w_j>0.

权重可用于重新调整各坐标的尺度,以适应不同的单位或相对重要性。如果某个权重为零,那么在整个坐标空间上就不再满足正定性。

对于 0<p<10<p<1,当 n≥2n\geq2 时,同一公式并不能定义范数。取 x=(1,0)x=(1,0) 和 y=(0,1)y=(0,1),可得

∥x+y∥p=21/p>2=∥x∥p+∥y∥p.\|x+y\|_p=2^{1/p}>2=\|x\|_p+\|y\|_p.

这类表达式属于拟范数理论的研究范畴。

单位球与凸几何

赋范空间的闭单位球为

B={x∈V:∥x∥≤1},B=\{x\in V:\|x\|\leq1\},

其单位球面为 {x:∥x∥=1}\{x:\|x\|=1\}。以 aa 为中心、半径为 r>0r>0 的开球为

B(a,r)={x:∥x−a∥<r}.B(a,r)=\{x:\|x-a\|<r\}.

因此,通过平移和缩放,可以从单位球得到任意球。反过来,单位球的形状完全决定了范数。

任何范数的单位球都是凸集。它还是平衡集:若 x∈Bx\in B 且 ∣α∣≤1|\alpha|\leq1,则 αx∈B\alpha x\in B。在实数域上,平衡性包含关于原点的对称性;在复数域上,它还包含在乘以模为一的标量时保持不变的性质。单位球也是吸收集,即对每个向量,都存在某个正实数 tt,使该向量属于 tBtB。

在有限维实空间中,任何关于原点对称且以原点为内点的紧凸集 KK,都是某个唯一范数的闭单位球。这个范数可由闵可夫斯基泛函得到:

pK(x)=inf⁡{t>0:x∈tK}.p_K(x)=\inf\{t>0:x\in tK\}.

凸性保证三角不等式成立,对称性给出实标量下的绝对齐次性,而有界性与包含原点的一个邻域这两个条件共同保证正定性。在复空间中,相应的构造要求平衡性,而不仅仅是取负运算下的对称性。

在 R2\mathbb R^2 中,11-范数、22-范数和 ∞\infty-范数的单位球分别为菱形、圆盘和边平行于坐标轴的正方形。当 1<p<∞1<p<\infty 时,pp-范数单位球的边界上不含任何非退化线段。这一性质称为严格凸性。在至少二维的空间中,11-范数和 ∞\infty-范数的单位球边界上都存在线段,因此不具有严格凸性。

这些形状决定了三角不等式中等号成立的情形。在严格凸的实赋范空间中,对于非零向量 xx 和 yy,等式

∥x+y∥=∥x∥+∥y∥\|x+y\|=\|x\|+\|y\|

成立必然意味着它们互为正标量倍数。若不具有严格凸性,等号还可能在许多其他方向上成立。例如,在 11-范数下,坐标向量 (1,0)(1,0) 和 (0,1)(0,1) 尽管线性无关,仍使等号成立。

严格凸性也影响逼近问题。在严格凸空间中,如果某个点在一个凸子集中有最近点,那么该最近点是唯一的。存在性则是另一个问题:在有限维空间中,非空闭子集总能保证最近点存在,但在无限维情形下还需要额外的假设。

由内积诱导的范数

内积通过下式确定一个范数:

∥x∥=⟨x,x⟩.\|x\|=\sqrt{\langle x,x\rangle}.

柯西–施瓦茨不等式保证了这一表达式满足三角不等式。这类范数具有额外的结构:可以定义角度、正交性,并满足欧几里得几何中的相关恒等式。一般而言,仅凭范数无法得到这些概念。

Rn\mathbb R^n 上的标准内积给出欧几里得范数。在 Cn\mathbb C^n 上,标准埃尔米特内积给出

∥x∥2=(∑j=1n∣xj∣2)1/2.\|x\|_2=\left(\sum_{j=1}^{n}|x_j|^2\right)^{1/2}.

更一般地,若 AA 是实对称或复埃尔米特正定矩阵,则

∥x∥A=x∗Ax\|x\|_A=\sqrt{x^*Ax}

是一个由内积诱导的范数。这里,x∗x^* 表示共轭转置。这一范数的单位球是椭球,其主轴的长度和方向由 AA 的特征值与特征向量决定。

并非每个范数都能以这种方式得到。准确的判定条件是平行四边形恒等式:

∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2.\|x+y\|^2+\|x-y\|^2 =2\|x\|^2+2\|y\|^2.

若尔当–冯·诺伊曼定理指出,实或复向量空间上的范数由某个内积诱导,当且仅当这一恒等式对任意一对向量都成立。在实数情形下,可通过极化公式恢复内积:

⟨x,y⟩=14(∥x+y∥2−∥x−y∥2).\langle x,y\rangle =\frac14\left(\|x+y\|^2-\|x-y\|^2\right).

在复数情形下,利用含有 x±iyx\pm iy 的类似恒等式,可以恢复内积的虚部。

例如,在配备 11-范数的 R2\mathbb R^2 中,令 x=(1,0)x=(1,0)、y=(0,1)y=(0,1)。此时,∥x+y∥1\|x+y\|_1 和 ∥x−y∥1\|x-y\|_1 都等于 22,因此平行四边形恒等式的左边为 88,右边却为 44。所以,这个范数不可能由任何内积诱导。

完备性带来了进一步的区分。完备的内积空间称为希尔伯特空间,而完备的赋范空间称为巴拿赫空间。每个希尔伯特空间在其诱导范数下都是巴拿赫空间,但许多巴拿赫空间的范数并不与任何内积相容。

内积几何还提供了尤为强有力的逼近理论。在希尔伯特空间中,对于每个向量,每个非空闭凸集中都存在唯一一个距该向量最近的点。对于闭线性子空间,这种最近点映射就是正交投影。一般的赋范空间不一定具有在存在性、唯一性或线性方面同样良好的投影。

拓扑、收敛与范数的等价性

范数通过其开球赋予空间一种拓扑学结构。序列 xkx_k 收敛于 xx 当且仅当

∥xk−x∥⟶0.\|x_k-x\|\longrightarrow0.

由反三角不等式可知,范数函数本身是连续的;更确切地说,相对于它自身诱导的度量,范数函数满足常数为一的利普希茨条件。加法和数乘也都是连续的,因此每个赋范空间都是拓扑向量空间。

同一向量空间上的两个范数 ∥⋅∥a\|\cdot\|_a 和 ∥⋅∥b\|\cdot\|_b 称为等价的,如果存在常数 c,C>0c,C>0,使得对所有 xx 都有

c∥x∥a≤∥x∥b≤C∥x∥ac\|x\|_a\leq\|x\|_b\leq C\|x\|_a

成立。等价范数具有相同的开集和收敛序列,也具有相同的柯西序列、有界子集和连续线性映射。对于范数而言,所诱导的拓扑相同,等价于存在上述双边界,因为利用齐次性,可以将零点处的连续性推广到所有向量。

有限维实向量空间或复向量空间上的任意两个范数都等价。一种证明方法是选取一组基(线性代数),将任意范数与坐标的欧几里得范数进行比较。三角不等式给出了上界,再利用连续性和欧几里得单位球面的紧致性,便可得到一个严格为正的下界。这一论证所需的紧致性由海涅—博雷尔定理保证。

因此,在有限维空间中,收敛性和连续性问题不依赖于所选的范数。不过,具体的数值常数仍取决于范数的选择。等价范数可能赋予同一个向量差异很大的大小,而比较常数也可能随维数增大而增大。因此,有限维空间中范数的等价性,并不意味着在高维误差界或计算复杂度估计中可以忽略范数的选择。

在无限维空间中,范数可能并不等价。在连续函数空间 C[0,1]C[0,1] 上,考虑

∥f∥∞=max⁡0≤t≤1∣f(t)∣,∥f∥1=∫01∣f(t)∣ dt.\|f\|_\infty=\max_{0\leq t\leq1}|f(t)|, \qquad \|f\|_1=\int_0^1|f(t)|\,dt.

虽然 ∥f∥1≤∥f∥∞\|f\|_1\leq\|f\|_\infty,但不存在一个正的常数,使反向不等式对所有连续函数一致成立。序列 fn(t)=tnf_n(t)=t^n 满足

∥fn∥∞=1,∥fn∥1=1n+1⟶0.\|f_n\|_\infty=1,\qquad \|f_n\|_1=\frac1{n+1}\longrightarrow0.

因此,该序列在积分范数下收敛于零,但在一致范数下并不收敛于零。狭窄的尖峰也会产生同样的现象:其总面积可以趋于零,而最大高度保持不变。

无限维空间中的范数与完备性

序列空间和函数空间是无限维空间的主要例子。对于 1≤p<∞1\leq p<\infty,序列空间 ℓp\ell^p 由满足

∑j=1∞∣xj∣p<∞,\sum_{j=1}^{\infty}|x_j|^p<\infty,

的标量序列 x=(xj)j≥1x=(x_j)_{j\geq1} 构成,其范数为

∥x∥p=(∑j=1∞∣xj∣p)1/p.\|x\|_p=\left(\sum_{j=1}^{\infty}|x_j|^p\right)^{1/p}.

空间 ℓ∞\ell^\infty 由有界序列构成,配备上确界范数。与有限维坐标空间不同,这些空间所包含的向量并不完全相同:例如,(1/j)j≥1(1/j)_{j\geq1} 属于 ℓ2\ell^2,却不属于 ℓ1\ell^1。

在测度空间 (X,Σ,μ)(X,\Sigma,\mu) 上,相应的 Lp空间使用勒贝格积分定义范数:

∥f∥p=(∫X∣f∣p dμ)1/p,1≤p<∞.\|f\|_p=\left(\int_X|f|^p\,d\mu\right)^{1/p}, \qquad 1\leq p<\infty.

对于 p=∞p=\infty,范数为本质上确界,即忽略零测集上的例外值。几乎处处相等的函数被视为同一元素。若不作这种等同处理,一个仅在零测集上取非零值的函数也可能具有零范数,从而违反正定性。

赋范空间中的柯西序列满足

∥xm−xn∥⟶0as m,n⟶∞.\|x_m-x_n\|\longrightarrow0 \quad\text{as }m,n\longrightarrow\infty.

如果每个这样的序列都收敛于该空间中的某个元素,这个空间就是完备的,称为巴拿赫空间。当 1≤p≤∞1\leq p\leq\infty 时,空间 ℓp\ell^p 和 LpL^p 都是巴拿赫空间。配备上确界范数的 C[0,1]C[0,1] 也是如此:连续函数组成的一致柯西序列具有连续的一致极限。

完备性既取决于底层集合,也取决于所采用的范数。有限支撑序列构成的空间在 ℓ2\ell^2 范数下并不完备;对一个具有无穷多个非零项的平方可和序列进行截断,所得序列是柯西序列,但其极限具有无穷多个非零坐标。该空间的完备化是 ℓ2\ell^2。类似地,C[0,1]C[0,1] 在积分 11-范数下也不完备,其完备化可等同于 L1[0,1]L^1[0,1]。

范数不仅可以控制函数值,也可以控制导数。一个典型的一阶索伯列夫范数为

∥u∥W1,p(Ω)=(∥u∥Lp(Ω)p+∑j=1d∥∂ju∥Lp(Ω)p)1/p,\|u\|_{W^{1,p}(\Omega)} = \left( \|u\|_{L^p(\Omega)}^p+ \sum_{j=1}^{d}\|\partial_j u\|_{L^p(\Omega)}^p \right)^{1/p},

其中 1≤p<∞1\leq p<\infty,导数按弱导数理解。这类范数用于度量正则性,是研究偏微分方程的基本工具。它们能够区分整体大小相近、但振荡特征或变化速率差异很大的函数。

算子范数与对偶范数

给定赋范空间 XX 和 YY,若存在 M≥0M\geq0,使得对每个 x∈Xx\in X 都有

∥Tx∥Y≤M∥x∥X\|Tx\|_Y\leq M\|x\|_X

成立,则称线性映射 T:X→YT:X\to Y 有界。它的算子范数为

∥T∥=sup⁡x≠0∥Tx∥Y∥x∥X=sup⁡∥x∥X≤1∥Tx∥Y.\|T\| =\sup_{x\ne0}\frac{\|Tx\|_Y}{\|x\|_X} =\sup_{\|x\|_X\leq1}\|Tx\|_Y.

这是满足上述不等式的最小上界 MM。对于赋范空间之间的线性映射,有界性等价于连续性,而且只需在零点连续,就能保证处处连续。

算子范数刻画了输入所能受到的最大放大倍数。只要复合有定义,就有

∥ST∥≤∥S∥ ∥T∥\|ST\|\leq\|S\|\,\|T\|

成立。对于作用在坐标空间之间、且两端选用相同 pp-范数的矩阵,其诱导矩阵范数包括

∥A∥1=max⁡j∑i∣aij∣,∥A∥∞=max⁡i∑j∣aij∣.\|A\|_1=\max_j\sum_i|a_{ij}|, \qquad \|A\|_\infty=\max_i\sum_j|a_{ij}|.

诱导 22-范数等于最大奇异值:

∥A∥2=σmax⁡(A).\|A\|_2=\sigma_{\max}(A).

这就把范数估计与奇异值分解联系了起来。

矩阵也可以直接看作由其各元素组成的向量。弗罗贝尼乌斯范数

∥A∥F=(∑i,j∣aij∣2)1/2,\|A\|_{\mathrm F} =\left(\sum_{i,j}|a_{ij}|^2\right)^{1/2},

就是由此得到的。它不同于诱导 22-范数,等于所有奇异值的平方和的平方根。对于 n×nn\times n 单位矩阵,诱导 22-范数为 11,而弗罗贝尼乌斯范数为 n\sqrt n。

连续对偶空间 X∗X^* 由连续的标量值线性泛函组成,其范数为

∥f∥∗=sup⁡∥x∥≤1∣f(x)∣.\|f\|_*=\sup_{\|x\|\leq1}|f(x)|.

在标准坐标配对下,有限维空间上 pp-范数的对偶范数是 qq-范数,其中 1/p+1/q=11/p+1/q=1。因此,11-范数与 ∞\infty-范数互为对偶,而欧几里得范数是自对偶的。

哈恩—巴拿赫定理给出了一个更深层的关系:

∥x∥=sup⁡∥f∥∗≤1∣f(x)∣.\|x\|=\sup_{\|f\|_*\leq1}|f(x)|.

对于每个非零的 xx,都存在范数为一的泛函在 xx 处达到这个值;在复数情形下,可对其相位作适当归一化。这完全通过标量测量表达了向量的大小,也解释了为什么对偶性在优化和泛函分析中如此有效。即使原赋范空间不完备,其对偶空间在算子范数下仍是巴拿赫空间。

半范数、商范数及相关构造

半范数满足非负性、绝对齐次性和三角不等式,但在非零向量上也可能取零值。它的零集

N={x:p(x)=0}N=\{x:p(x)=0\}

是一个线性子空间。当某种度量有意忽略一些特征时,半范数就会自然出现。例如,对于可微函数,

p(f)=sup⁡t∈[0,1]∣f′(t)∣p(f)=\sup_{t\in[0,1]}|f'(t)|

是 C1[0,1]C^1[0,1] 上的一个半范数:每个常值函数的半范数都为零。

通过定义

∥x+N∥=p(x).\|x+N\|=p(x).

半范数便成为商向量空间 V/NV/N 上的范数。这个表达式与代表元的选取无关,因为加上 NN 中的向量不会改变半范数的值。这种构造将度量无法区分的向量视为等价。在 LpL^p 中,从可测函数转向按几乎处处相等关系划分的等价类,就是一个重要实例。

另一种商空间构造从赋范空间 VV 及其线性子空间 MM 出发。定义

∥x+M∥V/M=inf⁡m∈M∥x+m∥.\|x+M\|_{V/M} =\inf_{m\in M}\|x+m\|.

这总是商空间上的半范数,且当且仅当 MM 闭时才是范数。如果 MM 不闭,那么属于其闭包但不属于 MM 的向量所代表的陪集非零,商半范数却为零。当 VV 是巴拿赫空间且 MM 闭时,商空间也是巴拿赫空间。这个下确界不一定能由某个代表元取到。

范数也可以在积空间上组合起来。如果 XX 和 YY 都是赋范空间,那么

∥(x,y)∥=∥x∥X+∥y∥Y\|(x,y)\|=\|x\|_X+\|y\|_Y

和

∥(x,y)∥=max⁡{∥x∥X,∥y∥Y}\|(x,y)\|=\max\{\|x\|_X,\|y\|_Y\}

都是 X×YX\times Y 上的范数。更一般地,有限 pp-和用通常的 pp-范数公式将各分量的范数组合起来。对于有限多个分量,这些范数彼此等价,尽管它们的单位球不同。

拟范数保留正定性和绝对齐次性,但将三角不等式放宽为

∥x+y∥≤C(∥x∥+∥y∥)\|x+y\|\leq C(\|x\|+\|y\|)

其中 C≥1C\geq1 为固定常数。当 0<p<10<p<1 时,通常的 LpL^p 表达式是一个拟范数,并且满足

∥f+g∥pp≤∥f∥pp+∥g∥pp.\|f+g\|_p^p\leq\|f\|_p^p+\|g\|_p^p.

这些空间依然十分重要,但不具备赋范空间的某些几何性质,例如其单位球并非凸集。

通常所说的“ℓ0\ell^0 范数”计算的是非零坐标的个数。它并不是范数:乘以任意非零标量都不会改变这一计数,因此不满足绝对齐次性。

优化、逼近与数值计算

范数在数学优化中用作目标函数、约束和误差度量。形如

min⁡x∥Ax−b∥\min_x\|Ax-b\|

的问题旨在寻找一个向量,使其像逼近数据 bb。所选范数决定了何谓“最佳”。11-范数使残差的绝对值之和最小,22-范数使残差的欧几里得长度最小,而 ∞\infty-范数使残差的最大绝对值最小。

最小化 22-范数的平方就得到最小二乘法:

min⁡x∥Ax−b∥22.\min_x\|Ax-b\|_2^2.

对于实矩阵,求导可得正规方程

ATAx=ATb.A^{\mathsf T}Ax=A^{\mathsf T}b.

平方运算不会改变极小点,因为 t↦t2t\mapsto t^2 在 t≥0t\geq0 时单调递增。范数的平方处处可微,而欧几里得范数本身在零点不可微。如果 AA 列满秩,则最小二乘解唯一。

范数惩罚项在正则化中起着核心作用。岭回归采用欧几里得范数的平方作为惩罚项,

min⁡β∥Xβ−y∥22+λ∥β∥22,\min_\beta \|X\beta-y\|_2^2+\lambda\|\beta\|_2^2,

而套索回归采用

min⁡β∥Xβ−y∥22+λ∥β∥1.\min_\beta \|X\beta-y\|_2^2+\lambda\|\beta\|_1.

11-范数球的尖角有助于解释为什么套索回归的解可能具有恰好为零的坐标。这一效应取决于目标函数的等值集与约束的几何形状之间的相互作用,而不只是因为 11-范数的取值大于 22-范数。

对偶范数描述线性作用在最坏情况下的大小。在标准的实坐标配对下,

sup⁡∥δ∥≤εgTδ=ε∥g∥∗.\sup_{\|\delta\|\leq\varepsilon}g^{\mathsf T}\delta =\varepsilon\|g\|_*.

因此,用一种范数给出的扰动界,会导出以其对偶范数表示的敏感度界。这一恒等式用于鲁棒优化,也用于对输入发生微小位移时目标函数的变化作一阶估计。

在数值线性代数中,范数用于量化残差、前向误差和后向误差。对于可逆方阵,

κ(A)=∥A∥ ∥A−1∥\kappa(A)=\|A\|\,\|A^{-1}\|

是基于范数的条件数,其中采用相容的诱导范数。如果 Ax=bAx=b 且 Ax^=b+δbA\widehat x=b+\delta b,那么对于非零的 bb,有

∥x^−x∥∥x∥≤κ(A)∥δb∥∥b∥,\frac{\|\widehat x-x\|}{\|x\|} \leq \kappa(A)\frac{\|\delta b\|}{\|b\|},

因此,当矩阵病态时,残差小并不一定意味着解的误差小。

在浮点运算中实际计算范数时,也需要谨慎处理。即使最终的欧几里得范数可以表示,直接对 xj2x_j^2 求和仍可能发生上溢或下溢。数值稳定的实现会对中间量重新缩放,将整体量级与归一化后的平方和分开处理。

历史发展与结构性局限

范数概念源于将几何与分析推理推广到有限维坐标空间之外的尝试。十九世纪的分析学日益将函数和序列视为独立的研究对象,而积分方程和无穷方程组则要求对大小与收敛给出精确的定义。现代抽象方法将这些度量与任何特定的公式或坐标表示分离开来。

莫里斯·弗雷歇于1906年开展的抽象空间研究,推动了度量空间方法的确立;这种方法通过公理来规定距离。赋范空间在此基础上引入线性结构,并要求度量与数乘相容。1922年,斯特凡·巴拿赫发表了关于抽象空间中运算的奠基性研究;他于1932年出版的《线性算子理论》(Théorie des opérations linéaires)系统整理了完备赋范空间和有界线性算子的大量理论。这些进展使巴拿赫空间成为分析学的通用框架,而不再只是一些彼此无关的函数空间实例的集合。

内积空间构成了一个相关但限制更强的分支。大卫·希尔伯特等人关于积分方程的研究,使欧几里得几何的无穷维推广成为分析学的核心内容。1935年,帕斯夸尔·约尔当与约翰·冯·诺依曼通过平行四边形定律刻画了由内积诱导的范数。他们的结果精确指出了哪些范数所定义的几何结构容许相容的内积。

赋范空间与更一般的拓扑向量空间之间的区别也同样重要。一个豪斯多夫局部凸拓扑向量空间可赋范,当且仅当它具有有界的零点邻域,其中有界性按拓扑向量空间中的定义理解。许多有用的空间则需要用一族半范数来描述。例如,C∞[0,1]C^\infty[0,1] 上的标准拓扑由以下半范数族生成:

pk(f)=max⁡0≤j≤ksup⁡t∈[0,1]∣f(j)(t)∣,k=0,1,2,….p_k(f)=\max_{0\leq j\leq k}\sup_{t\in[0,1]}|f^{(j)}(t)|, \qquad k=0,1,2,\ldots.

这一拓扑分别控制各阶导数,无法由单个范数诱导。

无穷维范数几何还存在有限维情形中没有的局限。无穷维赋范空间的闭单位球在范数拓扑下绝不紧致。因此,有界序列未必包含依范数收敛的子列。在 ℓ2\ell^2 中,标准坐标向量 ene_n 的范数均为一,但

∥en−em∥2=2(n≠m),\|e_n-e_m\|_2=\sqrt2 \qquad(n\ne m),

所以任何子列都不可能依范数收敛。

较弱的收敛概念在一定程度上弥补了紧致性的缺失。如果每个连续线性泛函在一个序列上的取值都收敛于其在某个向量上的取值,就称该序列弱收敛于这个向量。在 ℓ2\ell^2 中,尽管向量 ene_n 的范数始终为一,它们仍弱收敛于零。范数收敛总能推出弱收敛,但反过来一般不成立。这一区别是泛函分析中紧致性方法的基础,也解释了为何无穷维空间中的存在性证明常常使用比范数直接定义的拓扑更弱的拓扑。