范数是一个取非负实数值的函数,用于度量向量空间中元素的大小。它将通常的长度概念推广到坐标向量、矩阵和函数等对象。与任意的大小度量不同,范数必须与标量乘法和加法相容,且只有零向量的范数为零。范数提供了定义距离和收敛的方法,从而将线性代数与数学分析联系起来。(ocw.mit.edu)
定义与基本性质
对所有 和标量 ,均满足以下三个条件:
- 正定性: 当且仅当 。
- 绝对齐次性: 。
- 三角不等式: 。
二元组 称为赋范向量空间。这些公理蕴含对称性 ,以及反三角不等式:
因此,范数函数相对于其诱导的距离是连续的。(tbetcke.github.io)
半范数保留了非负性、绝对齐次性和三角不等式,但在非零向量上也可能取零值。例如, 忽略了第二个坐标,因此不是 上的范数。(ocw.mit.edu)
坐标范数与几何
对于 或 ,-范数定义为
而无穷范数定义为
其中的重要特例包括:对各坐标绝对值求和的 -范数;-范数,又称欧几里得范数;以及取各坐标绝对值最大值的无穷范数。欧几里得范数通过 给出通常的欧几里得距离。(tbetcke.github.io)
不同范数对应不同的几何形状。在 中, 时的单位球分别为菱形、圆盘和边平行于坐标轴的正方形。每个范数都是凸函数,其单位球都是凸集。这些性质可由齐次性和三角不等式推出。(stanford.edu)
当 时,在至少二维的空间中,同样的坐标公式不能定义范数,因为它不满足三角不等式。通常被称为“-范数”的非零坐标个数也不是范数:将非零向量乘以非零标量不会改变这一计数,因此违反了齐次性。(stanford.edu)
距离、收敛与等价性
每个范数都可以通过
定义一个度量空间。这一距离具有平移不变性。收敛是指 。如果每个柯西序列都收敛到空间中的某个元素,那么该赋范空间就是巴拿赫空间。完备性是一项额外性质,并非范数公理的一部分。(web.math.princeton.edu)
若存在正常数 ,使得对每个 都有
则称这两个范数等价。等价范数定义相同的拓扑,并具有相同的收敛序列。在一个给定的有限维实向量空间或复向量空间上,所有范数都等价。这并不意味着它们的数值或单位球相同。在无限维空间中,范数不一定等价。(math.mit.edu)
内积诱导的范数
内积通过
诱导一个范数。柯西—施瓦茨不等式可以证明这一构造满足三角不等式。并非每个范数都来自内积。实向量空间或复向量空间上的范数由内积诱导,当且仅当它满足平行四边形恒等式:
当这一条件成立时,可以通过极化恒等式恢复唯一与该范数相容的内积。完备的内积空间称为希尔伯特空间。因此,希尔伯特空间是具有额外几何结构的巴拿赫空间。(ocw.mit.edu)
函数空间
范数也可以用来度量函数。在测度空间 上,Lp空间中的范数为
该空间由使这一量有限的函数构成。其元素是函数的等价类,其中几乎处处相等的函数被视为同一元素;这样的处理保证了正定性。当 时,范数是本质上确界,即忽略测度为零的例外集合后得到的上确界。(math.ucdavis.edu)
对于紧区间上的连续函数,
按这一上确界范数收敛就是一致收敛。相比之下,积分范数度量的是总体差异,因而可以容许函数在测度较小的集合上存在显著差别。这些区别在泛函分析中十分重要。(math.ucdavis.edu)
矩阵范数、对偶范数及应用
当向量范数取欧几里得范数时,这一算子范数等于矩阵的最大奇异值。弗罗贝尼乌斯范数则将矩阵视为元素数组来度量:
它通常不同于欧几里得范数诱导的算子范数。相容的诱导范数满足 。(tbetcke.github.io)
在 上,对偶范数定义为
当 时,-范数的对偶范数是 -范数,其中也包括 -范数与无穷范数互为对偶的情形。在数学优化中,范数用于度量残差并约束可行解。范数惩罚项还可以实现正则化:-范数惩罚项可以促进稀疏解的产生,而 -范数的平方惩罚项则控制系数的整体大小。(stanford.edu)
参考来源
- ocw.mit.edu/courses/18-065-matrix-methods-in-data-analysis-signal-processing-an…ocw.mit.edu
- tbetcke.github.io/math0058_lecture_notes/matrix_vector_norms.htmltbetcke.github.io
- ocw.mit.edu/courses/18-102-introduction-to-functional-analysis-spring-2021/3d4c…ocw.mit.edu
- stanford.edu/~boyd/cvxbook/bv_cvxbook.pdfstanford.edu
- web.math.princeton.edu/~js129/PDFs/teaching/MAT520_fall_2024/MAT520_Lecture_Not…web.math.princeton.edu
- math.mit.edu/~stevenj/18.335/norm-equivalence.pdfmath.mit.edu
- math.ucdavis.edu/~babson/MAT200/Shktext.pdfmath.ucdavis.edu