正交性是一种数学关系,是直线和向量之间垂直关系的推广。在标准定义中,向量空间中的两个元素若内积为零,就称它们正交。这一定义不仅适用于普通空间中用箭头表示的向量,也适用于矩阵、函数、随机变量和量子态。正交性的重要之处在于它能将各个分量分离开来:正交分量对长度平方的贡献彼此独立,因此可以对复杂对象进行系统的分解、度量和近似。
正交性将几何学、线性代数和数学分析联系起来,是坐标系、最小二乘拟合、傅里叶展开、谱方法以及许多数值算法的基础。它的确切含义取决于所处的数学结构:改变内积,可能会改变向量之间的正交关系;将这一概念推广到不定形式或非欧几何环境时,还需要加上普通欧氏几何中不必考虑的限定条件。
内积与垂直关系的推广
在 欧几里得空间 中,若向量 与 的点积为零,则称它们正交:
对于非零向量,恒等式
表明,正交等价于两向量的夹角为 。例如, 与 正交,因为 。零向量与任何向量都正交,尽管涉及零向量的夹角没有定义。因此,这一代数关系将垂直的概念推广到了无法用夹角描述的情形。
内积抽象概括了支撑这种几何结构的性质。在实数域上,内积是对称、正定的双线性形式;在复数域上,内积具有共轭对称性,是半双线性形式。采用内积对第一个变量呈线性的约定,有
相应的范数为 ,正交关系记作 。有些文献则约定内积对第二个变量呈线性;此时,系数公式须相应地通过复共轭作调整,但正交关系不变。
一个重要推论是勾股定理:
对于有限个两两正交的向量,它们的和的范数平方等于各向量范数平方之和。在实内积空间中,上述等式反过来也蕴含正交性。在复内积空间中,它只能说明 ;要使虚部也为零,还需要附加条件,例如要求 也满足类似的等式。这一区别很重要,因为复内积空间中的正交关系所包含的信息,比单个实数长度恒等式更多。
正交性取决于所选的内积,而不只取决于向量本身的坐标。若 是实对称正定矩阵,则
定义了另一个内积。当 时,向量 与 在这种加权几何中正交,尽管它们通常的点积为 。这样的权重可以表示不同的坐标尺度、材料性质或统计精度。
并非每一种范数都由内积诱导。其充要条件是满足平行四边形恒等式:
当这一恒等式成立时,可以通过极化恒等式从范数重构内积。更一般的赋范空间中也可以定义其他正交概念,但这些正交关系未必具有对称性,也未必具备熟悉的投影性质。因此,正定性与内积结构是实质性的假设,而非无关紧要的记号约定。
正交补与最近点投影
对于内积空间 的子集 ,其正交补为
即使 本身不是线性子空间,正交补也一定是线性子空间。它只取决于 的线性张成空间;在希尔伯特空间中,它也只取决于该张成空间的闭包。在 维空间中,每个子空间 都满足
这里的直和意味着,每个向量都能唯一地分解为两个分量:一个属于 ,另一个与 正交。
属于 的分量就是正交投影 。其定义条件为
它也是 中距离 最近的唯一一点。事实上,对于任意 ,由正交性可得
第二项不可能为负,且仅当 时为零。因此,寻找最近点这一几何问题,等价于使残差与所有容许方向正交。
希尔伯特空间是关于内积所诱导的范数完备的内积空间;在这样的空间中,上述投影定理对每个闭线性子空间都成立。闭性条件不可省略。在 上的平方可积函数空间中,多项式构成一个稠密但不闭的子空间。对于不属于该多项式子空间的函数,可以用多项式将其平方积分误差逼近到任意小,却不存在距离它最近的多项式。相关恒等式为
这些恒等式说明了,当有限维几何推广到无限维时,为何拓扑闭包会自然地出现。
投影算子满足
第一个性质是幂等性;第二个性质表示该算子是自伴的。在希尔伯特空间的有界算子中,这两个性质共同刻画了正交投影。仅满足幂等性的算子也可能是沿斜方向的投影。正交投影的范数至多为一,因此不会增大距离,其互补投影为 。
这些思想为理解矩阵的基本子空间提供了统一框架。若 是实 矩阵,则
因此,方程 有解,当且仅当 与 中的每个向量都正交。当方程无解时,将 投影到列空间上,就能得到最接近 且可由 表示的右端向量。这是最小二乘法的几何基础,而不仅仅是对其代数方程的一种便于理解的解释。
正交系、坐标与完备性
向量族 称为标准正交族,如果
其中, 在 时等于一,否则等于零。正交向量不一定具有单位长度;归一化可将其中每个非零向量变为单位向量。任何由两两正交的非零向量组成的向量族都是线性无关的。将一个有限线性关系分别与族中的每个向量作内积,就能单独求出相应的系数,因为所有交叉项都为零。
标准正交基使坐标的计算格外简单。在有限维空间中,
每个系数都可以通过一次内积独立求得,无须求解联立方程组。如果正交基 尚未归一化,则对应的系数为
这个分母必不可少:正交性消除了基向量之间的相互影响,但本身并不意味着它们的长度相等。
格拉姆—施密特正交化从线性无关的向量序列 构造出一个标准正交族。在第 步中,减去该向量在此前已构造出的所有方向上的投影:
在精确运算下,线性无关性保证 。这一构造保持每个初始片段所张成的空间不变,因此,当指定的顺序具有数学意义时,它尤其有用——例如,对 进行正交化,以得到次数依次递增的多项式。
对于希尔伯特空间中的标准正交序列,有限项投影可导出贝塞尔不等式:
两边之差衡量了所选方向未能表示的能量。如果该序列的闭线性包是整个空间,那么
后一个等式称为帕塞瓦尔恒等式,而上述级数按范数收敛。标准正交序列不一定完备:若从标准正交基中每隔一个元素保留一个,通常会使一整个与保留部分正交的子空间无法得到表示。
在无限维情形中,需要谨慎理解“基”的含义。希尔伯特空间的标准正交基给出收敛的级数展开,而代数基则仅用有限线性组合表示向量。可分的希尔伯特空间具有可数的标准正交基,但不可分空间可能需要不可数的向量族。即便如此,任一给定向量也至多只有可数多个非零系数。正交性还给出了一条实用的逼近法则:在 所张成空间的所有向量中,截断展开是范数意义下唯一的最佳逼近;当整个系统完备时,其误差的平方恰好等于所有被略去系数的模平方之和。
正交变换与谱结构
实方阵 若满足
就称为正交矩阵。它的各列构成一组标准正交基,且 。这类矩阵保持内积不变:
因此,它们保持长度、角度以及正交性本身不变。复数情形下对应的概念是酉矩阵,它满足 ,其中 是共轭转置。列向量标准正交的矩形矩阵保持输入空间中向量的长度不变,但除非它是方阵,否则并不是可逆的正交矩阵。
旋转和反射是主要的几何实例。在二维空间中,
将向量旋转角度 。关于垂直于单位向量 的超平面的反射,其矩阵为
每个实正交矩阵的行列式都为 或 。行列式的符号表明变换保持还是反转定向;其绝对值为一,还意味着变换保持欧氏体积不变。正交矩阵构成群 ,其中行列式为 的矩阵构成 。
正交性在谱定理中起着核心作用。若 是实对称矩阵,则属于不同特征值的特征向量相互正交。对于 和 ,由对称性可得
因此, 必然推出 。在重特征值对应的特征子空间内,特征向量未必相互正交,但可以在其中选取一组标准正交基。综合起来,有
其中 为正交矩阵, 为实对角矩阵。厄米矩阵则具有相应的酉分解。
对于一般矩阵,奇异值分解
给出了输入空间和输出空间中各自的一组标准正交方向。若 和 是相对应的奇异向量,则 。因此,这一变换可以理解为依次进行一次正交或酉坐标变换、沿相互垂直的方向独立伸缩,以及另一次坐标变换。这种解释为低秩近似以及识别逆问题中难以准确确定的方向提供了依据。
正交性也可用于为矩阵本身建立坐标。弗罗贝尼乌斯内积定义为
因此,两个矩阵作为矩阵空间中的向量可以相互正交,而它们本身都不必是正交矩阵。例如,仅有一个元素为一、其余元素均为零的各个基本矩阵,在这一内积下构成一组标准正交基。区分“一个正交矩阵”与“作为向量相互正交的两个矩阵”,可以避免将变换的性质与对象之间的关系混为一谈这一常见歧义。
正交函数、傅里叶分析与微分方程
赋予函数内积后,便可以将函数视为几何对象。一个标准例子是
其中, 是几乎处处为正的权函数。仅在零测集上存在差异的函数,在由此得到的 空间中代表同一个元素。函数正交意味着它们乘积的加权积分为零,而不是说它们的图像互不相交,也不是说它们不会同时取非零值。在整个区间上,正负贡献或不同复相位的贡献可能相互抵消。
在 上,函数
构成复 空间的一组标准正交基。对 积分即可得出它们的正交性:当整数频率不同时,积分为零;当频率相同时,积分为 。因此,傅里叶级数是一种正交坐标展开。其系数的模平方之和等于函数的 范数的平方。这种范数收敛本身并不蕴含逐点收敛或一致收敛;后两者是不同的问题,需要额外的结论或假设。
在适当的权函数下,对 的各次幂应用格拉姆–施密特正交化,即可得到正交多项式。勒让德、切比雪夫、埃尔米特和拉盖尔多项式所采用的区间和权函数各不相同。勒让德多项式在 上关于权函数 1 正交;第一类切比雪夫多项式采用的权函数为 。例如,前三个勒让德多项式为
且
这些多项式系在多项式逼近和数值求积中十分重要,因为它们的系数与误差分解都继承了正交几何的性质。
正交函数系的一个主要来源是斯图姆–刘维尔理论。正则问题具有如下形式:
并配以适当的边界条件。将两个特征函数所满足的方程分别乘以另一个特征函数,再相减并分部积分,当边界项为零时,可得
因此,不同特征值所对应的特征函数相互正交。边界条件不可或缺:仅凭微分表达式本身,不能保证问题具有自伴性,也不能保证正交性。
这些方法与数学物理有着直接联系。对于有限区间上、两端温度固定为零的热方程,正弦函数给出相互正交的空间模态,每个模态均以由其特征值决定的速率衰减。对于波动方程,类似的模态则以各自的特征频率振荡。约瑟夫·傅里叶在研究热现象时发展了三角函数展开,并在其于 1822 年出版的《热的解析理论》(Théorie analytique de la chaleur)中加以阐述。后来对这些展开的严格研究,推动了函数空间几何以及二十世纪初前后形成的希尔伯特空间框架的发展。
数值正交性与稳定计算
正交性在计算中很有价值,因为正交变换保持欧几里得范数不变。在这一范数下,正交矩阵的条件数为一。与乘以病态的基变换矩阵不同,施加正交变换本身不会放大向量中的扰动。这并不意味着凡是使用正交矩阵的算法都会自动得到准确结果:构造变换时的误差、舍入误差以及原问题的条件性仍然会影响结果。尽管如此,正交运算仍为数值线性代数提供了尤为可靠的基础。
一个核心例子是QR分解,
其中, 的列向量标准正交, 为上三角矩阵。对于列满秩矩阵,最小化 可归结为求解
分量 位于列空间中,而 与该空间正交。因此,QR分解无需显式构造 ,就能实现最小二乘法的几何投影。这一点很重要,因为对于列满秩矩阵,
因此,构造正规方程可能使原本就难以求解的问题在数值上变得更加敏感。
不同的正交化方法在浮点运算中的表现各不相同。经典格拉姆—施密特方法先针对当前待处理向量的原始值计算各个投影系数,再进行相减;当各列近乎线性相关时,相消可能导致正交性严重丧失。改进的格拉姆—施密特方法在每次相减后更新向量,因此通常表现更好。再正交化则重复去除已由现有方向表示的分量,从而减少残留分量的干扰。在精确算术中,这些差别并不存在;但当剩余分量相对于相减的量很小时,这些差别就变得十分重要。
豪斯霍尔德变换通过构造反射来消去选定的向量分量。这些反射的乘积可给出数值稳定的QR分解,其中的正交因子通常以隐式形式存储,而不是存成稠密矩阵。平面旋转提供了另一种方法,每次消去一个分量,适用于具有特定结构的更新。正交变换也是用于计算特征值的QR算法以及将对称矩阵化为三对角形式的基础。
在大规模迭代计算中,维持一组向量的正交性可能占据主要计算开销。逐步构建搜索空间或逼近空间的方法,需要反复将新向量投影到已有方向上。舍入误差可能重新引入本应已被消去的分量,导致谱信息重复或收敛性能下降。一种有效的诊断方法是考察计算所得的格拉姆矩阵偏离单位矩阵的程度:
这一数值在所选矩阵范数下衡量了标准正交性的丧失程度。可接受的容差取决于计算精度、维数、条件性和具体任务;符号计算中的精确正交性与数值正交性彼此相关,但在实际操作中是不同的概念。
概率、回归与实验设计
平方可积的随机变量构成一个内积空间,其内积为
对于实随机变量,正交意味着 。这通常不等同于协方差为零,因为
对于中心化后的变量,这两个条件等价。因此,将有关正交性的几何论断转化为有关相关关系的论断时,中心化是不可或缺的一步。例如,非零常量随机变量与任何变量的协方差都为零,却不一定与之正交。
统计独立性比不相关性更强,并非不相关性的另一种说法。如果 在 上服从均匀分布,且 ,那么由对称性可得
但 完全由 决定。等价地, 和 是两个相互正交但并不独立的中心化变量。联合高斯变量是一个特殊情形:高斯子向量之间的交叉协方差为零,就意味着它们相互独立。仅有边缘正态性并不能得出这一结论。
条件期望可以严格解释为投影。若 平方可积,且 是一个子 代数,那么 就是 在由平方可积的 可测变量组成的闭子空间上的正交投影。因此,对于每个平方可积的实值 可测变量 ,都有
成立。未被解释的残差与可用信息的每个平方可积函数都正交。这也证明,在所有这类预测量中,条件期望使预测误差平方的期望最小。
在普通最小二乘法中,拟合向量是观测向量在设计矩阵列空间上的投影。残差 满足
如果设计矩阵包含截距项,残差之和就为零,因为常量向量是矩阵的一列。如果 为对角矩阵,则各预测变量列两两正交,各个系数可以分别计算。若误差相互独立,且具有相同的方差 ,则系数估计量的协方差矩阵为 ,在此情形下也是对角矩阵。系数估计量相互独立还需要额外的分布假设,例如误差服从高斯分布。
正交性也是组织实验设计的重要原则。在包含两个因素、各因素水平均编码为 和 的平衡全因子实验中,截距列、各主效应列及其乘积列两两正交。这使得方差分析中相应的平方和能够分离。观测缺失、重复次数不等或采用部分因子设计,都可能改变这一结构;在部分因子设计中,某些效应列可能仅相差一个符号,从而产生混杂,而非实现分离。在主成分分析中,协方差矩阵的正交特征向量同样确定了互不相关的得分方向,但仅凭这一几何构造,并不能断定这些得分在统计上相互独立。
几何、量子理论及更广泛的含义
在光滑流形上,正交性在每个切空间内局部定义。黎曼度量张量在每一点 处赋予一个正定内积 。该点处的两个切向量 在 时正交。用坐标表示,这一条件为
如果一个坐标系的各坐标切向方向两两正交,就称其为正交坐标系;等价地,其度量矩阵为对角矩阵。正交的坐标方向不必具有单位长度,因此正交坐标不一定是标准正交坐标。
极坐标说明了这一区别。在欧几里得平面中,
除原点这一坐标奇点外,径向与角向的坐标方向相互垂直,但角向坐标向量的长度为 ,而不是一。柱坐标和球坐标中也有类似的尺度因子,它们会出现在微分算子的公式中。更一般地,非零的梯度与等值面的切向方向正交,因为沿这类方向的方向导数为零:
这将正交性与法向量、约束极值以及微分方程的几何联系起来。
在量子力学中,纯态由复希尔伯特空间中的单位向量表示,仅相差一个整体相位的向量表示同一物理态。正交态向量的内积为零,通过适当的理想测量可以将它们完全区分。对于归一化态 ,与正交投影 对应的概率为
对于归一化向量 ,投影到其张成的一维子空间所对应的概率为 。因此,自伴随可观测量的正交本征态既提供了数学上的分解,也给出了测量可能产生的各个结果所对应的状态。
正交性也可以用非正定的对称形式或厄米形式来定义。这在具有不定度量的几何中十分重要。对于
非零向量 满足 ,即它与自身正交。这样的零向量不可能出现在正定内积空间中。虽然正交补仍有意义,但一个子空间与其自身的正交补可能存在非平凡的交集,通常的最近点解释也不再适用。因此,不能将关于正定情形下正交性的结论直接套用于不定情形。
其他学科也会基于相关的抵消或分离原理使用“正交”一词。在数论和调和分析中,特征标的正交性可以通过有限求和而非积分来定义;在编码理论中,向量可以在有限域上的双线性形式下正交。在软件设计中,“正交”常用来描述那些旨在彼此独立变化、相互干扰很小的功能。这些用法并不都涉及角度、长度或概率意义上的独立性。它们共同的数学模型是:在指定的配对运算下,交叉项消失;而这一配对的精确定义,决定了哪些几何结论仍然成立。