对称矩阵是转置后保持不变的方矩阵,这里的转置指矩阵转置。若其元素记为 ,则对称性意味着任意一对下标都满足 :关于主对角线对称的元素相等。虽然这一定义适用于多种数系,但实对称矩阵具有尤为突出的性质,在线性代数中占据核心地位。
揭示其结构的核心结论是谱定理:每个实对称矩阵都可以在一组标准正交基下对角化,且其所有特征值均为实数。这将对称性与相互垂直的方向、二次表达式以及正负曲率的分类联系起来。因此,对称矩阵广泛出现于协方差分析、优化、几何学、力学、图论和数值计算中。其良好的谱结构既有助于精确的数学推理,也为旨在保持对称性的算法提供了基础。
定义与代数结构
若一个 矩阵 满足
则称其为对称矩阵。例如,
是对称矩阵,而在 与 位置上元素不相等的矩阵则不是。对角线元素没有限制。对称矩阵不一定可逆、正定或逐元素非负。反过来,可逆矩阵或所有元素均为正数的矩阵也不一定对称。对称性描述的是对应元素之间的关系,而不是对各个元素的大小或正负所作的限制。
因为 个对角线元素与对角线上方的 个元素便能确定整个矩阵。一组标准基由矩阵 以及满足 的矩阵 组成,其中 仅在 位置有一个值为 的非零元素。因此,对称矩阵的独立元素数量约为同阶一般方阵的一半。
对称矩阵的和与数乘结果仍为对称矩阵,但乘积通常不是:对于对称矩阵 和 ,有
因此, 为对称矩阵当且仅当 。对称矩阵的任意非负整数次幂都是对称矩阵;若其逆矩阵存在,逆矩阵也是对称矩阵。任意实方阵 还具有唯一分解
即分解为一个对称部分和一个反对称部分。在弗罗贝尼乌斯内积下,这两个矩阵子空间相互正交。特别地,在弗罗贝尼乌斯范数意义下, 是与 最接近的对称矩阵。
在复数域上,必须区分转置对称性与共轭对称性。厄米矩阵满足 ,其中 为共轭转置。对于实矩阵,这两个条件等价;对于复矩阵,它们则不等价。复对称矩阵可能具有非实特征值,甚至可能无法对角化。例如,
是非零对称矩阵,但 。它唯一的特征值为零,因此无法对角化。所以,关于对称矩阵的大多数谱性质论断都隐含了矩阵元素为实数这一前提;这些论断在复数域上的对应形式通常针对厄米矩阵。
正交对角化与谱定理
对于每个实对称矩阵 ,都存在一个正交矩阵 和一个实对角矩阵 ,使得
的列向量 构成一组由特征向量组成的标准正交基,而 的对角元 则是它们对应的特征值。这一结论比一般的矩阵对角化更强:无须对坐标进行剪切或非均匀缩放,坐标变换保持长度和角度不变。
特征值为实数这一性质源于自伴性。若非零复向量 满足 ,则
由于实对称矩阵还满足 ,标量 等于其自身的复共轭,因此是实数。属于不同特征值的特征向量相互正交:若 且 ,则
当 时,必有 。重特征值也不会造成障碍,因为可以在其特征空间内选取一组标准正交基。
完整定理的一种证明从求 在单位球面上的最大值入手。由紧致性可知,最大值必定存在,而通过求解约束条件下的驻点,可以得到一个特征向量。该特征向量的正交补在 的作用下保持不变,因为只要 与特征向量 垂直,就有 。对这一维数更低的不变子空间递归应用上述论证,即可得到一组由特征向量组成的标准正交基。这一证明也揭示了谱定理与最优化之间的密切联系。
例如,
的特征值为 和 ,对应的单位特征向量为
这一变换将这两个相互垂直的方向分别拉伸为原来的 倍和 倍。更一般地,
每个 都是到相应特征向量方向上的正交投影。将特征值相同的项合并,就能得到一个与基的选取无关的分解,其中各项是到相应特征空间上的投影乘以对应的特征值。两两可交换的实对称矩阵可以同时正交对角化,因为每个矩阵都使其余矩阵的特征空间保持不变。
二次型、双线性型与坐标变换
实对称矩阵自然地表示一个二次型:
用坐标表示为
混合项中的系数 很重要:例如,多项式 对应的矩阵是
每个实系数二次齐次多项式都有唯一的对称矩阵表示。非对称矩阵也可以定义同一个二次表达式,但只有其对称部分起作用,因为对任意反对称矩阵 ,都有 。
与之对应的对称双线性型为
它分别对 和 呈线性,并且满足 。在实数域上,二次型通过极化公式确定双线性型:
这一对应关系解释了为什么当成对的相互作用以对称方式对某个标量作出贡献时,总会出现对称矩阵。如果 正定, 就是一个内积;若不满足正定性,它仍然是对称双线性型,但未必能用来定义长度。
在这一背景下,会出现两种不同的矩阵变换。对线性算子进行基变换,得到的是矩阵相似变换:
而在二次型中作坐标变换 ,则有
这称为合同变换。对任意可逆矩阵 ,合同变换都保持对称性,而一般的相似变换则未必。正交基变换的特殊之处在于 ,因此相似变换与合同变换在此时一致。这一区别也解释了为什么自伴算子在标准正交基下的矩阵是对称矩阵,而在任意基下的矩阵却未必对称。
西尔维斯特惯性定律指出,通过可逆合同变换相联系的实对称矩阵,其正、负、零特征值的个数分别相同。这三个数构成矩阵的惯性,通常记为 。通过可逆坐标变换,二次型可以化为
其中其余变量均不出现。与正交对角化不同,这种变换可能对坐标进行缩放,因此不保持各个特征值不变。惯性刻画了二次型的符号结构:正方向、负方向,以及对角化后二次型恒为零的方向。这种分类是圆锥曲线和高维二次曲面主轴分析的基础。
正定性与矩阵序
实对称矩阵 称为正定矩阵,如果对每个非零实向量 ,都有
如果对每个 都有 ,则称其为半正定矩阵。负定矩阵和半负定矩阵满足方向相反的不等式。如果一个矩阵的二次型既能取正值,也能取负值,则称该矩阵为不定矩阵。由正交对角化可知,正定性等价于所有特征值都严格为正;半正定性等价于所有特征值都非负。因此,仅有对称性既不能保证定性,也不能保证可逆性。
这些性质可以用若干精确的判定方法来刻画。西尔维斯特判据指出,实对称矩阵正定,当且仅当其所有顺序主子式均为正:
对于半正定性,相应条件是所有主子式均非负,而不只是顺序主子式非负。例如,对角矩阵 的顺序主子式均非负,两者都为零,但该矩阵并非半正定矩阵。在符号计算或理论论证中使用精确的代数判据时,这些区别十分重要。
正定矩阵具有Cholesky分解
其中 为对角元均为正的下三角矩阵。反过来,只要 非奇异,任何这样的乘积都是正定矩阵。半正定矩阵具有分解 ,其中 可以是矩形矩阵。因此,半正定矩阵恰好就是有限个实向量组成的向量组的格拉姆矩阵。其元素可以解释为这些向量两两之间的内积,其秩等于实现该格拉姆矩阵的向量组所张成空间的维数。
对称矩阵上还可以定义勒夫纳偏序: 表示 为半正定矩阵。这并不是逐元素的比较,而是指在每个方向上都有 。半正定矩阵构成一个闭的凸锥,其内部由正定矩阵组成。正定矩阵可逆,并通过 定义椭球面。其特征向量给出主轴方向,对应的半轴长度为 。该锥与仿射约束的交集是半定优化的基本可行域。矩阵序在合同变换下也遵循确定的规律:若 ,则 ,即使 是矩形矩阵也成立。
变分原理与特征值的敏感性
对于非零向量 ,实对称矩阵的瑞利商为
在由特征向量组成的标准正交基下,将 写成 ,可得
因此,瑞利商是各特征值的加权平均。特别地,
当向量位于相应的极值特征值所对应的特征子空间中时,等号成立。这些界将代数形式的特征值问题转化为单位球面上二次表达式的优化问题。
柯朗–费舍尔变分原理将这一刻画推广到每个特征值。将特征值按递增顺序排列:
该原理的一种表述为
其中,最小化遍及所有 维线性子空间。由此可得特征值的单调性:若 ,则对每个 ,都有 。另一个推论是柯西交错定理。若 是从 中删去一行及其对应列所得的主子矩阵,且其特征值为 ,则
对称矩阵的特征值问题还具有很强的扰动界。对于对称扰动 ,外尔界给出
其中, 是由欧几里得长度诱导的算子范数。因此,矩阵范数意义下的小扰动,不会使按序排列的任何特征值产生比该扰动更大的绝对变化。这种稳定性与非正规矩阵形成鲜明对比,后者的特征值对扰动可能敏感得多。不过,这并不意味着接近零的特征值也具有较小的相对误差。
对于特征向量,则需要更加谨慎。当某个特征值与其余谱之间存在足够大的间隙时,在小扰动下,其特征子空间的变化很小。戴维斯–卡汉界通过涉及扰动大小与谱间隔之比的表达式,定量描述了这一现象。如果特征值相等或非常接近,即使矩阵仅有微小变化,单个特征向量也可能发生剧烈变化;此时,由这些特征向量共同张成的不变子空间才是更有意义的研究对象。对于可微对称矩阵族 的一个单特征值,若其归一化特征向量为 ,则
这一公式将特征值的敏感性与扰动在特征向量方向上的二次型取值直接联系起来。
矩阵函数、范数与逼近
谱分解可以用来定义实对称矩阵的函数。若标量函数 在每个特征值处都有定义,则
当函数为多项式时,这一定义与利用矩阵幂直接代入所得的结果一致。更一般地,它给出了一种有限维函数演算,其结果与在重特征值对应的特征子空间内如何选取标准正交基无关。所得矩阵仍然是对称矩阵。在 的特征向量上,矩阵 的作用相当于乘以 。
由此可以直接得到几种重要的构造。矩阵的指数函数为
且对任意实对称矩阵 ,它都是正定的。半正定矩阵具有唯一的半正定平方根,
对于正定矩阵,逆平方根和实对称对数矩阵同样可以通过谱分解来定义。正定性或半正定性对这些特定的实值公式至关重要:具有负特征值的对称矩阵不存在半正定平方根。
基本的矩阵不变量可以用谱来简洁地描述:
矩阵的迹是所有特征值按各自正负符号相加的总和,而行列式则是它们的乘积。矩阵的秩等于非零特征值的个数。算子范数和弗罗贝尼乌斯范数分别为
实对称矩阵的奇异值就是其特征值的绝对值,只需按要求重新排序。因此,非奇异对称矩阵的谱条件数为
这些事实为低秩逼近提供了依据。将特征值及其对应的特征向量排序,使得
并保留前 对:
埃卡特–杨–米尔斯基定理表明,在谱范数和弗罗贝尼乌斯范数下,这都是秩不超过 的最佳逼近。两种范数下的误差分别为 和 。一种相关的投影操作是将每个负特征值替换为零。所得矩阵
是在弗罗贝尼乌斯范数下距离 最近的半正定矩阵。若再施加额外约束,例如指定对角元素,这一简单的截断操作就不再适用,而会变成另一种通常更为复杂的逼近问题。
数值算法与对称性的保持
对称性显著影响着数值线性代数中算法的设计。稠密对称矩阵只需存储上三角或下三角部分,所需存储的数值个数为 ,而非 。运算程序可以直接使用这种三角存储格式,无须将关于主对角线对称的元素视为独立数据。在浮点运算中,理论上对称的矩阵可能因舍入误差或组装过程不一致而出现轻微的不对称。将其替换为 可以恢复严格的对称性,但仅凭这一操作并不能恢复正定性。
对于稠密矩阵的特征值计算,一种标准策略是先将 化为对称三对角形式:
豪斯霍尔德变换可以在保持对称性和正交相似关系的同时完成这一化简。化简所需的算术运算次数为 量级,随后可用QR算法、分治法或基于二分法的算法求解三对角矩阵的特征值问题。正交变换对数值稳定性至关重要,因为它们保持欧几里得范数不变,并能避免仅由病态坐标变换引起的误差放大。相比之下,1846 年发表的雅可比旋转法通过平面旋转,反复将非对角元素消为零。
对于大型稀疏矩阵,计算全部特征向量往往既无必要,计算代价又高得难以承受。兰索斯迭代为由
生成的克雷洛夫子空间构造标准正交基,并得到一个规模较小的对称三对角投影问题。该投影问题的特征值称为里茨值,可用于逼近原矩阵的某些特征值,尤其是在谱的两端附近,逼近效果往往很好。在精确算术下,其基本递推关系只涉及少量项;而在浮点运算中,正交性的丧失可能导致重复或具有误导性的近似结果,因此实际实现中会采用重正交化、重启动或其他相关防护措施。
线性方程组的求解也能受益于对称性。正定方程组可以用乔列斯基分解求解;对于稠密矩阵,这一分解约需 次运算,而一般的 LU 分解约需 次运算。对称不定方程组通常采用带主元选取的分解:
其中 可以同时包含 和 的对角块。选取主元是控制数值不稳定性所必需的,而这种块对角结构则允许矩阵具有不定性。对于大型稀疏正定方程组,马格努斯·赫斯特内斯和爱德华·施蒂费尔于 1952 年提出的共轭梯度法使用矩阵与向量的乘积,而不进行稠密矩阵分解。其收敛性在很大程度上取决于谱分布和预条件处理。处理对称不定问题的方法需要不同的假设;仅有对称性并不足以保证适用正定情形下的共轭梯度法。
协方差、统计分析与优化
该矩阵是对称的,因为交换 与 的顺序不会改变二者的协方差。它也是半正定的,因为
因此,协方差矩阵是受到数学条件约束的对象,而不是将两两对应的数值任意排列而成的表格。如果一组给定的方差和协方差所构成的矩阵存在负特征值,那么它就不是有效的协方差矩阵。
在主成分分析中,协方差矩阵的单位特征向量给出了数据变异的相互正交的方向。每个方向所对应的特征值,等于数据在该方向上投影的方差。因此,最大特征值对应的特征向量给出了使投影方差最大的单位方向,而后续各主成分则求解带有正交约束的相应问题。对于以行为观测的中心化数据矩阵 ,样本协方差矩阵为 ,其中 是观测数。其秩至多为 ,因此,当变量数超过中心化数据的自由度时,该矩阵必然是奇异的。
在数学优化中,对称性体现在二阶导数上。如果一个标量函数具有连续的二阶偏导数,那么它的海森矩阵满足
在点 附近,二阶展开式为
在驻点处,海森矩阵正定意味着该点是严格局部极小值点,而海森矩阵不定则意味着该点是鞍点。仅有半正定性还无法作出判断:一元函数 和 在零点处的二阶导数都为零,但局部行为却恰好相反。
二次目标函数在全局范围内体现了这些关系。对于对称矩阵 ,函数
的梯度为 ,海森矩阵为 。如果 正定,则唯一的极小值点满足 。如果 半正定且奇异,则极小值点存在当且仅当 属于 的值域,此时沿零空间方向移动仍可得到极小值点,因此极小值点不唯一。在最小二乘法中,正规矩阵 始终是对称半正定矩阵;当 的各列线性无关时,它是正定矩阵。像岭回归那样加上满足 的 ,会使每个特征值都增加 。不过,直接构造正规方程可能使谱条件数变为原来的平方,因此,基于 QR 分解或奇异值分解的数值求解形式通常具有更好的稳定性。
几何、图与物理系统
在几何学中,正定对称矩阵可以用来表示坐标下的内积:
在光滑流形上,度量张量在每个坐标图中都表示为一个随坐标光滑变化的正定对称矩阵。坐标变换时,其表示矩阵按合同变换而非通常的相似变换进行变换。矩阵的各个元素及其通常意义下的特征值依赖于坐标系,而几何内积本身不依赖于坐标系。几何中也会出现具有不定符号差的对称型,但它们并不能在相同意义下定义正的长度。
在图论中,无向图的邻接矩阵是对称的,因为两个顶点之间是否有边与它们的排列顺序无关。对于非负的对称边权 ,图拉普拉斯算子为 ,其中 。它所满足的基本二次型恒等式为
这直接证明了它的半正定性。常向量属于它的零空间;若以正权边定义连通性,则零特征值的重数等于连通分量的个数。较小的正特征值所对应的方向,允许图上各顶点的取值发生变化,而二次型代价相对较低;谱聚类和图划分都利用了这一原理。
机械振动中存在一个与此密切相关的广义特征值问题:
这里, 是对称刚度矩阵, 是对称正定质量矩阵。尽管 在通常的坐标下未必对称,但通过代换 ,可以将问题转化为
其中的矩阵是对称的。因此,可以选取在质量内积 下相互正交的不同振动模态。如果刚度矩阵是半正定的,那么所有固有频率的平方均非负;零模态对应于不受约束的运动或其他零空间方向。
对微分方程进行变分离散化时,也会产生对称性。在有限元法中,形如
的对称双线性表达式会生成元素为 的矩阵,这些元素满足 。适当的边界条件可以使该矩阵正定,而其他边界条件则会留下非平凡的零空间,例如纯诺伊曼问题中的常函数。这些矩阵是自伴算符的有限维表示。即使模型的其他部分仍然对称,平流或某些耦合作用等非对称项也可能破坏矩阵的对称性;其代数结构反映了所采用的具体微分算子、变分形式和离散化方式。