在数学中,矩阵是由数、符号或表达式按行和列排成的矩形阵列。矩阵是线性代数的核心对象。它们编码了向量空间之间的线性映射,紧凑地表示线性方程组,并用于组织表格数据。同一套记号支持加法、乘法和求逆等运算,但这些运算的规则与实数上的普通算术有重要区别。例如,矩阵乘法一般不满足交换律。
该学科融合了代数、几何与分析。与方阵相关的一些关键量,如行列式、矩阵的秩和特征值与特征向量,揭示了它所表示的线性映射的结构性质,并且在基变换下保持不变。矩阵还被作为环(数学)和李群的元素来研究,这使其与抽象代数和群论联系起来。
矩阵在各个科学与工程领域都不可或缺。它们用于描述旋转和量子态,构成统计学中的协方差矩阵,是主成分分析的基础,也是人工神经网络的基本数据结构。下文将介绍矩阵的定义与基本运算、特殊类型的矩阵、行列式、逆、秩和特征值的核心理论、主要的矩阵分解与数值方法、该学科的历史发展,以及其应用与推广。
定义与记号
矩阵及其元素
一个 矩阵是由 行、 列排列成的矩形元素阵列。每个元素由一对下标确定位置:第一个下标表示行,第二个下标表示列。位于第 行第 列的元素记作 ,整个阵列记作 ;若需要说明下标的取值范围,则写作 。例如,
是一个 矩阵,其中 ,。第 行由元素 组成,第 列由元素 组成。数学文献通常从 1 开始为行和列编号,而许多编程环境则从 0 开始编号。
元素取自一个固定的集合,最常见的是域(数学)。所有元素取自域 的 矩阵构成的集合记作 或 。在初等数学和应用领域中,最常见的是 和 两种情形,因此人们常提及集合 和 。当 时,该矩阵称为方阵,方阵构成的集合简记为 。整数 和 称为矩阵的维数或大小,而大小是矩阵自身的一部分:矩阵不只是一列数,而是按特定形状排列的一列数。
行向量、列向量与标量
只有一行或只有一列的矩阵是最重要的特殊情形。 矩阵称为行向量, 矩阵称为列向量。按照约定,向量空间意义下的 中的元素被等同于列向量,这也是向量常被竖直书写的原因。当线性泛函被写成从左侧作用的矩阵时,以及当计算行乘列的乘积并得到一个标量时,就会出现行向量。
矩阵只有一个元素,实际上就是一个标量。严格来说,矩阵 与数 是不同类型的对象,但二者通常被视为同一事物,尤其是在行向量乘列向量这类乘积中:其结果是一个 矩阵,通常被当作一个数来读。从这个意义上说,标量是 的退化情形。同样的约定将线性代数这一更广泛的主题与矩阵语言联系起来,在这种语言中,向量与标量通过统一的记号来处理。
相等与函数观点
两个矩阵 和 相等,当且仅当它们的大小相同,且每个位置上的元素都相等。也就是说,若 为 , 为 ,则 成立,当且仅当 、,且对所有 和 都有 。因此,大小至关重要。行 与元素为 1 和 2 的列包含相同的数,但它们是不同的矩阵;一个 矩阵永远不可能等于一个 矩阵,即使两者包含的元素完全相同(计重数)。
由于每个元素都由其下标对唯一确定, 矩阵可以看作从 到元素集合 的一个函数,它将数对 映到 。在这种观点下,矩形排版只是展示由两个有限集合标注的数据的一种方式。函数观点解释了元素的记号,并阐明了两个矩阵相等的含义:相等的函数在公共定义域的每一点上取值都相等。它也使推广变得直接:无穷矩阵是 上的函数,而张量则是定义在多于两个指标集的乘积上的函数。这些推广将在后文的“推广”一节中讨论。
矩阵运算
加法与数乘
只有两个矩阵的大小相同时才能相加。若 与 都是 矩阵,则它们的和是 矩阵,其 元素为 。加法按元素逐项进行,因此满足交换律与结合律,零矩阵(所有元素均为零)是其单位元。对于基域中的标量 ,乘积 的元素为 ,这一运算对任意大小的矩阵都有定义。这两种运算共同使域上所有 矩阵的集合成为维数为 的向量空间。其一组基由矩阵单位给出:每个矩阵单位在某一位置为 1,其余位置为 0。正因如此,矩阵常被直接当作向量来处理,线性代数的运算也可以直接应用于它们。
矩阵乘法
乘法按“行乘列”的法则定义。若 是 矩阵, 是 矩阵,则乘积 是 矩阵,其元素为
每个元素都是 的第 行与 的第 列的点积。 的列数必须等于 的行数,因为求和中的每一项都将 某行的一个元素与 某列的一个元素配对。满足这一条件时,乘积 有意义,即使 无意义;当两者都有意义时, 与 的大小也可能不同。
矩阵乘法满足结合律 ,并且对加法满足左右两侧的分配律: 与 。这些恒等式使固定大小的方阵构成一个环,相关内容将在代数结构一节展开。不过,这一运算不满足交换律。例如,取
可算得 ,而 。因此 。可交换的矩阵对确实存在,例如一个矩阵与它自身的任意多项式,但这属于例外而非常态。只要大小允许,单位矩阵 都满足 。
转置与共轭转置
矩阵 的转置 是 矩阵,其元素为 ,即行变为列。基本恒等式为
最后一式中因子顺序的颠倒非常重要:转置会反转乘积中因子的顺序。对于复矩阵,共轭转置 将转置与逐元素取复共轭结合起来。它满足 、、 以及 。对于实矩阵,共轭转置与转置相同。
分块矩阵
矩阵可以划分为称为子块的矩形小矩阵,例如
当各子块大小匹配时,分块加法可按子块逐块进行。分块乘法则像把子块当作标量一样进行,但前提是划分相容:左因子的列划分必须与右因子的行划分一致。若 如上划分,且 的子块划分相容,则
每个子块乘积中因子的顺序必须保持不变,因为子块本身未必可交换。分块结构便于计算:一个大型乘积可以拆分为较小的乘积,从而适配内存,或者并行计算。它也是描述分块对角矩阵的自然语言,而分块对角矩阵表示线性映射的直和。
特殊类型的矩阵
当矩阵的行数与列数相等时,称其为方阵,即 。方阵是唯一能够与自身相乘、并作用于同一个向量空间的矩阵,因此行列式、特征值和矩阵对角化只对方阵定义。零矩阵 是加法单位元:对于同型的任意矩阵 ,有 ;对于方阵 ,有 。单位矩阵 的元素为 ,即主对角线上为 1、其余位置为 0,它是乘法单位元,满足 。用数量 乘以矩阵相当于乘以 ,它将每个向量都按相同的倍数缩放。
对角矩阵 只有主对角线上的元素可以非零。左乘 会将第 行乘以 ,右乘则缩放各列。对角矩阵的和与积仍是对角矩阵,且当且仅当每个 时 可逆,此时其逆为 。因此,对角矩阵是逐坐标缩放算子最简单的模型。
三角矩阵推广了这一思想。上三角矩阵满足当 时 ,下三角矩阵满足当 时 。两类矩阵在加法和乘法下都封闭;三角矩阵的行列式等于其对角元素之积,其特征值恰好就是这些对角元素。三角线性方程组可以通过前代或回代直接求解,这正是LU分解和高斯消元法能够把一般方程组化为三角方程组来求解的原因。
对称矩阵、斜对称矩阵和厄米矩阵都是通过矩阵在转置运算下的性质来定义的。若实矩阵满足 ,即 ,则称其为对称矩阵。斜对称矩阵满足 ,这迫使其对角线元素全为零。每个奇数阶斜对称矩阵都是奇异的,其特征值为零或纯虚数。在复数域上,相应的类是厄米矩阵,其定义为 ,其中 表示共轭转置。厄米矩阵的对角元素必为实数,且每个实对称矩阵都是它的特例。厄米矩阵的特征值为实数,并且可以被一个酉矩阵对角化,这正是谱定理的内容。与实斜对称矩阵对应的复数版本是反厄米矩阵,满足 。将这样的矩阵乘以 会得到一个厄米矩阵,因此两类矩阵仅相差一个虚数单位因子。
正交矩阵和酉矩阵是保持几何结构的矩阵。实方阵 满足 时称为正交矩阵,复方阵 满足 时称为酉矩阵。等价地,它们的列构成一组标准正交基。这类矩阵保持内积,即 ,因而也保持长度 和夹角,它们是欧几里得空间和希尔伯特空间中的线性等距变换。在实数情形下,行列式为 :行列式为 的矩阵是旋转,行列式为 的矩阵包括反射。在二维中,旋转角度为 的旋转矩阵为 。固定阶数的正交矩阵构成群 ,酉矩阵构成群 ,二者都是李群的重要例子。
稀疏矩阵是指其中大部分元素为零的矩阵。这类矩阵自然地出现在图论中的图结构里、离散化的偏微分方程中,以及大规模数据集中(其中每个变量仅与少数其他变量相互作用)。无论内容如何,存储完整数组都需要 个数;而稀疏格式只存储非零元素及其索引信息。坐标格式(COO)存储 (行, 列, 值) 三元组的列表,因此其存储量随非零元个数增长。压缩稀疏行格式(CSR)用长度为 的指针数组代替行索引,使得第 行的元素占据值数组中一段连续的区域。压缩稀疏列格式(CSC)对列起到相同的作用,而DIA等专用格式则利用带状结构。由于矩阵-向量乘积的代价取决于非零元个数而非 ,稀疏存储同时减少了内存占用和计算时间,对于大规模数值方法(如求解超大规模方程组所用的迭代求解器)至关重要。格式的布局还会影响内存访问模式,以及在并行硬件上的性能。
作为线性映射的矩阵
矩阵是线性映射的坐标形式。设 是域 上的 维向量空间,其有序基为 ,设 是 维空间,其基为 。线性映射 由像 唯一确定,且每个像都有唯一的展开式 。标量 构成一个 矩阵 ,其第 列是 的坐标向量。按照这一约定, 的坐标可由 的坐标经 得到,即 。取 和 的标准基,映射 本身就是线性映射,并且每个 的线性映射都恰好由唯一一个矩阵以这种方式给出。因此,这类映射构成的空间维数为 ,与矩阵的元素个数相同。
矩阵乘法的"行乘列"规则是为了与映射的复合相对应而选定的。若 是表示 的 矩阵, 是表示 的 矩阵,则 是表示 的 矩阵。这是因为对每个向量 都有 。因子的顺序反映了映射的作用顺序,这也是矩阵乘法一般不满足交换律的一个概念上的原因: 与 不必相同,甚至不必定义在同一个空间上。
同一个线性映射在不同的基下有不同的矩阵,因此矩阵总是相对于所选基而言的表示。设 在基 下的矩阵为 ,令 为另一组基。设 为过渡矩阵,其各列是新基向量在旧基下的坐标,因此 。若 是 在 下的矩阵,则比较 与 可得
对于不同空间之间的映射 ,若两边都更换基,则得到 ,其中 是 中的过渡矩阵。以这种方式相关、且两侧分别乘以可逆矩阵的矩阵称为等价矩阵,在域上它们恰好由秩完全分类。
当 且两侧使用同一组基时,关系式 定义了方阵之间的矩阵相似关系。两个相似矩阵在不同的基下表示同一个线性变换。若干性质在相似变换下是不变的:行列式、矩阵的迹、特征多项式(从而特征值及其代数重数)、秩与零化度、可逆性以及可对角化性。依赖于坐标系的性质则不是不变量。矩阵的元素、对称性和正交性在相似变换下都会改变,这就是为什么对称矩阵在更换基之后可能变成非对称的。相比之下,特征向量的变换方式是可预测的:若 ,则 在新基下的坐标向量为 。
线性映射的核与像直接对应于其矩阵的某些部分。 的核(线性映射)对应于零空间 ,因为核向量的坐标恰好是这个齐次方程组的解。 的像(线性映射)由向量 张成,因此在坐标中它就是 的列空间,即 的各列张成的空间。 的零化度是其零空间的维数,秩是其列空间的维数。这些量满足秩—零化度定理:
非零的核向量就是 各列之间的一个非平凡线性关系,因此 为单射当且仅当 的各列线性无关,并且 为满射当且仅当 。
举例来说,考虑次数不超过 3 的多项式上的求导映射 (基为 ),它映到次数不超过 2 的多项式空间(基为 )。由于 ,,,,其矩阵为
它的秩为 3,因此像是全体次数不超过 2 的多项式,它的零化度为 1,由常数列张成。 的核是常数多项式构成的集合,秩—零化度关系 成立。
行列式
行列式是与每个方阵相对应的一个标量。对于 2×2 矩阵,其行列式为 。对于更大的矩阵,行列式可以通过组合求和或递归展开来定义,其主要用途包括判断可逆性、计算体积,以及描述线性映射如何对空间进行缩放。
定义:莱布尼茨公式与代数余子式展开
对于 矩阵 ,莱布尼茨公式为
其中 是 上的置换构成的对称群, 在偶置换时取 ,在奇置换时取 。求和中的每一项都恰好从每一行和每一列各取一个元素,因此该公式共有 项。当 时共有六项,这也是人们熟知的对角线法则的由来。
该公式也可以用递归的方式组织。余子式 是删去第 行与第 列后得到的子矩阵的行列式,代数余子式为 。按任一行 展开,得到
按任一列展开得到的结果相同。对 进行归纳可以证明,这一递归形式与莱布尼茨求和的结果一致,这就是行列式的代数余子式展开。由于该递归过程的计算量大约为 ,它适合用于手工计算小型矩阵,而不适用于大型数值问题。
主要性质
由置换定义可以推出若干性质,它们在实际中被频繁使用:
- 行变换。 交换两行会使行列式乘以 ,两行相等则行列式为零。某一行乘以标量 会使行列式乘以 。将某一行的倍数加到另一行上,行列式保持不变。这些规则使高斯消元法成为计算行列式的实用方法:将矩阵化为三角形式,记录交换和缩放操作,然后将对角线元素相乘。
- 多重线性。 当其他行(或列)固定时,行列式关于每一行(或每一列)分别是线性的。
- 转置。 ,因此上述性质对列同样成立。
- 乘法性。 对于同阶方阵,。由此可得 ,并且相似矩阵的行列式相等。
- 三角矩阵。 三角矩阵的行列式等于其对角线元素的乘积。
- 奇异性判别。 方阵可逆(参见逆矩阵)当且仅当其行列式非零。等价地,当矩阵的行或列线性相关时 ,此时矩阵是奇异的,并且具有非平凡的零空间。
几何意义
对于实 矩阵,其列向量可以看作 中平行多面体的棱向量。该多面体的体积为 。在平面上,由 和 张成的平行四边形面积为 。符号表示定向:行列式为正表示该映射保持定向,为负则表示反转定向。因此,线性映射 会使所有体积乘以同一因子 ,这也解释了乘法性为何成立:复合两个映射就是将它们的缩放因子相乘。
这一缩放性质是积分换元公式的基础。若 是连续可微映射,且其雅可比矩阵 可逆,则
在极坐标中,雅可比行列式为 ,由此得到熟悉的因子 。
历史发展
在行列式形成完善的理论之前,这一想法已在多处出现。日本的关孝和在 1680 年代研究过类似行列式的数组,将其用于消元以及求多项式的公共根。他处理的矩阵阶数最高可达 ,但并未为这一概念确立专门的术语。在欧洲,戈特弗里德·威廉·莱布尼茨于 1693 年写信给德·洛必达侯爵,用两个指标标记的系数描述了线性方程组相容的条件。莱布尼茨的这封信直到很久以后才发表,他的工作在其生前大多未受关注。
加布里尔·克拉默在 1750 年关于代数曲线的论述中,给出了用行列式求解线性方程组的显式法则,即今天以他的名字命名的克拉默法则。由于该著作得以发表并被广泛阅读,行列式因此为更广泛的读者所知。艾蒂安·贝祖(1764)建立了计算行列式的递归法则,亚历山大-泰奥菲尔·范德蒙德(1771)则首次将行列式作为独立的函数加以研究。皮埃尔-西蒙·拉普拉斯(1772)发展了按子式展开的方法,这是代数余子式展开的推广。1812 年,雅克·比内与奥古斯丁-路易·柯西提出了关于乘法定理的研究成果;柯西的论文通常被视为行列式作为一般理论、并具有现代意义的起点。“行列式”这一名称归功于卡尔·弗里德里希·高斯,他用这一名称来指称二次型的判别式。
在十九世纪和二十世纪初,行列式是一个核心研究课题。托马斯·缪尔的多卷本历史著作完成于 1920 年代,总结了约截至 1920 年的成果。此后,行列式在主流数学中的地位逐渐下降,因为矩阵理论、抽象域上的线性变换以及数值线性代数为许多行列式曾经解决的问题提供了更直接的方法。
逆矩阵与可逆性
若 阶方阵 存在矩阵 使得 ,其中 为单位矩阵,则称 可逆(或非奇异)。逆矩阵存在时是唯一的:若 和 都满足定义式,则 。对于方阵,单侧逆自动是双侧逆,因此仅由 即可推出 。逆运算会颠倒乘积的顺序,即 ,并且与转置可交换,即 。
可逆性的等价条件
对于域上的方阵,下列陈述彼此等价:
- 可逆。
- 。
- ,即各列(及各行)线性无关,并张成整个空间。
- 的零空间是平凡的,即 。等价地,映射 是单射。
- 对于任意右端项 ,方程 恰有一个解。
- 零不是 的特征值。
- 与 行等价。
这些条件从不同角度描述同一个事实:由 表示的线性映射是 上的双射。秩-零化度定理将两个维数联系起来,秩加零化度等于 ,因此核平凡与满秩是同一个条件。不满足这些条件的方阵称为奇异矩阵。
逆矩阵的计算
伴随矩阵公式给出了逆矩阵的闭式表达。伴随矩阵 是余子式矩阵的转置,满足 。因此,当 时,
对于 矩阵,该公式化为 。该公式便于用于小规模或符号矩阵,但余子式展开的计算量随 呈阶乘增长,因此对大型矩阵并不实用。
高斯-若尔当消元法是标准的数值方法。先构造增广矩阵 ,再施加初等行变换,直到左侧子块变为 ,此时右侧子块即为 。若某一列中找不到非零主元,则该矩阵为奇异矩阵。该方法的运算量约为 次算术运算,与 LU 分解的量级相同。在实际计算中,软件很少显式地求出 ,而是先对 做一次分解,再针对每个右端项求解,这样更省计算量,通常也更精确。消元过程本身参见高斯消元法。
克莱姆法则
若 ,则 的唯一解的各分量为
其中 是将 的第 列替换为 后得到的矩阵。该法则以加布里埃尔·克莱姆的名字命名,他于 1750 年发表了这一结果。它给出了每个未知量的显式公式,在理论上很有用。例如,当行列式远离零时,它可以说明解如何连续地依赖于参数。
作为一种计算方法,克莱姆法则很少被使用。它需要计算 个行列式。若用余子式展开计算,代价极其巨大。即使用基于消元法的行列式计算,每个行列式约需 次运算,总计约 次,而一次消元仅需约 次。此外,其结果依赖于行列式值的精确性,在浮点运算中,近似奇异的方程组可能给出误差很大的分量。因此,求解器通常采用基于消元的分解方法。
单侧逆与伪逆
非方阵不可能有双侧逆,但可以有单侧逆。当 且列满秩时, 矩阵 有一个左逆 ,它是满足 的 矩阵。一种选择是 ,此时 可逆,因此该式有意义。类似地,行满秩且 的矩阵有一个满足 的右逆 ,例如 。这些单侧逆一般不唯一,且左逆通常并不满足 。
摩尔-彭罗斯伪逆 将这一思想推广到实数或复数域上的每一个矩阵。它是唯一满足以下四个彭罗斯条件的矩阵:,,并且乘积 与 都是埃尔米特矩阵。利用奇异值分解 ,有 ,其中 对每个非零奇异值取倒数,并将零保持为零。若 可逆,则 。若 满秩,则 退化为上述单侧逆之一。对任意 ,向量 使 最小,并且在所有使其最小的向量中,它的范数最小。这正是伪逆成为最小二乘问题求解基础的原因。该概念可追溯到 1920 年 E. H. 摩尔的工作,后来于 1955 年由罗杰·彭罗斯重新发现并给出刻画。在浮点计算中,确定哪些奇异值应被视为零需要选取容差,而结果对矩阵 的条件数很敏感。
秩与线性方程组
秩与行秩、列秩相等
域 上的 矩阵 的秩,是其列空间的维数。列空间是由 的各列在 中张成的子空间。由各行在 中张成的行空间也有自己的维数,称为行秩。这两个维数总是相等的,因此秩的定义是唯一确定的,并且满足 。
消元法可以说明为什么这两个数相等。初等行变换不改变行空间,并且保持列之间的一切线性关系,因为每一种初等行变换都相当于左乘一个可逆矩阵。在行阶梯形中,非零行线性无关,其个数等于主元的个数。主元所在的列线性无关,其余各列都是这些主元列的线性组合。因此,阶梯形的行秩与列秩都等于主元个数。原矩阵与其阶梯形的主元个数相同,所以两种秩必然相等。另一种等价的刻画是:秩等于行列式非零的方阵子矩阵的最大阶数。
高斯消元法与行阶梯形
高斯消元法通过三种运算把矩阵化为行阶梯形:交换两行,用非零常数乘以某一行,以及把某一行的倍数加到另一行上。在结果中,零行位于最下方,每个非零行的首项(主元)严格位于其上一行主元的右侧。若进一步化为简化行阶梯形,即每个主元为 1,且主元所在列的其余元素均为零,则该形式是唯一的。此时矩阵的秩就是主元的个数。
同一过程也可用于求解线性方程组。对增广矩阵 施行这些运算,得到一个同解的方程组,再通过回代求解。非主元列所对应的未知量是自由参数。对 方程组进行消元,所需的算术运算量约为 次。在浮点计算中,舍入误差可能使本应为零的主元显示为很小但不为零的数,因此仅依靠消元法往往不足以可靠地确定数值秩,通常更可靠的方法是奇异值分解。
秩-零化度定理
对于有限维空间之间的线性映射 ,核的维数与像的维数之和等于 的维数。将其应用于视为映射 的 矩阵,该定理可写为
其中 是方程 的解集。该定理对解集的结构有如下约束。
对于齐次方程组 ,解集即零空间,它是维数为 的子空间。当且仅当 时存在非零解,这等价于说 的各列线性相关。
对于非齐次方程组 ,当且仅当 属于列空间,即 时,方程组有解。若存在特解 ,则全部解集为 ,即零空间的一个平移。当 时,解集是单个点;否则它是维数为 的子空间的平移。
举例来说,考虑 和 。用第二行减去第一行的两倍,得到一个零行,因此秩为 1。此时 ,零空间的维数为 2,解集是平面 ,其中 和 为自由参数。相比之下, 和 化简后得到 。系数矩阵的秩为 1,而增广矩阵的秩为 2,因此该方程组无解。
按秩对解进行分类
设 为 矩阵,令 ,考虑 。
- 无解:,即 不在列空间中。
- 恰有一个解:。
- 有无穷多个解:。在无限域上,解集是无限集;在含 个元素的有限域上,解的个数为 。
由此可直接得出两个特殊情形。若 (行满秩),则列空间为整个 ,因此对任意 ,方程组都有解。若 为方阵且 ,则 可逆,对任意右端项,方程组都恰有一个解。
特征值与对角化
特征值、特征向量与特征空间
对于 的方阵 ,若非零向量 满足 ,则称 是属于特征值 的特征向量。将其改写为 可知, 是特征值当且仅当矩阵 有非平凡的核,而这当且仅当 。函数 称为特征多项式。它是次数为 的首一多项式,因此在复数范围内恰有 个根(计入重数),这些根就是特征值。它的系数刻画了 的若干不变量:常数项为 , 的系数为 ,因此特征值之和等于迹,特征值之积等于行列式。
对每个特征值 ,所有特征向量连同零向量构成的集合,就是 的零空间。这个子空间称为特征空间 。它的维数称为 的几何重数。代数重数则是 作为特征多项式根出现的次数。对每个特征值,几何重数至少为 1,且不超过代数重数。两者可以不相等。一个标准例子是 矩阵,它只有一个重复的特征值 1,并且是一个若尔当块。此时特征空间是一维的,而代数重数为 2。
可对角化性
若矩阵 与某个对角矩阵相似,即存在可逆矩阵 与对角矩阵 ,使 ,则称 可对角化。此时 的各列是特征向量, 的对角元则是对应的特征值。等价地,当且仅当 (若特征值都是实数,则为 )中存在由 的特征向量组成的基时, 可对角化。用重数表述的判别准则是:对每个特征值,几何重数都等于代数重数。由此可得两个充分条件。若 个特征值两两不同,则属于不同特征值的特征向量线性无关,故 可对角化。此外,若特征多项式可分解为一次因式之积,且每个根都对应足够多的线性无关特征向量,则矩阵可对角化。
不可对角化的原因有两类。第一类出现在实数范围内:特征多项式可能没有实根。旋转 90 度的 矩阵就是这样,它在实数域上不可对角化,尽管在 上它可以对角化,其特征值为 。第二类原因是特征向量不足,如上文的若尔当块例子所示。这类矩阵要用若尔当标准形来处理。若尔当标准形以若尔当块组成的块对角矩阵代替对角矩阵,每个块除超对角线上的元素外都是对角形式的。
谱定理
谱定理对两类重要矩阵给出了很强的结论。对实对称矩阵,所有特征值都是实数,并且存在正交矩阵 ,使 为对角矩阵。对复 Hermite 矩阵 ,所有特征值都是实数,并且存在酉矩阵 ,使 。两种情形下,特征向量都可以选成一组标准正交基,且属于不同特征值的特征向量自动正交。实数情形有时称为主轴定理。每个结论都可以先用酉矩阵将 三角化(如 Schur 分解)来证明,然后利用 Hermite 对称性迫使三角因子为对角矩阵。由于正交矩阵和酉矩阵保持长度与内积,该定理说明:每个对称或 Hermite 线性算子在合适的正交坐标系中,都表现为沿互相垂直的轴方向的纯粹伸缩。谱定理对更大的一类矩阵也成立,即正规矩阵(与其共轭转置可交换的矩阵),而这恰好就是可酉对角化的矩阵。
应用:矩阵幂与微分方程
对角化使矩阵的重复相乘变得容易。若 ,则对每个整数 ,有 ,而 可通过将每个对角元素取 次幂得到。斐波那契递推是一个标准的例子。矩阵 的特征值为 ,其幂给出了斐波那契数的闭式表达式。
同样的思路可用于求解常系数线性微分方程组 。初值为 的解为 ,其中矩阵指数由幂级数定义。当 可对角化时,,而 是对角元为 的对角矩阵。因此,每个特征值对应一个基本的指数模态,特征向量则决定这些模态如何组合以满足初始条件。对于不可对角化的矩阵,同样的公式依然成立,但计算时需要借助若尔当标准形,或基于凯莱–哈密顿定理的有限展开。该定理表明, 是关于 的次数小于 的多项式。
矩阵分解
矩阵分解(又称因式分解)将一个矩阵写成若干具有特殊结构的矩阵之积。这样,求解线性方程组、拟合最小二乘模型、计算特征值等问题便可化为较简单的步骤。矩阵分解给出了一般性的框架,下面的方法则是数值线性代数中最常用的几种。
LU分解
高斯消元法可以记录为一个分解 ,其中 为单位下三角矩阵, 为上三角矩阵。有了这一分解,线性方程组 就可以分两个三角形步骤求解:先用前代法解 ,再用回代法解 。计算这两个因子大约需要 次浮点运算,但这一代价只需支付一次,之后每个新的右端项都可以重复利用,因此这种方法优于每次都重新进行消元。
朴素消元法在主元为零时失效,在主元很小时又可能不稳定。部分主元法通过交换行,使当前列中绝对值最大的元素成为主元,从而得到 ,其中 为置换矩阵。完全主元法还同时交换列,对元素增长的约束更严格,但计算代价更高,因此部分主元法通常是默认选择。可见,主元选取既关乎分解是否存在,也关乎数值稳定性:像 这样的可逆矩阵,如果不进行行交换,就没有LU分解。
QR分解
QR分解将矩阵写成 ,其中 的列标准正交, 为上三角矩阵。当 为方阵时, 是正交矩阵。经典Gram–Schmidt正交化法可以直接计算这两个因子,但在浮点运算中会丧失正交性。修正Gram–Schmidt法、Householder变换和Givens旋转则更为稳健,其中Householder变换是数值软件中的标准选择。
QR分解的主要应用是最小二乘问题。对于实 矩阵 (,且列满秩),目标是极小化 。教科书上的做法是求解正规方程 ,但这样会使条件数平方,因为 ,精度可能迅速损失。若从 出发,得到 ,再用回代法求解,就可以避免条件数的平方。同样基于反复进行QR步骤的思想,也构成了求特征值的QR算法的基础。
Cholesky分解
若 为Hermite矩阵(实数情形下即对称矩阵),且为正定矩阵,则 ,其中 为对角元全为正数的下三角矩阵,并且该因子是唯一的。其计算代价约为 次运算,大约是LU分解的一半。由于正定性保证每个主元都为正且过程稳定,因此无需选主元。在实践中,该算法也可用作判别法:若计算过程中需要对非正数开平方,则该矩阵不是正定的。Cholesky因子还可用于从多元正态分布中抽样:将由独立标准正态随机变量组成的向量乘以 ,即可得到协方差为 的样本。
Schur分解
每个复方阵都存在Schur分解 ,其中 为酉矩阵, 为上三角矩阵。特征值会以某种次序出现在 的对角线上。伊萨伊·舒尔(Issai Schur)于1909年建立了这一结论。与对角化不同,Schur分解总是存在的,因为它不需要特征向量构成完备的基。当 为正规矩阵时, 是对角矩阵,由此便可推出谱定理。对于实矩阵,实Schur形式使用实正交矩阵 和分块上三角矩阵 ,其中 的块包含共轭复特征值对。
奇异值分解
每个复 矩阵都可以分解为 ,其中 、 为酉矩阵, 为对角矩阵,其对角元为非负数 ,称为奇异值。它们是 的特征值的平方根,非零奇异值的个数等于矩阵的秩。从几何上看, 对输入作旋转或反射, 沿坐标轴按奇异值进行伸缩, 再对结果作旋转或反射。于是,单位球面被映射为一个半轴长为 的椭球面。
保留最大的 个奇异值并舍弃其余部分,可以得到 在谱范数和Frobenius范数意义下的最佳秩- 逼近,这一结论称为Eckart–Young–Mirsky定理。该截断的谱范数误差等于 。存储截断后的因子只需 个数,而不是 个,这是图像压缩以及主成分分析中降维的基础。仅对非零奇异值取逆还可以得到伪逆;对于满秩矩阵,比值 给出谱范数下的条件数。
范数、条件数与数值方法
范数为矩阵赋予"大小"。借助范数,我们可以界定误差,度量矩阵对向量的拉伸或扭曲程度,并量化计算结果对舍入误差和输入数据噪声的敏感程度。
矩阵范数
矩阵范数可以由向量范数构造。对于 矩阵 ,诱导(算子)范数定义为
这类矩阵范数描述了算子能够拉伸向量的程度。因此,诱导范数就是 拉伸任意单位向量时所能达到的最大倍数。由于它通过上确界定义,它满足 以及次乘性法则 。其中第一个不等式可直接由诱导范数的定义得出。
最常见的情形包括:1-范数,等于最大绝对列和;-范数,等于最大绝对行和;以及 2-范数,等于 的最大奇异值。对于欧几里得向量,通常所说的"算子范数"指的就是 2-范数。
并非所有有用的矩阵范数都是诱导范数。逐元素范数把 矩阵看作长度为 的向量。其中最重要的是弗罗贝尼乌斯范数:
弗罗贝尼乌斯范数不是诱导范数,它属于 Schatten 范数族。Schatten 范数由矩阵的奇异值计算得到。由于逐元素范数把矩阵视为向量,它们与向量空间的范数直接相关。对于列向量或行向量,弗罗贝尼乌斯范数与普通的欧几里得长度一致。
条件数
对于可逆方阵,条件数定义为
取 2-范数时,,即最大奇异值与最小奇异值之比。条件数较大意味着线性方程组的解可能对右端项的扰动或误差高度敏感;条件数较小时,数据变化引起的解的相对变化较小。
条件数最好理解为最坏情况下的界。对于扰动后的方程组 ,有
因此解的相对误差可能被放大至多 倍。条件数由此刻画了对微小扰动的最坏情况敏感度。扰动理论还表明,对于最小二乘问题,某些分量的敏感度可能达到条件数的平方。对于最小二乘问题,各分量的敏感度取决于右端项,并且可能高达条件数的平方。这也是当 为病态矩阵时,要避免构造法方程(其系数矩阵的条件数为 )的原因之一。希尔伯特矩阵是条件数迅速增长的标准例子:其条件数随阶数增大而快速增加。
有限精度算术与稳定性
实际计算使用浮点数。在 IEEE 双精度下,单位舍入误差为 ,因此每次算术运算都会引入约为此量级的相对误差。很大的条件数会导致计算解中有效数字大量损失。粗略地说,计算解的相对误差量级可达 ,因此大约会损失 位十进制有效数字。
因此数值分析要求向后稳定性。若计算得到的 是某个邻近问题 的精确解,且 ,则称该算法是向后稳定的。带部分主元选取的高斯消元法是 LU 分解的基础,在实践中是向后稳定的。主元选取使乘子保持较小,并限制元素的增长,否则增长会放大舍入误差。一般而言,显式计算 或使用显式逆矩阵的方法,精度不如直接作用于 的分解方法。
大型稀疏系统的迭代方法
许多来自离散化偏微分方程或大型优化问题的方程组维数很大,但每行只有少量非零元,这正是稀疏矩阵的典型情形。对于规模过大、无法用 Cholesky 分解等直接方法处理的稀疏系统,迭代算法更为适用。分解过程可能产生填充元,破坏稀疏性和内存效率,因此迭代求解器往往更受青睐。
克雷洛夫子空间方法是一大类重要的迭代方法。它们只通过矩阵-向量乘积访问矩阵,并围绕由此产生的向量进行计算。因此,该方法可以避免存储矩阵的分解因子,并利用稀疏性减少存储和计算量。在第 步,迭代点取自克雷洛夫子空间 ,其中 为初始残差。每次迭代都会在克雷洛夫基向量中选取最优的线性组合,从而得到改进的解。
当 为实对称正定矩阵时,共轭梯度法是经典的选择。在这种情况下,该方法使残差与克雷洛夫子空间正交,从而得到短递推式并且内存占用低。其 步后的误差可以用条件数粗略界定:
其中 。这里 为最大特征值与最小特征值之比。因此,当 接近 1 时收敛很快,当 很大时收敛很慢。这促使人们引入预条件技术,即把方程组变换为谱性质更有利的形式。对于非对称矩阵,GMRES 方法在克雷洛夫子空间中选取使残差范数最小的迭代点。BiCGSTAB 同样适用于非对称矩阵,并且不需要用到 的转置。
代数结构
固定大小 和域 后,所有元素取自 的 矩阵构成的集合 ,在逐项加法和矩阵乘法下是一个环。它的零元是零矩阵,单位元是单位矩阵 。由于它对两种运算封闭,并满足结合律与分配律, 是维数为 的带幺结合 F-代数,以矩阵单位 为一组基。因此它是环论和抽象代数中的基本例子之一。
非交换性与零因子
当 时,该环就是 本身,是交换的。当 时,乘法一般不满足交换律。取 ,,则 ,,二者不相等。同一例子也说明零因子的存在:尽管两个因子都不为零,却有 。在域上,左零因子与右零因子重合,并且恰好是奇异矩阵,即行列式为零的矩阵。两侧可逆的元素(单位)恰好是行列式非零的矩阵。只要 ,就存在非零的奇异矩阵,因此此时该环永远不是整环。
幂零元
若存在正整数 使 ,则矩阵 称为幂零的。对于 矩阵,若 幂零,则 ,这是凯莱–哈密顿定理的推论。严格上三角矩阵是标准例子: 满足 。每个非零幂零矩阵都是零因子:若 为使 的最小正整数,则 ,而两个因子都非零。幂零矩阵不构成带单位元的子环,并且环 是半单的,因此其雅可比根基为零。所以,在该环中幂零元不对根基有贡献,尽管它们在研究其非半单子代数时处于核心地位。
一般线性群及其子群
的单位元构成可逆矩阵的乘法群 ,称为一般线性群。它的中心由非零的数量矩阵 ()组成。行列式是群同态 ,其核是行列式为一的矩阵构成的特殊线性群 ,它是一个正规子群。在实数或复数域上,正交群 由满足 的矩阵组成,酉群 由满足 的矩阵组成。二者与行列式为一的条件取交,分别得到 和 。其他重要子群包括 中的上三角矩阵(构成可解子群)以及置换矩阵(构成有限子群)。在 或 上,这些群都是李群,它们在单位元处的切空间是矩阵李代数,如 和 。
群与代数的表示
群 在 上的 次线性表示是群同态 。-代数 的代数表示是代数同态 。在一个 维向量空间中选定一组基,可以把线性算子与矩阵等同起来;更换基时, 被替换为 ,其中 为某个可逆矩阵。因此,表示的研究在这种等价下归结为对矩阵值同态的研究。这一观点是表示论的基础,其中阿廷–韦德伯恩定理把半单代数描述为除环上矩阵环的积,而矩阵群则是物理学中对称群的基本例子。
作为线性泛函的迹
迹 ,即对角元之和,是一个线性泛函。它满足 ,因此在相似变换下保持不变:。在代数闭域上,迹等于按代数重数计算的全部特征值之和,由此把迹与矩阵的谱联系起来。迹不是乘性的,因此不是环同态;但它的核是一个余维数为一的李子代数 ,这是因为两个矩阵的换位子迹总为零。
矩阵乘法的计算复杂度
朴素算法
直接按定义计算两个 矩阵的乘积 ,即每个元素 ,需要 次标量乘法和 次加法,总计 次标量运算。因此其代价按 增长。对于尺寸分别为 和 的矩阵,乘法次数为 。高斯消元法是求解线性方程组和计算行列式的标准方法,其代价同样是三次的。直到20世纪60年代末,人们普遍认为三次指数就是该问题的真实代价。
施特拉森算法
1969年,沃尔克·施特拉森(Volker Strassen)证明,两个 分块矩阵的乘积可以用七次分块乘法代替八次,代价是增加若干分块加法。由于公式只用到环运算,当分块本身是矩阵时它们依然成立,并且可以递归地应用于阶数为二的幂的矩阵。其他阶数的矩阵则用零补齐。递推式 给出代价 。精确的标量运算次数只有在超过某个临界规模之后才少于朴素算法,据一项已发表的统计,该临界值约为654。之后,温诺格拉德(Winograd)证明了对于 矩阵,七次乘法是最优的,不过他的变体所用的加法比施特拉森的少。
指数 ω 及后续改进
矩阵乘法的指数通常记为 ,它是这样的指数 的下确界: 矩阵可以在 次算术运算内完成乘法。施特拉森的结果给出 。整个20世纪70年代末到80年代,包括Pan、Bini、Schönhage、Romani以及施特拉森本人在内的研究者逐步降低了上界,到1986年达到约2.497。1990年,Coppersmith和Winograd通过分析某个特定张量的幂,得到约2.376,这一上界保持了大约二十年。
2014年起,进展主要来自对施特拉森"激光方法"的改进。这些改进分析Coppersmith–Winograd张量的幂,并补偿各部分组合时产生的损失。报道的上界在2014年和2020年降至约2.3729,2023年(Duan、Wu与Zhou)降至约2.371866,2024年(Vassilevska Williams、Xu、Xu与Zhou)降至2.371552,同年晚些时候Alman及其合作者的论文降至2.371339。一篇2026年的预印本通过把同样的分析扩展到更深的递归层级,给出 。1990年之后的35年里,上界只发生了很小的变化,因此这些改进被称为渐进式的。其中涉及的大多数常数都非常大,所以这些算法在实践中并不使用。
下界与未解问题
目前唯一的一般下界是 ,这只是因为输出包含 个元素,每一个都必须被写出。关于 尚未知道更大的无条件下界,许多研究者猜想 。若干论文表明,将激光方法应用于Coppersmith–Winograd张量无法证明 ,并且更一般的障碍表明,大量已知技术无法达到 。在受限模型中存在具体的下界。例如,计算二元域上两个 矩阵的乘积至少需要约 次乘法。这些下界讨论的是特定模型中的乘法次数,而不是指数本身。因此,能否实现二次时间的矩阵乘法仍是未解问题。
实际性能
渐进意义上的改进是有代价的。施特拉森式的递归需要额外的内存,增加的加法可能降低数值稳定性,并且在小规模分块上表现不佳。因此,高性能数值库通常使用分块的三次算法,并针对缓存层级以及并行硬件(例如用于深度学习的图形处理器)进行调优。施特拉森式递归通常只在超过某个截断规模时才会使用。文献中将指数低于2.81的算法描述为几乎从不实现;在实践中进行比较时,施特拉森的 方案往往仍是首选。
与其他线性代数任务的关系
矩阵乘法的代价决定了许多其他运算的代价。施特拉森1969年的工作已给出一个求逆的分块公式,其代价与乘法为同一量级;后来的结果表明,行列式、矩阵求逆、LU分解以及线性方程组的求解都可以在 次运算内完成。对于其中许多任务,反向归约同样成立,因此它们与乘法本质上具有相同的指数。由于对所有已知方法而言 至多为2.38,所有这些问题在渐进意义上都比三次的高斯消元法更快。基于矩阵的方法,例如QR分解和奇异值分解,则更为复杂,其精确复杂度取决于具体算法以及所需的精度。
历史
中国的早期消元法
关于联立线性方程组的最早系统方法来自中国古代。《九章算术》通常被定为约公元前一世纪成书,编者已不可考。其中"方程"章包含18个实际问题,例如根据混合捆扎的稻谷求产量,或根据牲畜价格进行计算。第七章"盈不足"用一种原理处理两未知数的线性问题,西方作者后来称之为试位法。方程章中的18个问题每一个都可以化为求解一个联立线性方程组。
该方法在算筹盘上进行。系数和常数被排成一个矩形阵列,每一行代表一个方程,各列对应变量及等号右边的常数项。随后通过对这些列进行运算来消元,这一过程常被拿来与后来与高斯相联系的消元法相比较。线性方程组的求解采用了与高斯消元法相似的原理。历史学家对该文本比既有做法推进了多少意见不一。较早的共识认为,除基本技术外几乎没有发展;而近来对重构文本的重新考察则指出,其中一些改进继承自更早的《算数书》。中国数学史学者此前的共识认为,《九章算术》相对于"方程术"的最初做法几乎没有发展,然而对现存文献的更仔细考察则勾勒出了可与之相比的发展。
欧洲的行列式与线性方程组
在欧洲,行列式出现于17世纪末。1693年,莱布尼茨在致纪尧姆·德·洛必达的一封信中,陈述了两个未知数三个线性方程相容的条件,这是一个行列式条件。他强调,书写方程系数时使用两个下标很有用。他还知道行列式可以沿任一列展开,这一结果如今称为拉普拉斯展开。他还知道行列式可以按任一列展开。莱布尼茨这些发现的确切时间本身存在争议。一种说法认为,这种基于行列式求解线性方程组的方法是莱布尼茨于1684年发现的,而加布里埃尔·克拉默于1750年发表了他的研究成果。
行列式的思想在日本也独立出现。关孝和在求解代数方程公共根的问题时得到了行列式的概念。在印刷出版物中,欧洲早期的成果来自苏格兰数学家科林·麦克劳林。他的《代数论》直到他去世后的1748年才出版,其中包含关于行列式的最早已发表的结果:证明了2×2和3×3方程组的克拉默法则,并指出了4×4情形将如何进行。随后,克拉默在1750年关于代数曲线的著作中给出了n×n方程组的一般法则。该法则以他的名字命名,因为他于1750年在《代数曲线分析导论》(Introduction à l'Analyse des lignes Courbes algébriques)中提出了它。
十九世纪作为对象的矩阵
"矩阵"(matrix)一词由詹姆斯·约瑟夫·西尔维斯特于19世纪50年代引入。关于确切年份,各种资料说法不一,分别给出1848年、1850年或1851年。西尔维斯特把矩阵定义为一个长方形的项的排列,并认为它是从其中方阵里取出的各种行列式的来源。阿瑟·凯莱随后把数的阵列变成了具有自身代数的对象。到1853年,凯莱发表了一篇短文,首次给出了矩阵的逆。他1858年的回忆录是最著名的里程碑。在这篇回忆录中,他把"矩阵"一词引入来指称方形数组,并指出这样的数组可以相加和相乘,从而构成如今所称的线性结合代数。凯莱还表明,早先二次型和线性变换中的系数阵列都是这一一般概念的特例。
这篇回忆录并未立即获得成功。凯莱这篇著名的回忆录基本未受注意,尤其是在英格兰以外,直到1880年代才受到重视。凯莱验证了2×2矩阵的凯莱–哈密顿定理,并对3×3矩阵陈述了该定理;后来弗罗贝尼乌斯把一般结果归功于凯莱,尽管证明一般定理的人其实是弗罗贝尼乌斯本人。弗罗贝尼乌斯直到1896年得知凯莱的回忆录后,才开始采用"矩阵"一词。更早时,柯西已证明实对称矩阵具有实特征值。柯西1829年的论文首次给出了对称矩阵特征值为实数的一般证明。随后,魏尔斯特拉斯、克罗内克和弗罗贝尼乌斯等德国代数学家发展了双线性形式和矩阵束的标准形。
二十世纪的公理化与抽象线性代数
进入二十世纪后,线性代数很快从具体的数组转向定义在任意域上的抽象向量空间。此前的步骤包括赫尔曼·格拉斯曼1844年的《扩张论》(Ausdehnungslehre),以及朱塞佩·皮亚诺1888年对向量空间的公理化定义。大卫·希尔伯特约在1904年至1910年间关于积分方程的工作引入了无穷维空间,其中算子不必是有限矩阵。此后,埃尔哈德·施密特和弗里吉耶什·里斯也作出了贡献。希尔伯特在其1899年的《几何基础》中体现的对公理化方法的广泛坚持,塑造了这些思想的表述方式。20世纪20年代至30年代初,约翰·冯·诺依曼给出了如今称为希尔伯特空间的空间的抽象公理化定义,并用它们来表述量子力学。斯特凡·巴拿赫关于赋范空间的工作与之同时展开。范德瓦尔登的《代数学》(Moderne Algebra)等教科书以抽象代数的形式呈现向量空间,这一观点成为线性代数和泛函分析的标准处理方式。
在物理学中的应用
矩阵于1925年进入物理学,当时维尔纳·海森堡、马克斯·玻恩和帕斯夸尔·约尔丹用矩阵语言重新表述了量子理论。矩阵力学是由维尔纳·海森堡、马克斯·玻恩和帕斯夸尔·约尔丹于1925年创立的量子力学表述形式。玻恩和约尔丹发现,海森堡一直在处理的那些量遵循矩阵代数的乘法规则,这使非对易性成为该理论的核心特征。随后,玻恩、海森堡和约尔丹用厄米矩阵作为可测量量的数学对应物。原因在于,厄米算符的期望值是实数,因此所有物理可观测量都与厄米算符相对应。这类算符的本征值是实数,被解释为可能的测量结果,而其本征向量则描述相应的态。
矩阵力学与薛定谔绘景后来被证明是等价的。在固定基下,系统的态是由复振幅组成的列向量,哈密顿量是厄米矩阵,含时薛定谔方程化为关于这些振幅的一阶线性微分方程组。其形式解由哈密顿量乘以 后的矩阵指数给出。该传播子是幺正的,这正是它保持态的范数、从而保持总概率不变的原因。如本征值一节所述,对哈密顿量进行对角化可以直接得到能级和定态。
泡利矩阵是最简单的非平凡例子。它们是三个 复矩阵 、 和 ,它们与单位矩阵一起构成 厄米矩阵空间的一组基。泡利矩阵的迹均为零,每个矩阵的平方都是单位矩阵,且行列式为 −1。由于其平方为单位矩阵,它们的本征值只能是 。对于自旋为 ½ 的粒子,自旋算符写作 ,因此沿各轴的可测自旋分量取值为 。自旋 ½ 态的转动同样由这组矩阵生成。转动算符 属于群 SU(2),它是普通三维转动群 SO(3) 的双覆盖。这就是为什么自旋 ½ 粒子的旋量只有在转过 后才会回到原来的状态。相比之下,空间矢量的普通转动则由行列式为 1 的 正交矩阵表示。
密度矩阵将态矢量推广到混合态。若系统以概率 处于态 ,则 。一般而言,密度矩阵是厄米、半正定且迹为 1 的矩阵。纯态满足 ,而对于混合态,纯度 严格小于 1,因此纯度可以区分这两种情形。两个不同的态系综可以具有相同的密度矩阵,因而在量子力学中表示相同的态。 能级系统的最大混合态为 。对于量子比特,任何密度矩阵都可以写成单位矩阵与泡利矩阵的线性组合,其允许的坐标充满单位球,即布洛赫球,球面上的点对应纯态。在量子信息中,当子系统与另一系统发生纠缠,或者系统是与环境相互作用从而发生退相干的开放系统时,就需要用到密度矩阵。在这些情况下,子系统的状态无法用单个态矢量描述。
广义相对论以更具结构性的方式使用类似矩阵的数组。在四维时空中,度规张量 在每一点具有十个独立分量,它们构成一个对称的 数组。借助爱因斯坦求和约定,它通过 定义时空间隔。在笛卡尔坐标下的平直时空中,它退化为闵可夫斯基度规 ,这种洛伦兹符号差定义了光锥。逆矩阵 用于升降指标,其行列式进入不变体积元 。爱因斯坦场方程将由度规及其导数构成的爱因斯坦张量与能动张量联系起来,方程两边都是对称的 分量数组。然而,分量矩阵本身并不是几何对象。在坐标变换下,它通过坐标映射的雅可比矩阵进行变换,因此与坐标无关的内容存在于整个张量之中。
在统计与数据分析中的应用
多元统计建立在矩阵之上。每个观测是一个测量值向量,数据集则是每个观测占一行的数组。该领域中的若干核心对象都是具有特定代数性质的矩阵。
协方差矩阵
对于均值向量为 的随机向量 ,其协方差矩阵为 。其第 个元素为 ,因此对角线上是各分量的方差。该矩阵是对称的;对任意固定向量 ,二次型 等于 ,因而是非负的。由此可知 是半正定的;当各分量的任何非零线性组合都不几乎处处为常数时,它是正定的。仿射变换 对该矩阵的作用很简单: 的协方差为 。谱定理给出 ,其中 为正交矩阵, 为非负对角矩阵,因此特征值就是分布主轴方向上的方差。多元正态分布的密度函数中出现的是 和 。
对于数据矩阵 ,减去每列的均值得到中心化矩阵 ,样本协方差矩阵为 。将每个元素除以相应两个标准差的乘积,即可得到相关关系矩阵,其对角线元素均为 1。
矩阵形式的最小二乘法
线性模型将响应向量写为 ,其中 为设计矩阵。普通最小二乘法选取 使 最小。令梯度为零,得到正规方程
当 列满秩时, 可逆,且 。矩阵 是 各列的格拉姆矩阵。拟合值为 ,其中 是到 列空间的正交投影。若误差的协方差为 ,则 。
显式计算 会使 的条件数平方,因此数值计算软件通常依赖 QR 分解或奇异值分解,而不是对正规方程的系数矩阵求逆。岭回归将方程组修改为 ,当 时,即使 秩亏,该方程组仍然可解。
主成分分析
主成分分析寻找一组正交方向,使中心化数据在这些方向上的方差最大。对 作特征分解, 的各列即为主方向。每个特征值 是其对应方向上的方差,而 则是它所解释的总方差比例。将数据投影到前 个方向上,得到得分 。
同样的结果也可由奇异值分解 得到,此时 。这一途径避免了显式计算 ,因此是更优的数值方法。仅保留最大的若干奇异值,可得到 在 Frobenius 范数和谱范数下的最佳秩- 逼近(Eckart–Young 定理),这是降维和数据压缩的理论基础。
设计矩阵
设计矩阵用于编码实验或观测研究的设置。每一行对应一次试验或一个个体,每一列对应一个回归变量,它可以是连续协变量、某个因子水平的指示变量,或交互项。例如,在一个含三组的单因素方差分析中,各列可以是一个截距项和两个 0/1 指示变量。其他编码方案会改变系数的含义,但不改变拟合值。要使每个系数都可估计,需要列满秩;若出现秩亏,例如同时包含截距项和所有水平的指示变量,则说明存在混杂或共线性。
由于估计量的协方差与 成正比,设计准则作用于该矩阵。D-最优性最大化 ,从而使系数置信椭球的体积最小。A-最优性最小化 ,即各系数方差之和。正交设计使 为对角阵,因此估计的系数互不相关。在多元分析中,模型变为 ,其中 为 响应矩阵。同一设计矩阵服务于每一个响应列,因此 ,设计的结构同时影响所有结果,如多元方差分析中所示。
机器学习与神经网络
在前馈神经网络中,每一层的基本计算是一次矩阵–向量乘积,再接一个非线性激活函数。若某层接收输入 并产生 个输出,其参数为权重矩阵 和偏置向量 ,输出为 。函数 (如 ReLU、sigmoid 或 tanh)逐元素作用。层层堆叠即是这些映射的复合。若没有非线性,复合结果将坍缩为单个仿射映射,因为矩阵的乘积仍然是矩阵。因此,正是激活函数赋予了深度以表达能力。
训练和推理通常同时处理多个输入。若将 个输入向量按列存储为 ,整层计算就变成一次矩阵–矩阵乘法 。两个 矩阵相乘约需 次浮点运算,但只需读写约 个数,因此运算量与访存量之比随规模增大而增长。这种规整性非常适合硬件。图形处理器包含数千个简单核心,可对不同数据执行相同的操作;NVIDIA 的 Tensor Cores 等专用矩阵单元则以降低的精度(例如 FP16 或 BF16)对小块矩阵做乘法。这些设计执行大型矩阵乘积的速度远快于串行处理器。因此,并行计算中矩阵乘法的成本强烈影响模型设计,包括层宽和批量大小的选择,这些参数通常会被选为与硬件友好的块大小相匹配。
在 Transformer 模型中,自注意力依赖于多个可学习的矩阵。对于以 的行存储的 个词元向量,模型计算 、 和 ,其中 、 均为训练得到的参数。随后计算
的矩阵 保存了词元之间两两的相似度分数,逐行应用 softmax 则将每一行转换为和为一的非负权重。多头注意力并行运行若干组这样的投影,并通过另一个可学习的矩阵合并其输出。输入词表由一个词嵌入矩阵 处理,其中 为词表大小,每一行是某个词元学习得到的向量。将一个独热行向量乘以 会选出其中的单独一行,因此查找操作原则上是一次矩阵乘法,但实际实现时采用的是索引。一些模型会将该矩阵转置后复用为输出投影。
训练依赖于矩阵微积分。考虑一层中 、 以及标量损失 ,并假设梯度 已通过反向传播过程从上层获得。链式法则给出 ,这是一个外积,形状与 相同;以及 。传给前一层的梯度为 ,因此每个权重矩阵的转置都会出现在反向传播中。这里 由关于 的梯度与 逐元素相乘得到。对于一个批量,权重梯度变为由各个 向量组成的矩阵与 的一次乘积,并对批量取平均。
同样的对象也描述了优化的几何结构。对于向量值函数 ,雅可比矩阵 的元素为 ,而复合层的链式法则则化为雅可比矩阵的乘积。对于标量损失 ,当二阶导数连续时,海森矩阵 是对称的。在临界点处,正定的海森矩阵表明该点为局部极小值。其特征值的分散程度(由条件数度量)决定了梯度下降沿尺度不良的方向收敛的速度。一个具有 个参数的网络对应 的海森矩阵,对现代模型而言过于庞大而无法显式构造,因此实际方法通常使用对角或低秩近似、海森–向量乘积,或 Krylov 类迭代。
经济学、图论及其他领域
一个有 n 个顶点的图通常可以编码为一个元素为 0 和 1 的 n×n 矩阵。这个邻接矩阵的第 (i,j) 个元素,若存在从顶点 vᵢ 到顶点 vⱼ 的边则为 1,否则为 0。对于简单图,每个元素都是 0 或 1;对于无向图,该矩阵是对称的;而在有向图中,行和给出出度,列和给出入度。这种编码的主要用途在于矩阵的幂可以计数路径:Aⁿ 的第 (u,v) 个元素等于从 u 到 v 长度为 n 的游走数。原因在于,沿一串边的元素之积对应一条游走,而矩阵乘法则把所有中间顶点上的贡献加总起来。由此可直接得出两个推论。两个顶点之间的距离,是使 Aⁿ 的第 (i,j) 个元素为正的最小非负整数 n。另外,对于无向简单图,三角形的个数等于 A³ 的迹除以 6,除以 6 是为了修正每个三角形可以按六种顺序遍历的情形。关联矩阵以顶点为行、边为列,起着互补的作用;在无符号情形下,它与自身转置的乘积等于度矩阵加上邻接矩阵。
有限状态的马尔可夫链由转移矩阵 P 描述,其元素为概率。矩阵的行表示当前状态,列表示下一状态。由于每一行都描述了一组完整的转出概率,每一行之和为 1。平稳分布是一个经过一步转移后保持不变的概率行向量 π,即 π = πP。等价地,π 是 P 的特征值为 1 的左特征向量,因此这一计算归结为线性代数问题。对于有限链,平稳分布的存在性是有保证的:每个有限马尔可夫链至少有一个平稳分布,但它不一定唯一。在更强的条件下才能保证唯一性:任何不可约且非周期的马尔可夫链恰好有一个平稳分布。在这种情形下,转移矩阵的幂会趋于稳定,矩阵 Pⁿ 收敛到一个每一行都等于 π 的矩阵。例如,在一个包含晴、多云和雨三种状态的天气模型中,无论起始状态如何,三种状态的长期频率就是 π 的各个分量。
里昂惕夫投入产出模型是矩阵在经济学中的一个早期大规模应用。瓦西里·里昂惕夫于 1941 年在计量经济学领域提出了该模型,并因其在投入产出模型方面的工作于 1973 年获得诺贝尔经济学奖。经济体被划分为若干部门,技术系数矩阵 A 的元素 aᵢⱼ 表示生产部门 j 的一单位产出所需要的部门 i 的投入量(以美元计)。若 x 为总产出向量,f 为最终需求向量,则平衡条件为 x = Ax + f,由此得到 x = (I−A)⁻¹f。矩阵 (I−A)⁻¹ 称为里昂惕夫逆矩阵,其元素同时刻画了直接需求与间接需求:每个元素给出为满足部门 j 产品的一美元最终需求,部门 i 所需的总产出(包括直接与间接部分)。借助它,可以回答诸如一辆汽车中含有多少钢材,或某一部门的关税如何传导至其他部门等问题。该模型有开放型和封闭型两种形式:开放型中,部分产出在内部被消耗,其余流向外部需求;封闭型中,全部产出都被各产业消耗。
矩阵在信息技术和几何技术中也居于核心地位。在密码学中,1929 年提出的希尔密码将字母分组编码为向量,再与模字母表大小可逆的密钥矩阵相乘,因此解密需要该密钥矩阵在模意义下的逆。在编码理论中,有限域上的线性纠错码由生成矩阵 G 和校验矩阵 H 刻画:G 的行张成该码,而向量 c 是码字当且仅当 Hcᵀ = 0。长度为 7 的汉明码正是利用这样的矩阵来检测并纠正任意单个比特错误。在计算机图形学中,二维和三维点的旋转与缩放由矩阵表示,一系列变换通过矩阵乘法复合。由于矩阵乘法不满足交换律,变换的顺序十分重要;平移通常通过 4×4 齐次坐标矩阵来处理,使所有变换都能以相同的方式组合。
推广
张量
阶为 、维数为 的张量可以看作从指标集的乘积 到域 的函数,因此每个元素都由一个 元组指标确定。这种张量的元素个数等于各维数的乘积。标量、向量和矩阵分别是阶为 0、1、2 的情形。对矩阵而言,阵列的两个方向即行和列称为模,模的个数就是阶数。
矩阵乘法在高阶阵列上的自然推广是张量缩并。两个张量沿各自的一个指标缩并,前提是这两个指标的长度相同,结果是对该公共指标求和后的乘积。缩并结果的阶为 ,其中 和 为两个输入张量的阶。因此,缩并是矩阵乘积的直接推广:当两个运算对象都是矩阵时,缩并就是普通的矩阵乘积。通常区分两类缩并:两个张量之间的"外"缩并,它推广了点积;单个张量内部的"内"缩并,它推广了迹。
另一种乘积是张量积,它把两个阵列组合起来,但不对指标求和。对一个 矩阵和一个 矩阵作张量积,得到一个 的分块阵列,其中第一个矩阵的每个元素都乘以第二个矩阵的一整份拷贝。张量缩并和张量积是多重线性代数的核心内容,也是张量网络研究和爱因斯坦求和约定下指标记法计算的基础工具。
无穷矩阵与希尔伯特空间上的算子
矩阵的观点可以推广到无穷指标集上。希尔伯特空间上的连续线性函数可以用无穷矩阵描述,正如 上的线性变换可以用有限矩阵表示。选定一组标准正交基后,算子按照通常求和的无穷类比作用:,并且矩阵唯一确定该算子。有界性是关键条件:希尔伯特空间之间的算子是连续的,当且仅当它是有界的。
一些具体例子显示了无穷情形的微妙之处。希尔伯特矩阵的元素为 ,它在 上是有界算子,但不是紧算子。它在 上的算子范数有闭形式,即当 时为 。与有限情形相比,这类矩阵的计算更为困难,因为乘积和作用都涉及无穷级数,而这些级数很少能显式求出。此外,求共轭转置得到伴随算子的方法并不自动给出有界且处处有定义的算子,因此伴随算子通常借助内积抽象地定义。
环与有限域上的矩阵
矩阵的元素也可以取自任意环或域。在有限域上,情形变得具有组合性质:对于素数幂 ,存在唯一的 阶有限域 ,其上所有可逆 矩阵构成一般线性群 。这是一个有限群,其阶可以显式计算。
这一设定是编码理论的核心。码字由消息向量乘以生成矩阵 得到;所有这样的码字构成周围向量空间的一个子空间。当 的行线性无关时, 称为该码的生成矩阵。码的质量取决于矩阵更精细的性质。形如 的系统生成矩阵生成一个最大距离可分码,当且仅当 是满超正则的,即其所有非平凡零的子式满足相应条件。这把有限域上的行列式条件与纠错性能联系了起来。
泛函分析中的线性算子与有限维的局限
本文讨论的大部分理论,包括秩、行列式、高斯消元法和谱分解,都依赖于有限维性。在泛函分析中,向量空间是无穷维的,算子通常是有界的、无界的、紧的或属于其他特殊类型。许多有限维的结论以修正的形式保留下来。例如,希尔伯特空间上自伴算子的谱理论是有限维埃尔米特情形的重大推广,但它必须处理连续谱以及只在稠密定义域上有定义的算子。有限矩阵可以通过标准正交的特征基对角化,而无穷维算子可能不存在这样的基,因此仅靠矩阵表示无法刻画其性质。因此,有限维的工具更多是指引和直觉的来源,而不是线性算子的完整理论。
参考来源
- Sparse Matrices — GSL 2.8 documentationgnu.org
- Optimizing Sparse Matrix Multiplications for Graph Neural Networksarxiv.org
- Optimizing Sparse Matrix-Vector Multiplication on Emerging Many-Core Architecturesarxiv.org
- Sparse Matrix Formats — NVPL SPARSEdocs.nvidia.com
- Sparse Storage Formatsintel.com
- Hermitian matrixen.wikipedia.org
- Skew-Hermitian matrixen.wikipedia.org
- Matrices and determinants - MacTutor History of Mathematicsmathshistory.st-andrews.ac.uk
- Linear Algebra - Determinantstheory.stanford.edu
- 12 PREFACE CHAPTER I DETERMINANTSpublish.illinois.edu
- 8 DETERMINANTS.sayahna.org
- Determinantenlink.springer.com
- DETERMINANTS 1. Introduction In these notes we discuss ...sites.math.washington.edu
- Leibniz formula for determinantsen.wikipedia.org
- Cofactor Expansionstextbooks.math.gatech.edu
- An Introduction to Algebraic Combinatoricsarxiv.org
- Eigenvalue and Eigenvector Calculatorpearson.com
- Diagonalizationtextbooks.math.gatech.edu
- Matrix Reference Manual: Eigenvaluesee.ic.ac.uk
- 5.4: Diagonalization - Mathematics LibreTextsmath.libretexts.org
- EIG-0050: Diagonalizable Matrices and Multiplicity - Ximeraximera.osu.edu
- Recitation 8. November 5web.mit.edu
- The Spectral Theoremsites.millersville.edu
- VII.D. THE SPECTRAL THEOREM 253 VII.D. The spectral theoremmath.wustl.edu
- Lecture 3.26. Hermitian, unitary and normal matrices A. Eremenko March 10, 2023math.purdue.edu
- SPECTRAL THEOREM Orthogonal Diagonalizablemath.jhu.edu
- Lecture 28: The Spectral Theorem 28 The Spectral Theorem 28.1ocw.mit.edu
- Math 4571 (Advanced Linear Algebra) Lecture #28web.northeastern.edu
- 10.3: Solution by the Matrix Exponential - Mathematics LibreTextsmath.libretexts.org
- Matrix exponentialen.wikipedia.org
- Spectral Methods in Complex Systemsarxiv.org
- Matrix normen.wikipedia.org
- 4.2: Matrix Norms - Engineering LibreTextseng.libretexts.org
- Lectures on Randomized Numerical Linear Algebraarxiv.org
- Linear Algebra, Part 5: Matrix norms (Mathematica)cfm.brown.edu
- CS 3220: The condition number of a matrix Instructor: Anil Damle Disclaimercs.cornell.edu
- NORTH- HOLLAND Condition Numbers and Their Condition Numbers Desmond J. Highamwebhomes.maths.ed.ac.uk
- Perturbation Theory for the Solution of Systems of ... - DTICapps.dtic.mil
- MATH 3795 Lecture 6. Sensitivity of the Solution of a Linear Systemwww2.math.uconn.edu
- Condition number for finite element discretisation of nonlocal PDE systems with applications to biologyarxiv.org
- Krylov-space-based quasi-newton preconditioner for full-wavefield inversionimage-ppubs.uspto.gov
- Applications of Conjugate Gradient in Bayesian computationarxiv.org
- Krylov subspace methods and CG: OxRSE Trainingtrain.rse.ox.ac.uk
- Characterization of the equivalence of robustification and regularization in linear and matrix regressionarxiv.org
- CONJUGATE GRADIENT METHODS We shall present ...math.uci.edu
- Krylov subspace methods and preconditioners L. Grigori ALPINESwho.rocq.inria.fr
- Zero divisoren.wikipedia.org
- January 2, 2024 Rings Table of Contents 1. Definitions and constructions 1people.math.osu.edu
- graphsearch.epfl.chgraphsearch.epfl.ch
- Strassen's 2x2 matrix multiplication algorithm: A conceptual perspectiveresearchgate.net
- Strassen Formulas -- from Wolfram MathWorldmathworld.wolfram.com
- Tiled Algorithms for Matrix Computations on Multicore Architecturesarxiv.org
- GEOMETRY AND THE COMPLEXITY OF MATRIX MULTIPLICATION J.M. LANDSBERGpeople.tamu.edu
- arxiv.orgarxiv.org
- An overview of the recent progress on matrix multiplicationpeople.csail.mit.edu
- New Bounds for Matrix Multiplication: from Alpha to Omegaarxiv.org
- par.nsf.govpar.nsf.gov
- New Breakthrough Brings Matrix Multiplication Closer to Idealquantamagazine.org
- More Asymmetry Yields Faster Matrix Multiplicationarxiv.org
- Matrix Multiplication Exponent Improved to 2.371177emergentmind.com
- Lower Bounds for Conjunctive Query Evaluationarxiv.org
- Tensor Rank and Complexityarxiv.org
- Fangcheng (mathematics) — Grokipediagrokipedia.com
- Fangcheng (mathematics)en.wikipedia.org
- The Nine Chapters on the Mathematical Art — Grokipediagrokipedia.com
- The Nine Chapters on the Mathematical Arten-academic.com
- Fangcheng Procedure in the Nine Chapters on the Mathematical Arts Revisitedretrospectjournal.com
- Gottfried Wilhelm Leibnizen.wikipedia.org
- Using Cramer’s Rule to Solve a System of Two Equations in Two Variablescourses.lumenlearning.com
- Cayley, Sylvester, and Early Matrix Theoryresearchgate.net
- Algebraic generality vs arithmetic generality in the controversy between C. Jordan and L. Kronecker (1874)arxiv.org
- Cayley, Sylvester, and Early Matrix Theory Nicholas J. Higham January 2008webhomes.maths.ed.ac.uk
- Cayley, Sylvester, and Early Matrix Theory Nick Higham School of Mathematicspdfs.semanticscholar.org
- A Brief History of Linear Algebra and Matrix Theoryconvexoptimization.com
- 1.2: Matrix Mechanics - Chemistry LibreTextschem.libretexts.org
- Perturbing a subject's contextualization of a proposition about an item considered in a quantum representation by altering the itemimage-ppubs.uspto.gov
- Quantum Information Processing: An Essential Primerarxiv.org
- GENERAL I ARTICLE Heisenberg, Matrix Mechanics, and the Uncertainty Principleias.ac.in
- From Heisenberg and Schr\"odinger to the P vs. NP Problemarxiv.org
- Density matrixen.wikipedia.org
- Relativistic Quantum Dynamics: A non-traditional perspective on space, time, particles, fields, and action-at-a-distancearxiv.org
- Pauli Matrix - an overviewsciencedirect.com
- 9.3: Adjacency Matrices - Engineering LibreTextseng.libretexts.org
- Algebraic and geometric methods in enumerative combinatoricsarxiv.org
- Matrix Powersdatafireball.com
- What is a Markov Chain? - dida.dodida.do
- Notes on Randomized Algorithmsarxiv.org
- Stationary Distributions of Markov Chainsbrilliant.org
- Markov Chain Monte Carlo Methods in Quantum Field Theories: A Modern Primerarxiv.org
- PageRank: Standing on the shoulders of giantsarxiv.org
- Input-Output Analysis and Leontief Modelsmaseconomics.com
- 7.2 Application to economics: Leontief Modelmath.ksu.edu
- AI HL Walks and Adjacency Matrices Notes - IB Demystifiedibdemystified.com
- The arithmetic complexity of tensor contractionsarxiv.org
- FLAASH: Flexible Accelerator Architecture for Sparse High-Order Tensor Contractionarxiv.org
- Bounded Linear Operators on Hilbert Spaceslink.springer.com
- The Coding Theory Workbook A companion to EE 567 Version 1.1 Spring 2016community.wvu.edu
- Tensor Algebra and its Applications to Data Science and Statisticsarxiv.org
- Tensor Product - an overviewsciencedirect.com
- Infinite dimensional Hilbert tensors on spaces of analytic functionsarxiv.org
- On the Hilbert matrix operator: a brief surveyarxiv.org
- Chapter 5 Operators on Hilbert space Paragraph ex- panded in version of Dec. 18web.math.ku.dk
- Superregular Matrices over Finite Fieldsmdpi.com
- Finite field matrix channels for network codingarxiv.org