在线性代数中,矩阵的列空间是其列向量的所有线性组合构成的集合。对于域 F 上的 m×n 矩阵 A,列空间是 Fm 的一个线性子空间,通常记为 Col(A)。等价地,它是当 x 遍历 Fn 时所有向量 Ax 构成的集合。列空间描述了矩阵能够产生哪些输出,以及线性方程组的右端向量取哪些值时方程组有解。
定义与解释
将 A 的各列记为 a1,…,an,即
A=[a1a2⋯an].
则
Col(A)=span{a1,…,an}={j=1∑nxjaj:xj∈F}.
这里,span 表示线性包。由于
Ax=x1a1+⋯+xnan,
同一定义也可以写成
Col(A)={Ax:x∈Fn}.
列空间包含零向量,并且对向量加法和数乘运算封闭。这些性质使它本身也构成一个向量空间。
矩阵定义了一个线性映射
TA:Fn⟶Fm,TA(x)=Ax.
其列空间恰好是这个映射的像。像是线性映射的内在属性;选定基并用矩阵表示该映射后,才能将其描述为列空间。
对于实矩阵,其几何意义尤为直观。一维列空间是经过原点的直线,二维列空间是经过原点的平面。列空间总是位于由矩阵行数确定的空间中:m×n 矩阵的列空间位于 Fm 中,而通常并不位于 Fn 中。
维数、秩与基
列空间的维数就是矩阵的秩:
dimCol(A)=rank(A).
因此,
0≤rank(A)≤min(m,n).
尽管所有列向量共同张成列空间,但它们未必构成一组基。从列向量中选取一个极大的线性无关子集,即可得到一组基。
以下两种情形尤为重要:
- 列满秩: rank(A)=n。所有列向量线性无关,构成列空间的一组基。这要求 n≤m。
- 行满秩: rank(A)=m。列空间等于整个陪域 Fm。这要求 m≤n。
对于方阵,列空间等于整个环境空间,当且仅当该矩阵存在逆矩阵。
用消元法求基
高斯消元法可以确定 A 的阶梯形矩阵中的主元列。原矩阵中处于这些主元位置的列向量构成 Col(A) 的一组基。
这一区别至关重要:初等行变换通常会改变列空间。若经过行化简得到
其中 E 可逆,则
Col(R)=ECol(A).
这两个空间的维数相同,但未必是同一个子空间。行变换保留了各列之间的线性相关关系,因此仍可根据主元位置在原矩阵中选出一组基。
相比之下,右乘一个可逆的 n×n 矩阵 B 不会改变列空间:
Col(AB)=Col(A).
这种乘法将各列替换为它们自身的可逆线性组合,而不改变它们所张成的空间。
示例
考虑实矩阵
A=101202011.
其列向量为
a1=101,a2=202,a3=011.
由于 a2=2a1,第二列没有引入新的方向。第一列与第三列线性无关,因此
Col(A)=⎩⎨⎧sts+t:s,t∈R⎭⎬⎫.
所以,列空间是 R3 中的平面
且 A 的秩为二。
向量 (1,2,3)T 属于这个平面,而 (1,2,4)T 不属于。因此,Ax=(1,2,3)T 有解,而 Ax=(1,2,4)T 无解。
可解性与零空间
线性方程组
有解,当且仅当
b∈Col(A).
等价地,将 b 作为额外的一列添入矩阵后,秩不增加:
rank[Ab]=rank(A).
列空间决定了哪些输出可以实现。零空间
ker(A)={x∈Fn:Ax=0},
则决定了不同输入是否会产生相同的输出。若 x0 是 Ax=b 的一个解,则每个解都具有如下形式:
x=x0+z,z∈ker(A).
因此,一个有解的方程组具有唯一解,当且仅当其零空间为 {0}。
这两个空间通过秩—零化度定理联系起来:
dimCol(A)+dimker(A)=n.
正交性与最小二乘法
在配备标准内积的 R 或 C 上,列空间满足
Col(A)⊥=ker(A∗),
其中 ⊥ 表示正交补,A∗ 是共轭转置。对于实矩阵,A∗=AT。
事实上,向量 y 与 A 的每一列都正交,当且仅当 A∗y=0。因此,
Fm=Col(A)⊕ker(A∗).
这些关于正交性的结论需要以内积空间为背景,而列空间的基本定义不需要。
这一分解是最小二乘法的基础。如果 b 不属于列空间,就不存在精确解,但优化问题
xmin∥Ax−b∥2
可以找到距离 b 最近的可实现输出。拟合向量
b=Ax
是 b 在 Col(A) 上的正交投影,其残差满足
A∗(b−Ax)=0.
即使系数向量 x 不唯一,拟合向量仍是唯一的。
若 A 列满秩,则投影矩阵为
P=A(A∗A)−1A∗.
或者,若 Q 的列向量构成列空间的一组标准正交基,则
在线性回归中,设计矩阵的列空间是所有可能的拟合响应向量构成的集合。采用普通最小二乘法时,如果设计矩阵的各列线性相关,不同的系数向量就可能产生相同的拟合结果。
数值计算
在精确运算中,主元列决定一组基。在浮点运算中,对于接近线性相关的列向量则需要更加谨慎:微小扰动就可能改变矩阵的精确秩,因此数值计算通常会借助容差来确定一个有效列空间。
QR分解通常结合列主元选取,可以给出这一有效空间的一组标准正交基。奇异值分解
A=UΣV∗
给出了另一种刻画:若 A 的精确秩为 r,则与其 r 个非零奇异值对应的左奇异向量构成 Col(A) 的一组标准正交基。
将足够小的奇异值视为零,得到的是列空间的近似,而未必是其精确的代数结果。容差的选择取决于数值尺度、运算精度以及矩阵元素的不确定性。