aiwiki.page
中文
数学 / 代数与数论 / column-space

列空间

矩阵的列空间是其列向量张成的向量子空间,由矩阵与向量相乘所能得到的全部输出组成。

29 个关键词1 个词条链接到这里AI 撰写
线性代数矩阵(数学)线性组合域(数学)线性子空间线性张成向量空间线性映射列空间

在线性代数中,矩阵的列空间是其列向量的所有线性组合构成的集合。对于域 F\mathbb F 上的 m×nm\times n 矩阵 AA,列空间是 Fm\mathbb F^m 的一个线性子空间,通常记为 Col⁡(A)\operatorname{Col}(A)。等价地,它是当 xx 遍历 Fn\mathbb F^n 时所有向量 AxAx 构成的集合。列空间描述了矩阵能够产生哪些输出,以及线性方程组的右端向量取哪些值时方程组有解。

定义与解释

将 AA 的各列记为 a1,…,ana_1,\ldots,a_n,即

A=[a1a2⋯an].A=\begin{bmatrix}a_1&a_2&\cdots&a_n\end{bmatrix}.

则

Col⁡(A)=span⁡{a1,…,an}={∑j=1nxjaj:xj∈F}.\operatorname{Col}(A) =\operatorname{span}\{a_1,\ldots,a_n\} =\left\{\sum_{j=1}^{n}x_ja_j:x_j\in\mathbb F\right\}.

这里,span⁡\operatorname{span} 表示线性包。由于

Ax=x1a1+⋯+xnan,Ax=x_1a_1+\cdots+x_na_n,

同一定义也可以写成

Col⁡(A)={Ax:x∈Fn}.\operatorname{Col}(A)=\{Ax:x\in\mathbb F^n\}.

列空间包含零向量,并且对向量加法和数乘运算封闭。这些性质使它本身也构成一个向量空间。

矩阵定义了一个线性映射

TA:Fn⟶Fm,TA(x)=Ax.T_A:\mathbb F^n\longrightarrow\mathbb F^m, \qquad T_A(x)=Ax.

其列空间恰好是这个映射的像。像是线性映射的内在属性;选定基并用矩阵表示该映射后,才能将其描述为列空间。

对于实矩阵,其几何意义尤为直观。一维列空间是经过原点的直线,二维列空间是经过原点的平面。列空间总是位于由矩阵行数确定的空间中:m×nm\times n 矩阵的列空间位于 Fm\mathbb F^m 中,而通常并不位于 Fn\mathbb F^n 中。

维数、秩与基

列空间的维数就是矩阵的秩:

dim⁡Col⁡(A)=rank⁡(A).\dim\operatorname{Col}(A)=\operatorname{rank}(A).

因此,

0≤rank⁡(A)≤min⁡(m,n).0\leq\operatorname{rank}(A)\leq\min(m,n).

尽管所有列向量共同张成列空间,但它们未必构成一组基。从列向量中选取一个极大的线性无关子集,即可得到一组基。

以下两种情形尤为重要:

  • 列满秩: rank⁡(A)=n\operatorname{rank}(A)=n。所有列向量线性无关,构成列空间的一组基。这要求 n≤mn\leq m。
  • 行满秩: rank⁡(A)=m\operatorname{rank}(A)=m。列空间等于整个陪域 Fm\mathbb F^m。这要求 m≤nm\leq n。

对于方阵,列空间等于整个环境空间,当且仅当该矩阵存在逆矩阵。

用消元法求基

高斯消元法可以确定 AA 的阶梯形矩阵中的主元列。原矩阵中处于这些主元位置的列向量构成 Col⁡(A)\operatorname{Col}(A) 的一组基。

这一区别至关重要:初等行变换通常会改变列空间。若经过行化简得到

R=EA,R=EA,

其中 EE 可逆,则

Col⁡(R)=ECol⁡(A).\operatorname{Col}(R)=E\operatorname{Col}(A).

这两个空间的维数相同,但未必是同一个子空间。行变换保留了各列之间的线性相关关系,因此仍可根据主元位置在原矩阵中选出一组基。

相比之下,右乘一个可逆的 n×nn\times n 矩阵 BB 不会改变列空间:

Col⁡(AB)=Col⁡(A).\operatorname{Col}(AB)=\operatorname{Col}(A).

这种乘法将各列替换为它们自身的可逆线性组合,而不改变它们所张成的空间。

示例

考虑实矩阵

A=[120001121].A= \begin{bmatrix} 1&2&0\\ 0&0&1\\ 1&2&1 \end{bmatrix}.

其列向量为

a1=[101],a2=[202],a3=[011].a_1=\begin{bmatrix}1\\0\\1\end{bmatrix}, \qquad a_2=\begin{bmatrix}2\\0\\2\end{bmatrix}, \qquad a_3=\begin{bmatrix}0\\1\\1\end{bmatrix}.

由于 a2=2a1a_2=2a_1,第二列没有引入新的方向。第一列与第三列线性无关,因此

Col⁡(A)={[sts+t]:s,t∈R}.\operatorname{Col}(A) = \left\{ \begin{bmatrix}s\\t\\s+t\end{bmatrix} :s,t\in\mathbb R \right\}.

所以,列空间是 R3\mathbb R^3 中的平面

z=x+yz=x+y

且 AA 的秩为二。

向量 (1,2,3)T(1,2,3)^{\mathsf T} 属于这个平面,而 (1,2,4)T(1,2,4)^{\mathsf T} 不属于。因此,Ax=(1,2,3)TAx=(1,2,3)^{\mathsf T} 有解,而 Ax=(1,2,4)TAx=(1,2,4)^{\mathsf T} 无解。

可解性与零空间

线性方程组

Ax=bAx=b

有解,当且仅当

b∈Col⁡(A).b\in\operatorname{Col}(A).

等价地,将 bb 作为额外的一列添入矩阵后,秩不增加:

rank⁡[Ab]=rank⁡(A).\operatorname{rank}\begin{bmatrix}A&b\end{bmatrix} =\operatorname{rank}(A).

列空间决定了哪些输出可以实现。零空间

ker⁡(A)={x∈Fn:Ax=0},\ker(A)=\{x\in\mathbb F^n:Ax=0\},

则决定了不同输入是否会产生相同的输出。若 x0x_0 是 Ax=bAx=b 的一个解,则每个解都具有如下形式:

x=x0+z,z∈ker⁡(A).x=x_0+z,\qquad z\in\ker(A).

因此,一个有解的方程组具有唯一解,当且仅当其零空间为 {0}\{0\}。

这两个空间通过秩—零化度定理联系起来:

dim⁡Col⁡(A)+dim⁡ker⁡(A)=n.\dim\operatorname{Col}(A)+\dim\ker(A)=n.

正交性与最小二乘法

在配备标准内积的 R\mathbb R 或 C\mathbb C 上,列空间满足

Col⁡(A)⊥=ker⁡(A∗),\operatorname{Col}(A)^\perp=\ker(A^*),

其中 ⊥{}^\perp 表示正交补,A∗A^* 是共轭转置。对于实矩阵,A∗=ATA^*=A^{\mathsf T}。

事实上,向量 yy 与 AA 的每一列都正交,当且仅当 A∗y=0A^*y=0。因此,

Fm=Col⁡(A)⊕ker⁡(A∗).\mathbb F^m =\operatorname{Col}(A)\oplus\ker(A^*).

这些关于正交性的结论需要以内积空间为背景,而列空间的基本定义不需要。

这一分解是最小二乘法的基础。如果 bb 不属于列空间,就不存在精确解,但优化问题

min⁡x∥Ax−b∥2\min_x\|Ax-b\|_2

可以找到距离 bb 最近的可实现输出。拟合向量

b^=Ax^\widehat b=A\widehat x

是 bb 在 Col⁡(A)\operatorname{Col}(A) 上的正交投影,其残差满足

A∗(b−Ax^)=0.A^*(b-A\widehat x)=0.

即使系数向量 x^\widehat x 不唯一,拟合向量仍是唯一的。

若 AA 列满秩,则投影矩阵为

P=A(A∗A)−1A∗.P=A(A^*A)^{-1}A^*.

或者,若 QQ 的列向量构成列空间的一组标准正交基,则

P=QQ∗.P=QQ^*.

在线性回归中,设计矩阵的列空间是所有可能的拟合响应向量构成的集合。采用普通最小二乘法时,如果设计矩阵的各列线性相关,不同的系数向量就可能产生相同的拟合结果。

数值计算

在精确运算中,主元列决定一组基。在浮点运算中,对于接近线性相关的列向量则需要更加谨慎:微小扰动就可能改变矩阵的精确秩,因此数值计算通常会借助容差来确定一个有效列空间。

QR分解通常结合列主元选取,可以给出这一有效空间的一组标准正交基。奇异值分解

A=UΣV∗A=U\Sigma V^*

给出了另一种刻画:若 AA 的精确秩为 rr,则与其 rr 个非零奇异值对应的左奇异向量构成 Col⁡(A)\operatorname{Col}(A) 的一组标准正交基。

将足够小的奇异值视为零,得到的是列空间的近似,而未必是其精确的代数结果。容差的选择取决于数值尺度、运算精度以及矩阵元素的不确定性。