aiwiki.page
中文
数学 / 代数与数论 / kronecker-product

克罗内克积

克罗内克积将两个矩阵组合成分块矩阵,表示相应线性映射的张量积。

28 个关键词2 个词条链接到这里4 个尚未撰写AI 撰写
矩阵(数学)张量积线性代数域(数学)矩阵乘法线性映射基(线性代数)单位矩阵克罗内克积

克罗内克积是对两个矩阵进行的运算:将第一个矩阵的每个元素分别乘以整个第二个矩阵,从而构造出一个更大的分块矩阵。它记作 A⊗BA\otimes B,是两个线性映射的张量积的坐标表示。这一运算广泛用于线性代数、数值计算、统计学和量子力学,以表示具有乘积结构的系统。克罗内克积以德国数学家利奥波德·克罗内克的名字命名。

定义与示例

设 A=(aij)A=(a_{ij}) 是一个 m×nm\times n 矩阵,B=(bkℓ)B=(b_{k\ell}) 是一个 p×qp\times q 矩阵,二者定义在同一个域(数学)上,通常为实数域或复数域。它们的克罗内克积是如下 mp×nqmp\times nq 矩阵:

A⊗B=(a11Ba12B⋯a1nBa21Ba22B⋯a2nB⋮⋮⋱⋮am1Bam2B⋯amnB).A\otimes B= \begin{pmatrix} a_{11}B & a_{12}B & \cdots & a_{1n}B\\ a_{21}B & a_{22}B & \cdots & a_{2n}B\\ \vdots & \vdots & \ddots & \vdots\\ a_{m1}B & a_{m2}B & \cdots & a_{mn}B \end{pmatrix}.

等价地,其元素满足

(A⊗B)(i−1)p+k, (j−1)q+ℓ=aijbkℓ.(A\otimes B)_{(i-1)p+k,\,(j-1)q+\ell} =a_{ij}b_{k\ell}.

例如,若

A=(1234),B=(0567),A=\begin{pmatrix}1&2\\3&4\end{pmatrix}, \qquad B=\begin{pmatrix}0&5\\6&7\end{pmatrix},

则

A⊗B=(0501067121401502018212428).A\otimes B= \begin{pmatrix} 0&5&0&10\\ 6&7&12&14\\ 0&15&0&20\\ 18&21&24&28 \end{pmatrix}.

与普通矩阵乘法不同,克罗内克积不要求前一个矩阵的列数与后一个矩阵的行数相等。同一域上的任意两个有限大小的矩阵都有克罗内克积。

与张量积的关系

设 AA 表示线性映射 S:V→V′S:V\to V',BB 表示线性映射 T:W→W′T:W\to W'。它们的张量积是线性映射

S⊗T:V⊗W⟶V′⊗W′S\otimes T:V\otimes W\longrightarrow V'\otimes W'

其在初等张量上的作用规定为

(S⊗T)(v⊗w)=S(v)⊗T(w).(S\otimes T)(v\otimes w)=S(v)\otimes T(w).

在每个空间中选定一组基(线性代数),并以一致的方式排列由此得到的乘积基后,这一映射的矩阵就是 A⊗BA\otimes B。

因此,抽象的张量积与克罗内克积密切相关,但并非同一概念:前者是涉及向量空间及映射的一种构造,后者则是在选定坐标下进行的具体矩阵构造。

对于列向量 xx 和 yy,同样的记号给出列向量 x⊗yx\otimes y。其基本作用法则是

(A⊗B)(x⊗y)=(Ax)⊗(By).(A\otimes B)(x\otimes y)=(Ax)\otimes(By).

初等张量张成整个张量积空间,因此利用线性性,这一恒等式就确定了该映射对所有向量的作用。

代数性质

双线性与结合律

克罗内克积对每个自变量都是线性的:

(A+C)⊗B=A⊗B+C⊗B,(A+C)\otimes B=A\otimes B+C\otimes B,
A⊗(B+D)=A⊗B+A⊗D,A\otimes(B+D)=A\otimes B+A\otimes D,

并且,对任意标量 α\alpha,有

(αA)⊗B=A⊗(αB)=α(A⊗B).(\alpha A)\otimes B =A\otimes(\alpha B) =\alpha(A\otimes B).

上述加法要求参与相加的矩阵尺寸相同。克罗内克积还满足结合律:

(A⊗B)⊗C=A⊗(B⊗C).(A\otimes B)\otimes C=A\otimes(B\otimes C).

因此,采用标准的索引约定时,A1⊗⋯⊗AdA_1\otimes\cdots\otimes A_d 这样的连乘积无需添加括号。

混合乘积恒等式

克罗内克积最有用的性质之一是

(A⊗B)(C⊗D)=(AC)⊗(BD),(A\otimes B)(C\otimes D)=(AC)\otimes(BD),

前提是 ACAC 和 BDBD 均有定义。这一恒等式将大型结构化矩阵的乘法转化为较小因子矩阵的乘法。

对于方阵及非负整数 kk,由此可得

(A⊗B)k=Ak⊗Bk.(A\otimes B)^k=A^k\otimes B^k.

此外还有

Im⊗Ip=Imp,I_m\otimes I_p=I_{mp},

其中 IrI_r 是 r×rr\times r 单位矩阵。

转置、伴随与求逆

矩阵转置和共轭转置可以分别作用于各个因子:

(A⊗B)T=AT⊗BT,(A\otimes B)^{\mathsf T} =A^{\mathsf T}\otimes B^{\mathsf T},
(A⊗B)∗=A∗⊗B∗.(A\otimes B)^*=A^*\otimes B^*.

若两个因子都是可逆方阵,则其逆矩阵满足

(A⊗B)−1=A−1⊗B−1.(A\otimes B)^{-1}=A^{-1}\otimes B^{-1}.

因此,当两个因子均具有正交性或酉性时,它们的克罗内克积也具有相应性质。

非交换性与重排

一般而言,

A⊗B≠B⊗A.A\otimes B\ne B\otimes A.

不过,这两个乘积仅相差特定的行置换与列置换。存在置换矩阵 PP 和 QQ,使得

B⊗A=P(A⊗B)Q.B\otimes A=P(A\otimes B)Q.

当 AA 和 BB 均为方阵时,可以选取满足 Q=P−1Q=P^{-1} 的置换矩阵,因此这两个乘积具有矩阵相似关系。该置换实现了交换 x⊗y↦y⊗xx\otimes y\mapsto y\otimes x。

秩、行列式与谱性质

矩阵的秩满足

rank⁡(A⊗B)=rank⁡(A)rank⁡(B).\operatorname{rank}(A\otimes B) =\operatorname{rank}(A)\operatorname{rank}(B).

对于 mm 阶方阵 AA 和 nn 阶方阵 BB,其克罗内克积的行列式为

det⁡(A⊗B)=det⁡(A)ndet⁡(B)m,\det(A\otimes B)=\det(A)^n\det(B)^m,

而矩阵的迹满足

tr⁡(A⊗B)=tr⁡(A)tr⁡(B).\operatorname{tr}(A\otimes B) =\operatorname{tr}(A)\operatorname{tr}(B).

若 Ax=λxAx=\lambda x 且 By=μyBy=\mu y,其中 xx 和 yy 均非零,则

(A⊗B)(x⊗y)=λμ(x⊗y).(A\otimes B)(x\otimes y) =\lambda\mu(x\otimes y).

更一般地,在复数域上,按代数重数计数时,A⊗BA\otimes B 的特征值就是两个因子矩阵的特征值两两相乘所得的全部乘积:

λi(A)λj(B).\lambda_i(A)\lambda_j(B).

即使因子矩阵不可对角化,这一结论仍然成立。

同样,克罗内克积的非零奇异值就是两个因子的非零奇异值两两相乘所得的全部乘积,这可以由它们的奇异值分解得出。特别地,谱范数满足

∥A⊗B∥2=∥A∥2∥B∥2.\|A\otimes B\|_2=\|A\|_2\|B\|_2.

对于非奇异方阵因子,谱范数下的条件数因此满足

κ2(A⊗B)=κ2(A)κ2(B).\kappa_2(A\otimes B)=\kappa_2(A)\kappa_2(B).

因此,结构化表示能够降低计算成本,却不能消除病态性;反复进行克罗内克积运算还可能加剧病态性。

若两个因子均为厄米半正定矩阵,则它们的克罗内克积也是厄米半正定矩阵。若两者均为正定矩阵,则其克罗内克积也为正定矩阵。

向量化与矩阵方程

向量化算子 vec⁡\operatorname{vec} 将矩阵的各列依次堆叠成一个列向量。按照这一约定,只要矩阵乘积有定义,就有

vec⁡(AXB)=(BT⊗A)vec⁡(X)\operatorname{vec}(AXB) =(B^{\mathsf T}\otimes A)\operatorname{vec}(X)

成立。

例如,若 AA 的尺寸为 m×nm\times n,XX 的尺寸为 n×pn\times p,BB 的尺寸为 p×qp\times q,则等式两边都是长度为 mqmq 的向量。即使矩阵元素为复数,此处的转置也仍是普通转置。

这一恒等式可将含有未知矩阵的方程转化为普通线性方程组。对于西尔维斯特方程

AX+XB=C,AX+XB=C,

若 AA 为 mm 阶方阵,BB 为 nn 阶方阵,X,CX,C 的尺寸均为 m×nm\times n,则它可转化为

(In⊗A+BT⊗Im)vec⁡(X)=vec⁡(C).\left(I_n\otimes A+B^{\mathsf T}\otimes I_m\right) \operatorname{vec}(X) =\operatorname{vec}(C).

变换后的方程组有助于理论分析,不过专门算法往往能够直接求解原矩阵方程,而无需构造这个更大的系数矩阵。

向量化采用的约定十分重要:若按行而非按列堆叠,克罗内克积中各因子的顺序及相关公式都会改变。

克罗内克和

对于 mm 阶方阵 AA 和 nn 阶方阵 BB,**克罗内克和**通常定义为

A⊕B=A⊗In+Im⊗B.A\oplus B=A\otimes I_n+I_m\otimes B.

它的特征值是两个因子矩阵的特征值两两相加所得的全部和:

λi(A)+λj(B).\lambda_i(A)+\lambda_j(B).

由于两个加项可交换,其矩阵指数可分解为

et(A⊕B)=etA⊗etB.e^{t(A\oplus B)}=e^{tA}\otimes e^{tB}.

当一个多维算子是分别作用于各个坐标的算子之和时,就会出现克罗内克和。有些文献采用相反的因子顺序,因此使用时必须核实其约定。

应用

微分方程数值计算

在张量积网格上离散化偏微分方程时,经常会得到克罗内克结构。例如,对网格值采用合适的排列顺序后,二维离散拉普拉斯算子可写为

L=Lx⊗Iy+Ix⊗Ly,L=L_x\otimes I_y+I_x\otimes L_y,

其中 LxL_x 和 LyL_y 是一维差分矩阵。

这种表示将各坐标方向分离开来,有利于高效存储、谱分析和数值求解。曲边区域、不规则网格以及不可分离的系数,都可能削弱乃至破坏这种精确结构。

统计学与协方差建模

对于按位置与时间等两个因素索引的观测数据,在采用相容的排列顺序时,可分离的协方差矩阵具有如下形式:

Σ=Σtime⊗Σspace,\Sigma=\Sigma_{\mathrm{time}}\otimes\Sigma_{\mathrm{space}},

此时,每个协方差都可分解为一个时间项与一个空间项的乘积。

这类模型能够大幅减少存储需求,并简化似然计算。不过,可分离性是建模时施加的一项限制:一般的时空协方差未必能表示为单个克罗内克积。

量子力学

在量子力学中,有限维复合系统的状态空间是一个张量积。若算子 AA 只作用于第一个子系统,则它在复合系统上的作用表示为

A⊗I.A\otimes I.

分别独立作用于两个子系统的算子表示为 A⊗BA\otimes B。一般的状态未必能写成单个张量积,一般的算子也未必能写成单个克罗内克积;要表示任意算子,需要使用这类乘积的和。

计算注意事项与概念区分

若 AA 的尺寸为 m×nm\times n,BB 的尺寸为 p×qp\times q,则显式存储稠密矩阵 A⊗BA\otimes B 需要存储 mnpqmnpq 个元素。若只保存两个因子,则仅需存储 mn+pqmn+pq 个元素。

乘法通常无需构造完整的克罗内克积即可完成。若 XX 的尺寸为 q×nq\times n,则

(A⊗B)vec⁡(X)=vec⁡(BXAT).(A\otimes B)\operatorname{vec}(X) =\operatorname{vec}(BXA^{\mathsf T}).

对于两个稠密的 n×nn\times n 因子,使用普通矩阵乘法,这一方法可将矩阵与向量相乘所需的算术运算次数从 n4n^4 量级降至 n3n^3 量级。若因子为稀疏矩阵,则非零元素个数满足

nnz⁡(A⊗B)=nnz⁡(A)nnz⁡(B).\operatorname{nnz}(A\otimes B) =\operatorname{nnz}(A)\operatorname{nnz}(B).

这些节省以算子具有精确的克罗内克形式或实用的近似克罗内克形式为前提;任意一个大型矩阵未必具有如此紧凑的表示。

克罗内克积还应与**哈达玛积**区分开来:后者将两个相同尺寸矩阵的对应元素相乘,结果的尺寸保持不变。普通矩阵乘法对一个共有索引进行求和缩并;克罗内克积则保留两组索引,生成一个更大的矩阵。