张量分解是将张量表示为若干较简单张量的组合,这些较简单的张量通常是向量、矩阵或规模较小的多维数组。它将矩阵分解推广到具有三个或更多模态的数据,例如以位置、时间和波长为索引的一组测量数据。不同的分解方式对这些因子施加不同的结构约束:有的将张量表示为若干秩一项之和,有的使用一个与因子矩阵相连的小型核心张量,还有的将较小的张量组织成链或网络。
这些表示方式之所以重要,是因为多维数组所含的元素可能多到无法直接存储或处理。合适的分解可以压缩数组、揭示潜在成分,或在无需重建所有元素的情况下完成计算。其应用涵盖光谱学、统计学、科学计算、信号处理和机器学习等领域。然而,与矩阵分解不同,张量分解并不存在唯一的标准形式:秩有不同的定义,最优低秩近似可能不存在,而且计算难度在很大程度上取决于所选的表示方式。
数学对象、模与基本运算
在有限维情形下, 阶张量可表示为数组
张量的阶是其索引的个数,而 是第 个模的维数。因此,向量是一阶张量,矩阵是二阶张量。阶不应与秩混淆:三阶张量的秩可以有多种不同取值,具体取决于张量的元素以及所采用的秩的定义。在抽象表述中, 属于有限维向量空间的张量积 。在这些空间中选定基后,就能得到相应的数组表示。
若干种分解的基本构件是秩一张量,也称可分解张量:
这里, 表示外积。这类张量中,除各个模各取一个向量相乘所产生的交互作用外,不存在其他交互作用。例如,形如 的“位置—时间—波长”数组具有共同的时间变化曲线和光谱,其整体幅度随位置而变化。将多个这样的项相加,就可以同时表示多种不同的变化曲线。
模 展开也称矩阵化,是将张量重新排列为矩阵 ,其行数为 ,列数为 。不同约定采用的列排列顺序有所不同,但只要排列规则一致,相关的秩和奇异值就会保持不变。展开本身并不是分解,而是一种索引变换,使我们能够运用线性代数的方法。不同的展开方式保留了不同的模分组,因此,仅用一种展开矩阵代替张量,可能会丢失对建模至关重要的区别。
沿某个模进行乘法运算,会改变该模对应的坐标或维数。对于 ,模乘积 定义为
更一般的对公共索引求和称为张量缩并,它是张量网络计算的基本运算。
近似误差通常用弗罗贝尼乌斯范数衡量,
这种度量对所有观测元素一视同仁。当各元素的精度不同、存在观测缺失,或测量分布并非高斯分布时,就需要采用加权范数、概率损失函数或针对具体应用的度量。
典范多元分解与张量秩
典范多元分解通常简称为 CP,将张量表示为若干秩一项之和:
第 个模上的向量构成因子矩阵 。当这些向量经过归一化时,使用权重 很方便,不过也可以将每个权重吸收到某个因子中。精确表示所需的最少项数称为 CP 秩,也称张量秩。历史上使用的 CANDECOMP 和 PARAFAC 这两个名称,指的本质上也是同一个模型。
对于矩阵,这一定义退化为通常的矩阵的秩。对于三阶及以上的张量,其性质则显著不同。矩阵的秩不能超过其任一维度的大小,而张量秩却可能超过每个模的维度大小。秩还可能取决于所用的域:表示一个实张量时,所需的实数秩一项可能比复数秩一项更多。因此,关于张量秩的论述必须指明因子取实数还是复数。
在不考虑缩放不确定性的情况下,CP 模型使用的标量元素约为 个,而非 个。例如,一个 数组包含一百万个元素,而当 时,三个因子矩阵总共仅包含 3,000 个元素,此外还可能有单独存储的权重。这一比较说明的是存储量,并不保证秩为十的近似足够准确。能否有效压缩取决于数组的实际结构。
对于三阶张量,CP 还可以导出有用的矩阵方程。采用适当的展开约定,有
其中, 表示 Khatri–Rao 积:其第 列是将 和 的第 列的外积向量化后得到的向量。当其他因子固定时,这一关系将多线性模型转化为关于某一个因子的线性模型。它是许多拟合算法的基础。
CP 的结构可以逐分量解释。每一项在每个模上都有一个特征向量,同一个分量索引 将这些特征向量关联起来。例如,在荧光光谱学中,一个分量可以由样品浓度分布、激发光谱和发射光谱组合而成。这种解释不同于一般的交互作用模型:CP 的每一项中只允许彼此匹配的分量组合。这些分量是否对应物理实体,取决于测量机制、模型的适切性和可辨识性,而不能仅凭存在一个数值拟合结果来判断。
Tucker 分解与多线性子空间
Tucker 分解将张量分解为各模态对应的因子矩阵和一个较小的核心张量:
其中 ,且 。 每个因子矩阵的列向量张成与某一模态对应的线性子空间。核心张量记录这些子空间之间的相互作用。与 CP 分解不同,Tucker 分解不要求用同一个分量索引来对齐所有模态的因子。
张量的多线性秩是如下元组:
这些秩有直接的矩阵含义: 是模态 纤维所张成空间的维数。精确 Tucker 分解的因子可以选为这些空间的基。对于秩为 的 CP 表示,每个展开矩阵的矩阵秩至多为 ,但展开矩阵的秩通常不能确定 CP 秩。因此,“秩为十”和“多线性秩为 ”描述的是不同的约束。
一种特别有用的构造是高阶奇异值分解,简称 HOSVD。对于每个模态,对 进行普通的奇异值分解,即可得到标准正交的因子向量。将张量投影到所选的各模态子空间上,便得到核心张量。在完整的 HOSVD 中,核心张量内垂直于同一模态的切片彼此正交,其范数对应于该模态展开矩阵的奇异值。核心张量通常不是对角张量,因此它并不是矩阵 SVD 中对角矩阵的直接推广。
对因子矩阵进行截断,可以得到一种简单的近似,并具有重要的误差保证。设 是按指定模态维数截断得到的 HOSVD 近似, 是满足相应多线性秩上界的最佳近似,则
这一结果表明,截断 HOSVD 是准最优的,但通常并非最优。高阶正交迭代则通过反复更新各个因子来改善拟合;每次更新时,都使用原张量在其余所有模态的当前子空间上的投影。
当不同模态需要不同压缩程度时,Tucker 分解尤其有用。例如,空间模态可能需要许多基向量,而光谱模态只需少数几个。其存储开销约为
当张量阶数很高时,即使每个 都不大,核心张量这一项的存储开销仍会十分可观。这一局限促使人们采用链式和层次化表示。Tucker 分解还具有换基自由度:对因子矩阵的列施加可逆变换,可以通过对核心张量施加相应的逆变换来抵消。因此,其主要研究对象往往是子空间,而不是具有唯一确定形式的各个分量。
张量列车、层次格式与张量网络
张量列车分解用一条由三指标核心张量构成的链来表示高阶数组:
其中, 是一个 矩阵,且 ,因此乘积是一个标量。整数 称为内部键维数或张量列车秩。与 Tucker 分解的中心核心张量不同,这里的任何一个核心张量都不涉及全部模态。
最小精确秩 等于将指标 与 分别归为两组后所得展开矩阵的秩。这既给出了秩的解释,也提供了构造方法:依次进行矩阵奇异值分解(SVD)即可得到张量列车,而使用截断 SVD 则可得到弗罗贝尼乌斯误差可控的近似。如果所有物理维数均不超过 ,所有键维数均不超过 ,则存储量为 。这种看似随阶数线性增长的关系,以秩保持有界为前提;有些张量所需的秩会随阶数呈指数增长。
模态的排列顺序很重要,因为它决定了链上的切分对应哪些二分划分。耦合很强的变量若被链上的某个切口分隔开,就可能需要很大的键维数。因此,重新排列模态可以在不改变底层数组的情况下,大幅改变存储量和计算成本。在实际应用中,通常利用空间局部性、变量分组或已知的相互作用结构来选择有效的排列顺序。
张量列车与量子力学中的矩阵乘积态密切相关。在量子力学中,张量元素是多体态的振幅,沿链上某个切口进行划分所得到的奇异值就是该态的施密特系数。所需的键维数反映了这一二分划分两侧的关联程度。因此,同一种数学表示既可描述数值数组,也可描述量子态,不过二者的归一化方式、物理或数学含义以及优化目标有所不同。
层次 Tucker 分解用嵌套子空间构成的树取代链。更一般的张量网络则允许其他连接模式。它们的复杂度不仅取决于张量大小和键维数,还取决于执行缩并的顺序。含环的网络可以表达有用的结构,但其精确缩并的成本可能远高于链或树的情形。
这些格式在内部表示上存在非唯一性,通常称为规范自由度。在一条键的一侧乘以可逆矩阵,在另一侧乘以其逆矩阵,所表示的张量保持不变。采用正交规范或标准规范可以消除部分自由度,并改善数值稳定性。它们也能简化局部优化和截断,因为当周围的因子正交归一时,局部的弗罗贝尼乌斯度量就与所表示的完整张量的度量一致。
可辨识性、几何与最佳逼近的不存在性
可辨识性关注的是:一个分解能否由它所表示的张量唯一确定。对于 CP 分解,不可避免的歧义包括各项的排列,以及同一项中各向量之间的尺度重新分配。如果一个分解仅存在这些歧义,就称其具有本质唯一性。这与普通的低秩矩阵分解不同;在后者中,可以通过一般的可逆变换混合潜在因子,而不改变它们的乘积。
约瑟夫·克鲁斯卡尔于 1977 年给出了一个经典的充分条件。对于包含 个非零项的三阶 CP 分解,设 为其因子矩阵的克鲁斯卡尔秩,其中克鲁斯卡尔秩定义为满足以下性质的最大整数:任取该数量的列,所组成的子集都线性无关。如果
则该分解具有本质唯一性,且其秩为 。这是充分条件,而非必要条件。不满足该不等式,并不能说明分解不唯一;而且,即使精确分解唯一,也不能保证含噪估计具有良好的条件性。
CP 分解背后的几何结构将其与代数几何联系起来。将相差非零标量倍数的张量视为等价后,秩一张量构成一个塞格雷簇。秩一张量的和引出割线构造,有助于描述可能的秩与一般情形下的可辨识性。在复数域上,除某个真代数例外集之外,张量具有一般秩。在实数域上,不同的非空开集上可能出现多个典型秩。维数计数能够提供有用的预期,但特殊的几何行为使其无法成为普遍适用的秩公式。
张量与矩阵最显著的区别之一是:CP 秩不超过 的张量不一定构成闭集。张量的边界秩是使秩不超过 的张量能够任意逼近该张量的最小 。边界秩可以严格小于秩。
一个具体例子可以用线性无关的向量 构造。秩为三的张量
是下式在 时的极限:
对于每个非零的 ,后者都是两个秩一张量的和。因此, 的边界秩为二,而秩为三。这两项各自变得无界,却又越来越精确地相互抵消。
因此, 不存在最佳秩二逼近:逼近误差的下确界为零,却没有任何秩二张量能够达到这一误差。这一现象解释了某些 CP 拟合序列的发散行为。相比之下,多线性秩有界的张量集合是闭集,因此在有限维空间的弗罗贝尼乌斯范数下,最佳 Tucker 逼近是存在的。由此可见,存在性、唯一性和稳定可恢复性是彼此独立的问题,取决于所采用的分解形式。
数值算法与计算复杂度
实际中的大多数分解问题都是近似问题。一个典型的 CP 分解目标为
这是一个数学优化问题:固定其余所有因子时,它对任一因子都是线性的,但对所有因子整体而言则是非线性的。其几何特征包括缩放自由度、驻点、平坦区域,以及某些情况下无界的极小化序列。
交替最小二乘法利用了这种对各个因子分别呈线性的性质。对于三阶张量,更新 相当于求解
其正规方程形式为
其中 表示逐元素乘法。右侧的缩并运算通常称为矩阵化张量乘 Khatri–Rao 积,简称 MTTKRP。高效实现这一运算是 CP 分解计算能够扩展到大规模问题的关键;通常无须显式构造完整的 Khatri–Rao 积。
每次精确求解最小二乘子问题并更新相应因子块,都不会使目标函数值增大,但这并不意味着算法会收敛到全局最优解。近乎共线的因子可能导致目标函数值在很长一段时间内改善缓慢,这种现象通常称为“沼泽”。病态的正规方程也会降低数值精度,因为构造格拉姆矩阵会使原最小二乘问题设计矩阵的条件数变为原来的平方。QR分解、基于 SVD 的求解方法、阻尼和适当的缩放可以分别缓解这一问题的不同方面。
其他方法则通过梯度下降、拟牛顿法、非线性共轭梯度法或高斯–牛顿近似,对所有因子进行联合优化。计算这些方法所需的导数时,可以利用多重线性结构,而不必逐一独立处理每个重构元素。自动微分能简化复杂模型的实现,而专门设计的缩并运算则可减少内存占用和运算量。非负、稀疏和加权模型需要相应的约束子问题或经过修改的子问题。
初始化既影响计算速度,也影响最终得到的解。常见方法包括随机生成因子、采用展开矩阵的奇异向量、使用预先求得的压缩模型,以及从多个初始点启动求解。仅凭较小的残差并不能说明恢复结果可靠:因子可能不稳定、几乎相互抵消,或者无法被充分确定。因此,诊断指标还包括因子范数、条件性、不同初始点所得结果的变异程度,以及对留出元素的预测表现。
一般的张量问题远比对应的矩阵问题困难。在相当广泛的问题表述下,确定 CP 秩在计算上是难以处理的,许多张量优化任务也都是 NP 难的。这些最坏情形下的结果并不意味着每一种应用都很困难:维数受限、有利的随机性、可分离性、正交性及其他结构假设,都可能使高效算法成为可能。大规模实现还会采用稀疏存储、随机投影、抽样子问题和并行计算。这些方法的效果取决于原始张量是被显式存储,还是只能通过选定的元素和缩并运算来访问。
约束、统计模型与不完整观测
分解既可用作确定性近似,也可作为统计模型中的系统性部分。在加性误差相互独立、服从高斯分布且方差相同的条件下,最小化 Frobenius 范数的平方误差等价于最大似然估计。其他类型的数据则适合采用不同的似然模型。计数数组可采用均值具有非负低秩结构的泊松分布,二元数组则可采用概率与实值因子分解相联系的伯努利模型。分解规定了潜在结构,而观测模型规定了测量值如何由这一结构产生。
约束用于引入仅靠低秩无法体现的性质。非负 CP 分解要求每个因子的所有元素均为非负,适用于各组分以相加方式组合而成的测量数据。稀疏性可将各组分限制在选定的变量上,而平滑性惩罚可用于刻画随时间或光谱缓慢变化的轮廓。正交性、单纯形约束以及多个数据集之间的共享因子分别表达不同的假设。这些约束都并非普遍适用:每种约束都会改变允许的表示形式,并可能影响解的存在性、可辨识性和数值表现。
正则化通过加入惩罚项或界限来控制不稳定性与复杂度。例如,因子范数的平方惩罚可抑制因子任意增大,但其效果取决于尺度如何在各个模态之间分配。采用规范化约定并显式设置组分权重,有助于解释这些影响。贝叶斯方法则为因子、权重、秩或噪声参数设置先验分布。由此得到的后验分布可用于量化不确定性,不过对于规模较大的模型,精确推断通常难以实现。
张量补全根据已观测的索引集 估计未观测的元素。采用平方误差的表述是在所选低秩结构的约束下,最小化
。缺失元素不能当作已观测到的零值处理。能否成功恢复不仅取决于秩,还取决于采样模式:如果某一模态的某个坐标完全没有观测值,与之对应的因子行就可能无法确定。恢复理论通常会采用防止信息集中于少数元素的假设,但 CP、Tucker 和张量列车模型所能提供的理论保证存在显著差异。
秩的选择需要在保真度与复杂度之间取得平衡。交叉验证可通过留出观测值上的预测表现来比较模型,前提是留出方案与预期用途相符。随机留出部分元素,与预测未来某个时间段或全新个体,检验的是不同的任务。训练数据上的重构误差通常会随着模型规模增大而下降,因此仅凭这一误差无法确定合适的秩。
因子的置换与缩放使不确定性的分析更为复杂。在比较重复拟合的结果或自助采样结果之前,必须先将等价组分对齐。在接近不可辨识的情形下,即使重构的张量仍然相似,数据的微小扰动也可能导致因子估计发生很大变化。因此,进行统计解释时,需要区分拟合数组的不确定性与各个潜在组分的不确定性。
科学与技术应用
化学计量学为 CP 分解提供了一种尤为直观的解释。激发—发射荧光数据集可以按样品、激发波长和发射波长三个维度组织。在测量近似满足线性和可加性条件时,每个组分都具有随样品而变化的含量,以及特征性的激发光谱和发射光谱。PARAFAC 可以联合估计这些光谱,而不必逐个样品分别拟合。仪器效应、散射、猝灭以及对三线性假设的偏离,都可能使简单的 CP 模型不再适用,因此,这种解释既依赖于代数结构,也依赖于对物理测量条件的假设。
在潜变量统计中,高阶矩可以包含协方差矩阵无法提供的信息。假设潜在类别 的概率为 ,且给定该类别时,三个向量值观测视图条件独立。它们的交叉矩张量具有如下形式:
这是由条件独立推导出的 CP 表示。在适当的假设下,对矩张量进行分解可以识别潜在参数。谱方法和白化方法利用了这种结构,不过,经验矩的估计误差以及组分之间区分不明显等因素可能限制其效果。
科学计算利用张量格式来近似函数并求解高维问题。函数 若在每个坐标方向上取 个点进行离散化,就会有 个值,这正是维数灾难的一种表现。当函数具备适当的可分离性时,低秩格式可以取代完整网格。算子本身也可能具有张量表示,从而可以通过张量收缩和秩截断,迭代求解偏微分方程或特征值问题。低秩结构为求解提供了契机,却并非万能的解决方案:强耦合的解可能需要迅速增长的秩才能表示。
在量子多体计算中,矩阵乘积态及相关网络用于近似那些原本需要指数多个振幅才能表示的态矢量。史蒂文·怀特于 1992 年提出的密度矩阵重整化群,成为研究一维量子系统的核心方法,后来人们通过矩阵乘积态对其获得了自然的理解。该方法的有效性与所近似量子态的纠缠结构有关。高维系统促使人们采用具有不同几何结构的网络,但代价往往是张量收缩更加困难。
在机器学习中,张量用于组织多关系数据、用户—物品—情境交互数据、图像集合以及神经网络参数。关系张量可以分别设置实体模态和关系模态;神经网络的权重张量则可以用 CP、Tucker 或张量列车分解的因子替代,以减少参数存储量。实际加速效果取决于张量收缩的执行顺序、中间数组的大小以及硬件支持。参数更少并不一定意味着延迟更低。多模态应用还会使用耦合分解,让多个数组共享选定的因子矩阵,从而在不必将所有数据集强行整合为一个矩形数组的情况下,估计它们的共同结构。
历史发展与持续研究
现代张量分解并非源于某一项发明,而是由多个研究传统汇流而成。弗兰克·L. 希区柯克在1927年的工作中,研究了将高阶数组表示为若干乘积之和的方法,预示了后来将张量表示为秩一项之和的观点。在心理测量学领域,莱德亚德·塔克发展了多向因子分析,其1966年的工作确立了如今以他命名的核心张量与因子相结合的结构。这些进展将基于矩阵的分析方法,推广到了涉及两个以上不同索引系统的测量数据。
1970年,J. 道格拉斯·卡罗尔和张吉杰提出了 CANDECOMP,理查德·哈什曼则独立发展了 PARAFAC。两者的术语反映了不同的研究动机,但最终都得到了相同的基本形式,即由相互匹配的秩一分量求和。因子有可能在本质上被唯一恢复,这使这些模型有别于无约束的矩阵因子分析。克鲁斯卡尔于1977年提出的唯一性定理,为这种可能性提供了严谨且影响深远的解释。
随着算法、软件和应用的拓展,数值多重线性代数逐渐形成了更加系统的体系。2000年,利文·德拉陶沃、巴特·德莫尔和约斯·范德瓦勒对多重线性奇异值分解的论述,厘清了高阶奇异值分解(HOSVD)的框架及其与矩阵奇异值分解(SVD)的联系。低秩近似研究也揭示了一些根本性局限:维恩·德席尔瓦和林乐恒在2008年的分析,使最佳低秩张量近似可能不存在这一现象,成为数值实践中的核心问题,而不再仅仅是代数上的奇特现象。
高维近似推动了另一条互为补充的发展路线。沃尔夫冈·哈克布施和斯特凡·屈恩于2009年提出了层次张量表示,伊万·奥谢列杰茨则于2011年提出了张量列车分解。这些表示格式将数值分析与量子物理中长期使用的结构联系起来。它们的重点未必在于解释各个秩一分量,而在于组织计算,使高维对象无需完整存储即可进行操作。
当前研究区分了若干在符号表示上看似相近、却需要不同解决方法的问题。一般可辨识性关注的是:对于给定模型,是否几乎所有张量都具有唯一的因子;稳健可辨识性关注的是:这些因子在扰动下如何变化。近似理论研究,对于特定的函数类或算子,秩在什么条件下能够保持适中的大小。统计恢复理论则探讨样本量、噪声、数据缺失情况和模型结构如何决定估计精度。
可扩展计算还带来了通信、内存和精度方面的问题。某次缩并的算术运算成本可能很低,但如果需要在处理器或加速器之间传输庞大的中间数组,其总体成本仍可能很高。自适应算法力求使秩能够随连接键或模态而变化,并在优化过程中动态调整。对于流式数据,必须在不反复访问整个数据集的情况下更新因子。在这些不同场景中,何种分解具有实用价值,取决于数学结构、观测过程,以及对所得表示需要执行的操作三者的共同作用。