张量网络将一个张量表示为一组较小的张量,这些张量的指标按照网络结构相互连接。连接两个指标,意味着对它们共有的取值求和,这种运算称为张量缩并。未连接的指标用于标记整个网络所表示张量的各个分量。所有指标都已连接、没有未缩并指标的网络表示一个标量。代数分解与图结构的这种结合,提供了一种描述复杂对象的语言;若不采用这种表示,描述这些对象可能需要数量呈指数增长的数值。
张量网络之所以重要,是因为应用中出现的许多高维对象都具有可供利用的内部结构。由 个二能级系统组成的量子态通常具有 个复振幅,但某些具有重要物理意义的量子态可以用少得多的参数来精确近似描述。相关的分解方法可用于压缩多维数据、组织统计物理中的计算,并支持推断和量子电路模拟算法。这些方法的有效性取决于网络的几何结构、内部指标的维数,以及所表示对象中的关联。
张量网络并不必然是一种紧凑的表示,也不必然带来高效的计算方法。有些网络需要维数呈指数增长的内部指标;另一些网络虽然存储紧凑,缩并计算却很困难。因此,理解这一领域需要区分三个问题:网络能够表示哪些对象、如何求得网络中的张量,以及如何利用网络计算所需的量。
代数结构与图形记法
一个 阶张量的分量为 ,其中每个指标都在一个有限集合内取值。在数值计算中,张量通常被视为多维数组。从更内在的角度看,它属于若干向量空间的张量积;当需要区分协变指标与逆变指标时,其中也包括对偶空间。张量网络图记录的是这些因子的组织方式及其配对关系,而非各个分量的数值。
节点表示张量,与节点相连的每条线表示一个指标。内部连线连接两个张量指标,表示对它们进行缩并;开放线则对应结果张量的一个指标。例如,
表示两个三阶张量通过一个维数为 的内部指标相连。四个开放指标为 。整数 是这条键的维数,通常称为其键维数。不同内部连线的维数可以不同。
线性代数中常见的运算可以用简单的图形表示。两个二阶张量沿一个指标相连,就实现了矩阵乘法:
将同一个矩阵的两个指标连接起来,就得到该矩阵的迹。将两个互不连接的图并排放置,则表示外积。因此,一个图既规定了代数表达式,也给出了计算该表达式的一种可能方案,但图本身并不决定运算顺序。线条交叉通常不表示相互作用,而仅仅是绘图方式所致。
一种重要的冗余是规范自由度。如果张量 和 共享一条内部键,那么可以在一侧插入可逆矩阵 ,在另一侧插入 ,而不改变所表示的张量:
因此,许多不同的局部张量组合都能描述完全相同的整体对象。这种自由度有助于施加正交性条件并改善数值稳定性,但也意味着局部张量的分量通常不具有唯一的物理解释。
使用“秩”一词时需要谨慎。张量的阶数、将指标分组后得到的矩阵的秩、典范张量秩以及键维数,是不同的概念。具有许多指标的张量可能有紧凑的网络表示,而低阶张量也可能需要很大的内部维数。因此,讨论表示规模或计算成本时,必须明确说明网络的几何结构及其各条边的维数。
链式分解:矩阵乘积态与张量列车
研究最为深入的张量网络几何结构是链。在物理学中,其标准形式是矩阵乘积态(MPS);在数值数学中,与之密切相关的表示称为张量列车。对于由 个格点构成的开链,
边界处的键维数为一。如果每个物理指标的维数均为 ,每个内部键的维数均不超过 ,则存储量的阶为 ,而非 。
任何有限张量都可以通过反复进行奇异值分解(SVD),精确地转换成这样的链。首先,将张量重排为矩阵,使 与其余所有指标分离。该矩阵的左奇异向量构成第一个局部张量。接着,将奇异值与右奇异向量组合后再次重排,并继续这一过程。仅有精确性并不能保证实现压缩:对于一般张量,越靠近链的中心,所需的键维数就越大,呈指数增长。
在链的某一切分处,精确表示所需的最小键维数等于相应展开矩阵的矩阵的秩;在该展开中,一侧的所有指标合并为行指标,另一侧的所有指标合并为列指标。这赋予了链式网络格外清晰的数学解释:它们同时对一系列相互关联的展开矩阵进行分解,而每个键都记录了一种二分的复杂度。
舍弃较小的奇异值即可得到近似表示。如果某个展开矩阵的奇异值为 ,则其在弗罗贝尼乌斯范数下的最佳秩为 的近似,其误差平方为
依次进行截断便得到张量列车 SVD 算法。将各次切分处被舍弃的奇异值尾部合并考虑,就可以给出总误差的上界。尽管每一次矩阵截断对该矩阵而言都是最优的,但完整的顺序处理过程不一定能得到给定各阶秩下全局最优的张量列车。
链中的张量可以化为左规范形、右规范形或混合规范形。例如,左规范张量满足
在混合规范形中,归一化因子和非平凡的局部变分自由度集中在指定的中心。这些形式使范数、局部可观测量和截断的计算更加容易。在周期性边界条件下,通常改用矩阵乘积的迹来表示;由此形成的环既改变了缩并的计算成本,也改变了规范形的性质。
纠缠、关联与表示能力
在量子力学中,由多个子系统组成的系统,其纯态是张量积希尔伯特空间中的一个向量。乘积基下的振幅构成一个张量,因此,任何具有开放物理指标的张量网络都可以表示这样的态。网络的内部键限制了该态所能具有的量子纠缠模式。
将系统划分为子系统 和 时,施密特分解将归一化态写为
整数 称为施密特秩。沿开链矩阵乘积态(MPS)的单条键划分系统时,有 。因此,冯·诺依曼纠缠熵满足
这严格说明了为什么键维数较小的 MPS 无法准确表示所有多体态。
更一般地,如果切断一组内部边就能将 的物理指标与 的物理指标分开,那么施密特秩的上界就是这些边的维数之积。因此,
这是一个上界,而非等式:具体的张量还可能施加额外限制。这一关系将网络几何结构与纠缠联系起来,也解释了为什么沿空间晶格构建的网络能够自然地体现由边界决定的纠缠上界。
局域量子系统的许多基态满足纠缠面积律,即纠缠随区域之间边界的大小而非区域体积标度变化。对于局域空间为有限维、相互作用程有限且谱隙非零的一维系统,在标准的有界性假设下,面积律已得到证明。这类结果为 MPS 方法的成功奠定了基础,不过,仅凭熵的上界,还不足以完全确定达到给定近似精度所需的键维数。
关联提供了一种互补的诊断手段。对于平移不变的 MPS,由局域张量及其复共轭构成的转移算符决定两点关联函数。当其主特征值唯一且归一化为一时,次主特征值 通常定义了关联长度
其单位为晶格间距。维数固定且有限的转移算符只能产生有限类型的距离依赖关系。因此,一般的有限键维数 MPS 具有指数衰减的关联;而对于关联呈代数衰减的临界系统,要在长距离上获得越来越精确的描述,就需要不断增大键维数。不过,简并的主特征值也可能允许不衰减的关联存在,因此,有限键维数并不总是意味着有限的关联长度。
链之外的网络
链只是张量的一种排列方式。网络的几何结构应根据问题中的关联或计算结构来选择。树张量网络将张量放置在不含回路的分支图上。由于每条内部边都会将树分成两个部分,施密特分解和正交条件的处理仍然相对容易。树可以仅通过对数数量级的边连接相距很远的物理格点,但其实际效用很大程度上取决于如何将物理变量分配到叶节点上。
对于二维晶格系统,一种标准构造是投影纠缠对态(PEPS)。在正方晶格的每个格点上,张量通常具有一个物理指标,以及四个将其与相邻格点连接起来的虚指标。一种理解方式是,先在晶格的各条边上放置纠缠对,再施加从虚空间到物理空间的局域线性映射。对于晶格中的一个区域,穿过其边界的键数可直接给出一个面积律上界。
如果让一条链沿着二维晶格中的一条长路径延伸,有些关联和相就很难用这种链来描述,而 PEPS 能够容纳它们。PEPS 的主要困难在于计算:回路使其无法像开链那样直接化为规范形式,而计算范数或期望值通常需要进行近似缩并。物理维数和虚键维数只是计算资源描述的一部分;缩并环境的精度也必须得到控制。
多尺度纠缠重整化拟设(MERA)将张量组织成对应不同空间尺度的多个层次。其中的等距张量对自由度进行粗粒化,而称为解纠缠器的酉张量则在粗粒化之前消除选定的短程纠缠。与普通的树不同,这种结构还包含相邻分支之间的连接。对于指定的局域可观测量,由于等距约束,有界因果区域之外的张量会相互抵消,从而实现高效求值。尺度不变的构造可以描述代数衰减的关联,以及许多一维临界系统所特有的区间纠缠随区间长度呈对数增长的行为。
算符也可以用网络表示。矩阵乘积算符(MPO)是一种链式结构,每个格点都带有一个输入物理指标和一个输出物理指标。局域哈密顿量、密度算符和时间演化算符往往都可以写成或近似为这种形式。任意 MPO 并不能保证密度算符的正性,因此,热态和开放系统的计算也可以改用纯化方法,将密度算符表示为更大系统的纯态取部分迹所得的结果。
这些构造不能相互替代。缩并成本低的网络可能对关联施加严格限制;表达能力更强的网络则可能连归一化都难以计算。物理几何结构、对称性、关注的可观测量以及可用的计算资源,共同决定了应当采用哪种网络结构。
缩并算法与计算复杂度
张量网络的缩并,是指对其内部指标求和,得到以开放指标为指标的张量。表达式的结果与缩并顺序无关,但计算成本可能随顺序发生巨大变化。即使网络完全由小型局部张量组成,也可能产生非常大的中间张量。
举一个简单的例子,设矩阵 的维数分别为 、 和 。计算 所需的运算量正比于 ,而计算 所需的运算量正比于 。对于一般网络,同样的问题就变成了如何选择要合并和消去的指标集合。内存需求可能与算术运算次数同样重要,因为在进行下一次缩并之前,通常必须先存储中间张量。
缩并与图论有着根本性的联系。缩并可以通过消去顺序来描述,而树宽等宽度参数则刻画了其计算难度的重要方面。当指标维数有界时,如果度数有界的网络具有适当的小宽度分解,就存在这样的缩并算法:其指数级依赖体现在宽度上,而非直接体现在张量数量上。对于常规的两两缩并方案,网络的线图在缩并复杂度与树宽之间建立了一种尤其有用的联系。
树状网络可以通过从叶节点向内传递部分缩并结果来求值。相比之下,规则二维格点网络在消去过程中会形成很大的边界;随着系统线性尺寸增大,这些边界可能迫使中间张量的维数呈指数增长。一般张量网络的精确缩并在最坏情况下是计算上难以处理的,其标准表述包含 #P-困难的计数问题。这是对最坏情况的陈述,并不意味着每个含环的网络都难以缩并。
实用的精确方法将缩并路径搜索与切片相结合。切片通过固定选定的内部指标,分别计算由此得到的较小网络,再将它们的贡献求和。它可以降低峰值内存需求,并为并行计算创造机会,但也可能增加总运算量。因此,优化器会在浮点运算量、内存、通信开销和独立切片的数量之间进行权衡,而不是追求某一种通用的成本指标。
近似方法通过低秩截断来限制中间张量的维数。在二维情形下,常见方法采用边界矩阵乘积态、角转移矩阵或张量粗粒化。其可靠性取决于所考察的可观测量以及相关环境的谱。局部截断中较小的舍弃权重虽具有参考价值,却不能自动保证每个最终可观测量的误差都很小,尤其是在临界点附近,或近似步骤被反复执行多次时。
变分优化与时间演化
当局部张量被选取用于拟合数据、最小化能量或逼近随时间演化的状态时,张量网络就成为一种数值方法。由于所表示的张量以多重线性的方式依赖于各个局部分量,将除一个张量之外的所有张量固定,往往能把一个大型非线性问题化为易于处理的局部线性问题或特征值问题。反复进行这样的更新,就得到了一种扫描算法。
其中最典型的例子是史蒂文·R.·怀特于 1992 年提出的密度矩阵重整化群(DMRG)。在现代形式中,DMRG 通过变分优化,求取低能态的矩阵乘积态(MPS)近似。对于哈密顿量 ,它旨在最小化
选定一个单格点或双格点区块后,其外部的所有张量都被收缩为左、右环境。由此得到的有效哈密顿量使用迭代特征值求解器处理,而不显式构造为稠密矩阵。
双格点更新允许键维数发生变化:对这对张量完成优化后,通过奇异值分解(SVD)将其拆开,并保留选定的奇异值。单格点更新则保持预设的维数,计算成本较低,但也可能更容易受到搜索空间受限的影响。规范固定至关重要,因为冗余参数可能使局部范数问题的条件数变差。能量的收敛情况、舍弃权重、可观测量以及能量方差能够提供相互补充的信息;没有任何单一判据能在所有情况下保证算法已找到全局基态。
将局部哈密顿量的指数算符分解为短时间演化门,可以近似实现时间演化。在时间演化区块抽取(TEBD)中,双格点门作用于相邻的 MPS 张量,暂时增大一个键的维数,随后再进行压缩。除了截断误差,铃木–特罗特乘积公式还会引入时间步长误差。在取 的单位制下,实时间演化使用 ;虚时间演化则使用 ,当初态与目标基态所在扇区有非零重叠时,可借此抑制激发态分量。
另一种方法是将薛定谔方程投影到固定秩 MPS 流形的切空间上。这种含时变分原理能够保留演化中一些有用的几何性质,但对流形的限制也可能排除精确描述动力学所需的方向。单格点和双格点变体在调整键维数的能力上有所不同。
对于一般的张量网络和机器学习目标函数,自动微分可以对收缩程序进行求导。更新过程可以采用梯度下降、交替最小二乘法或约束优化。求导并不能消除网络收缩本身的计算成本,而且优化问题通常是非凸的。初始化、规范选择、局部极小值以及截断引起的变化,都会影响最终得到的解。
量子物质、统计力学与场论
对于简单的独立粒子描述失效的强关联量子系统,张量网络尤为有效。一维自旋链和相互作用电子的晶格模型是其中的典型例子。密度矩阵重整化群(DMRG)能够计算基态能量、关联函数、激发能隙和纠缠谱,所能处理的系统规模远大于存储完整波函数时可处理的规模。量子化学采用相关的矩阵乘积态(MPS)方法,将分子轨道视为格点;轨道的排列顺序会影响所需的键维数。
物理对称性可以直接编码到张量中。对于粒子数守恒的情形,每个指标都划分为若干荷扇区;除非流入与流出的荷满足相应的选择定则,否则张量元均为零。这种分块结构既能减少存储量和计算量,又能使态始终处于所需的扇区内。非阿贝尔对称性需要引入额外的表示论结构。费米子系统还需要一致地处理交换符号,这可以通过分次张量、费米子交换操作或到自旋变量的映射来实现。
经典统计力学提供了另一类直接应用。晶格系统的配分函数为
其中, 是在对玻尔兹曼常数作适当设定的单位制下的逆温度。如果能量由局域相互作用构成,玻尔兹曼权重就可以分解为局域因子的乘积。这些因子可以重新组织为张量,并对它们共享的指标求和,从而使 成为一个闭合张量网络。对于正方晶格伊辛模型,可以将边上的相互作用矩阵分解,再把分解所得的因子汇集到各个格点周围,形成四阶局域张量。
可观测量通过替换或修改选定的张量来计算。插入对应于磁化强度或能量的张量会得到一个新的缩并结果,再除以 ,便得到归一化的期望值。粗粒化算法反复合并局域张量,并压缩合并后扩大的指标。迈克尔·莱文和科迪·纳夫于2007年提出的张量重整化群提供了一套影响深远的系统性方案。后续方法则着力处理短程关联的累积,因为这种累积可能破坏尺度不变行为。
张量网络还将晶格模型与量子场论联系起来。欧几里得路径积分可以离散化为局域网络,而连续矩阵乘积态则无需预先设定空间晶格,就能描述某些一维连续系统。在临界晶格模型中,转移算符和依赖尺度的张量可以揭示标度维数及其他普适数据。
这些应用也有各自的局限。二维受挫量子系统需要计算代价高昂的缩并与优化。取连续极限时,需要控制截断、体积和正则化。张量网络方法在某些计算中无需对带符号的权重进行采样,但这并不意味着它为所有受蒙特卡洛符号问题影响的问题提供了普遍高效的解法。
量子电路、概率推断与机器学习
量子电路天然就是一个张量网络。初态是向量,量子门是带有输入和输出指标的张量,而测量振幅则通过收缩相应的边界指标得到。不同的收缩顺序对应不同的模拟策略:按时间顺序收缩类似于态向量演化,而按空间顺序或混合顺序收缩,则可能利用连接稀疏或纠缠有限的特点。
因此,仅凭量子比特数不足以预测模拟成本。电路深度、量子门的位置、连接结构以及所需的输出都很重要。计算某一个选定的振幅,可能比获得完整的输出分布便宜得多。反过来,即使电路层数相对较少,如果量子门在量子比特之间建立了广泛连接,其收缩宽度仍可能不利于计算。当所选链上各切分处的纠缠保持有限时,近似矩阵乘积态(MPS)模拟很有效;但在产生强纠缠的动力学过程中,其键维数可能迅速增长。
张量网络也与概率图模型密切相关。因子化的联合概率分布具有如下形式:
其中,每个因子依赖于变量的一个子集。对变量求和可以计算边缘概率和归一化常数 。这些运算都是张量收缩。如果一个变量出现在多个因子中,可以用复制张量来约束它在各处的取值相等。通过这种构造,因子图就转化为指标两两相连的普通张量网络。
这一对应关系将张量收缩与变量消元和消息传递联系起来。在树状因子图上,精确消息概括了整棵子树的信息。在带环的网络上,精确消元可能产生很大的中间因子,正如张量收缩会产生很大的中间张量一样。概率模型通常要求非负性和归一化,而量子网络使用复振幅并涉及干涉;两者共有的代数结构并不意味着它们具有相同的解释。
在机器学习中,张量网络用于参数化高阶特征、压缩大型权重数组,以及表示生成模型。张量列车层将经过形状重排的权重张量分解为多个小型核心张量,在中等秩即可满足需求时,能够减少参数量。这不仅改变了存储方式,也改变了模型类别:输入和输出坐标的排序与分组会引入结构性偏置。
一种受量子启发的生成模型构造将概率定义为
其中, 是张量网络振幅。链式结构可以使归一化和顺序采样在计算上易于处理。更复杂的架构可能具有更强的表达能力,却会失去这些计算优势。因此,评估压缩是否有用,需要同时考虑计算资源和预测性能,而不能只看参数量的减少。
历史发展与数学前沿
张量网络并非源自某一项单独的发明,而是由几条相互交汇的研究传统发展而来。多重线性代数中的图形方法、统计力学中的转移矩阵以及层次化近似都为其发展作出了贡献。罗杰·彭罗斯于1971年开展的抽象张量记号研究,推动了以相连图形表示张量缩并的方法,使其不必依赖显式的指标表达式。
矩阵乘积结构同样早已扎根于统计力学和量子自旋系统。1987年的阿弗莱克–肯尼迪–利布–塔崎构造给出了一个可精确描述的自旋链基态,产生了尤为深远的影响。1992年,马克·凡内斯、布鲁诺·纳赫特盖勒和莱因哈德·维尔纳发展了有限关联态理论,建立了与矩阵乘积态密切相关的严格框架。同年,怀特提出了密度矩阵重整化群(DMRG),展示了自适应低维描述在实际计算中的强大能力;此后,DMRG与矩阵乘积态(MPS)之间的关系成为算法发展的核心。
进入21世纪的第一个十年,张量网络突破了原有的一维应用范围。吉弗雷·比达尔提出了高效模拟弱纠缠量子计算的方法,并发展出时间演化分块抽取算法(TEBD),随后又提出多尺度纠缠重整化拟设(MERA)。弗兰克·费尔斯特拉特和J. 伊格纳西奥·西拉克于2004年提出了投影纠缠对态(PEPS)框架。在数值分析领域,层次化张量表示以及伊万·奥谢列杰茨于2011年提出的张量列车形式,将相关思想与高维近似、科学计算和数值线性代数联系起来。
从数学角度看,这一领域不仅研究算法,也研究由固定图结构和给定键维数所表示的张量集合。对于开链,张量列车秩的上界约束可以通过矩阵展开的秩上界来表达。由于矩阵秩的上界约束所定义的集合是闭集,因此在有限维赋范空间中,存在满足张量列车秩上界约束的最佳近似。其他张量网络几何结构则可能表现不同:参数序列可能发散,而其表示的张量却收敛,且极限张量未必仍能采用原先规定的表示形式。这些差异将张量网络与代数几何及近似理论联系起来。
对于链以外的网络,如何可靠地控制误差仍是一项持续存在的挑战。不确定性有三个彼此独立的来源:将表示限制在选定的网络族内、在该网络族内优化不充分,以及缩并过程中的近似。除非缩并精度和优化质量也同步提高,否则增大键维数只能解决其中一部分问题。对于非平凡的二维系统,这几方面的计算成本可能同时上升。
另一个前沿方向是长时间动力学。在许多全局量子猝变之后,纠缠会在相当长的一段时间内近似线性增长。由于MPS中一条键所能承载的熵最多为 ,此时若要保持精度,键维数可能需要随时间呈指数增长。其他网络几何结构、时空缩并方案、对称性限制以及面向可观测量的近似方法,都试图转而利用不同的结构,但它们并不能消除一般多体演化在最坏情况下的复杂性。