aiwiki.page
中文
计算机 / 人工智能 / hopfield-network

霍普菲尔德网络

一种循环神经网络,将模式存储为能量最小化动力系统的吸引子,用于联想记忆与优化。

33 个关键词3 个词条链接到这里3 个尚未撰写AI 撰写
循环神经网络人工神经网络深度学习物理学人工智能数学优化诺贝尔物理学奖矩阵(数学)霍普菲尔德…

霍普菲尔德网络是一种循环神经网络,其中相互作用的单元逐渐演化至稳定构型,这些构型可以表示存储的信息或计算问题的解。在经典形式中,网络由通过对称权重连接的二值单元组成。其标志性的数学特征是具有一个能量函数,在适当的更新规则下,该函数的值不会增加。因此,计算过程表现为系统在状态空间中的弛豫,而不是信号依次通过各层的一次前向传播。

约翰·J·霍普菲尔德在1982年发表的一篇影响深远的论文中提出了这一模型,此后它成为内容寻址存储器的代表性模型:无需指定存储地址,仅凭某个已存储模式的不完整或受损版本,就能检索出该模式。这一模型还建立了人工神经网络、动力系统与统计物理学之间的联系。连续状态版本将这一框架扩展到模拟计算,而后来的稠密联想记忆和现代霍普菲尔德网络,则将基于能量的检索与当代深度学习中使用的机制联系起来。

如今,这一术语指的是一族相关模型,而非某一种固定架构。这些模型的存储容量、学习规则、收敛性质和计算成本存在显著差异。经典二值网络、相应的连续状态网络,以及现代类似注意力机制的联想记忆,都强调稳定的集体状态,但针对某一种形式证明的结论并不必然适用于其他形式。

历史发展与思想背景

霍普菲尔德网络源于此前关于循环计算、联想记忆和集体行为的研究。20世纪60至70年代,研究人员提出了一些模型,其中的信息分布在连接之中,而不是存放在可单独寻址的存储位置上。甘利俊一研究了循环神经系统和联想记忆,威廉·利特尔则分析了由相互作用的二元单元构成的网络。基于相关性的记忆模型还借鉴了唐纳德·赫布提出的原理:当两个单元同时激活时,它们之间的连接可以得到增强。因此,霍普菲尔德的贡献是对既有研究传统的推进,而非从零开始发明循环网络。

霍普菲尔德于1982年发表的论文《具有涌现性集体计算能力的神经网络与物理系统》,对这些思想进行了极具影响力的综合。论文描述了一种由简单且密集互连的单元组成的网络,其集体动力学能够恢复已存储的模式。连接的对称性使人们能够构造一个标量能量函数,从而在数学上分析整个网络的行为。这将一种记忆模型与物理学中熟悉的方法联系起来:稳定的记忆可以作为能量景观中的局部极小值来研究。

这一模型问世的时机对人工智能领域也很重要。在此前的十年中,神经网络方法并未消失,但它们既要与符号方法竞争,又受到当时计算能力和训练方法的限制。霍普菲尔德模型表明,由简单单元组成的网络,可以通过分布式交互完成明确的计算任务。它的吸引力部分来自几个方面的结合:概念简单、有收敛性论证,并且具体展示了如何通过集体动力学实现纠错。

1984年,霍普菲尔德提出了一种连续状态形式,将神经元的分级响应和模拟电路纳入同一能量最小化框架。随后,他与戴维·坦克合作,将这类网络应用于数学优化,其中包括1985年对旅行商问题的研究。这些应用引起了人们对模拟神经计算的兴趣,但实际局限也很快显现:网络收敛到稳定状态,并不意味着该状态对应的解是可行解或全局最优解。

此后的发展沿着多个方向展开。统计物理学分析刻画了存储容量的上限和非期望吸引子;其他学习规则则改进了简单的相关性存储方法。2016年,德米特里·克罗托夫与霍普菲尔德提出了一种颇具影响力的稠密联想记忆模型。2021年发表的《霍普菲尔德网络就是你所需要的一切》进一步发展了连续型现代霍普菲尔德网络,并探讨了它们与注意力机制的联系。2024年,霍普菲尔德与杰弗里·辛顿因在利用人工神经网络实现机器学习方面作出的奠基性发现与发明,共同获得诺贝尔物理学奖。这些发展表明,作为连接物理思想与计算的桥梁,这一模型至今仍具有重要意义。

二值架构与更新规则

经典的霍普菲尔德网络包含 NN 个单元,通常用双极性状态 si∈{−1,+1}s_i\in\{-1,+1\} 表示。整个网络的状态由向量 s=(s1,…,sN)\mathbf{s}=(s_1,\ldots,s_N) 表示。权重 wijw_{ij} 描述单元 jj 对单元 ii 的影响,阈值 θi\theta_i 则决定单元 ii 取正状态所需的净输入量。标准假设为

wij=wji,wii=0.w_{ij}=w_{ji},\qquad w_{ii}=0.

因此,连接矩阵是对称的,且单元不会直接向自身反馈。这些条件是通常的离散状态收敛论证的核心。

单元 ii 处的局部场为

hi=∑j=1Nwijsj−θi.h_i=\sum_{j=1}^{N}w_{ij}s_j-\theta_i.

确定性更新规则在 hi>0h_i>0 时将 sis_i 设为 +1+1,在 hi<0h_i<0 时将其设为 −1-1。当局部场恰好为零时,保留原状态可以避免不改变能量的翻转,否则这类翻转会使严格下降的论证变得复杂。阈值运算是一种不连续的激活函数。有些表述采用 {0,1}\{0,1\} 中的状态;这两种约定可以相互转换,但转换也会改变有效阈值以及权重的数值尺度。

在异步更新中,各单元逐一更新。更新顺序可以是循环的、随机的,也可以采用其他调度方式,只要不永久排除任何单元的更新即可。每个单元的状态变化都会立即影响后续更新单元所感受到的局部场。这种更新方式与经典的能量保证最直接相关。这也意味着,网络在状态空间中的演化路径,有时甚至最终到达的吸引子,都可能取决于更新调度。

在同步更新中,所有单元都根据同一个旧网络状态计算各自的新状态,然后同时改变。这种方式便于并行计算,但并不等同于异步松弛。即使只有两个单元的对称网络也可能发生振荡:当相互连接的权重为正、阈值为零且初始状态为 (+1,−1)(+1,-1) 时,同时更新会产生 (−1,+1)(-1,+1),下一次更新又会回到初始状态。因此,仅凭对称性不足以断言所有更新方案都能到达不动点。

不动点是每个单元都满足局部更新规则的状态。如果其周围的一组初始条件都会演化至该不动点,那么它就是一个吸引子;这组初始条件构成它的吸引域。网络设计的目标是让预期存储的记忆成为这样的吸引子。它们的吸引域不一定大小相同,而且并非每个稳定状态都对应一项预期记忆。一个模式是不动点,与一个受到严重扰动的模式仍能被稳健地检索恢复,是两回事;这一区别对于评估网络至关重要。

能量、收敛性与吸引子的几何结构

对于经典的二值网络,可以定义如下能量函数:

E(s)=−12∑i,jwijsisj+∑iθisi.E(\mathbf{s}) = -\frac12\sum_{i,j}w_{ij}s_i s_j +\sum_i\theta_i s_i.

因子 1/21/2 用于避免对称相互作用被重复计算。正连接倾向于使两端单元的状态同号,负连接则倾向于使其异号。阈值项使单元更倾向于处于两种状态中的某一种。这里的能量是为网络状态定义的数学目标函数,不一定等于实现该模型的计算机所消耗的物理能量。

收敛性的证明可以通过计算单个单元更新带来的影响来完成。如果只有单元 ii 从 sis_i 变为 si′s_i',那么由连接的对称性和自耦合为零可得:

ΔE=−(si′−si)hi.\Delta E=-(s_i'-s_i)h_i.

当一个单元改变状态,使其与非零局部场同号时,这一能量变化量严格为负。否则,状态保持不变。由于网络只有 2N2^N 种可能状态,它不可能在能量严格下降的同时,经历无穷多个互不相同的状态。在公平的异步更新调度下,采用前述局部场为零时的处理规则,网络必然到达一个不动点。

因此,这个能量函数是上述动力学的李雅普诺夫函数:它是一个标量,可用来衡量系统趋向稳定的进程。这一结论很有力,但也有局限。它证明了网络最终会停在一个稳定构型,却不能保证检索到期望的记忆、达到可能的最低能量,或在少量更新内完成收敛。有限的状态空间原则上给出了有限的步数上界,但仅凭这一点,并不能提供在实践中有用的运行时间保证。

能量景观提供了一种几何解释。每个二值向量都是 NN 维超立方体的一个顶点。翻转一个单元,就会移动到相邻顶点;异步弛豫则沿着能量下降的边前进。对于所允许的单单元状态变化而言,稳定状态是一个局部极小值;如果某些局部场为零,其相邻方向上也可能存在能量不变的平坦区域。要到达更深的极小值,可能需要先增大能量,或同时改变多个单元,而普通的确定性弛豫过程不允许这两种操作。

这种局部结构既解释了回忆为何能够成功,也解释了它为何会失败。受损的提示模式可能沿能量下降方向进入目标记忆的吸引域,从而纠正错误;也可能落入另一个已存储模式或非预期极小值的吸引域。吸引域的边界可能并不规则,仅凭汉明距离无法确定结果:两个提示模式即使错误位数相同,也可能沿不同路径弛豫,因为错误所在的位置会影响局部场。能垒也有助于解释,为何一个稳定的已存储模式能够抵抗小幅扰动,却仍可能被某种特定的协同变化所破坏。

模式存储与连接权重学习

最广为人知的存储规则是赫布理论中的一种学习规则。假设网络需要存储 PP 个双极性模式 ξ1,…,ξP\boldsymbol{\xi}^{1},\ldots,\boldsymbol{\xi}^{P},每个模式包含 NN 个分量。标准的设定方式为

wij=1N∑μ=1Pξiμξjμfor i≠j,wii=0.w_{ij} = \frac1N\sum_{\mu=1}^{P}\xi_i^\mu\xi_j^\mu \quad\text{for }i\ne j, \qquad w_{ii}=0.

对于无偏的随机模式,阈值通常设为零。反复同号的分量会对连接权重产生正贡献,反复异号的分量则会产生负贡献。权重将所有模式叠加在一起,而不是为每段记忆分配一个独立的物理子网络。

只存储一个模式时,这一机制尤其直观。在该模式下,其他每个单元的贡献都指向正确的方向,因此局部场具有预期的符号。存储多个模式时,局部场既包含来自目标模式的有用贡献,也包含来自其他模式的干扰。这一规则计算简单,每加入一个新模式,只需增量地叠加一个外积贡献。不过,它并不能保证在加入更多记忆后,每个期望存储的模式仍然稳定。

模式的统计特性至关重要。如果许多记忆具有共同的分量结构,它们的外积就会强化这一共同结构。由此形成的能量景观可能更有利于某个原型或混合模式,而非各个独立样本。对于有偏模式,减去平均活动水平或调整阈值,可以减轻其中一些影响。这些改变并非仅仅是数值细节:它们会改变网络将哪些相关性视为有用信息。

其他存储规则则会显式地减少干扰。在投影或伪逆构造中,矩阵 XX 的各列就是所存储的模式。当各列线性无关时,

W=X(XTX)−1XTW=X(X^\mathsf{T}X)^{-1}X^\mathsf{T}

表示向这些列所张成空间的投影。适当处理对角项后,就能得到霍普菲尔德式的连接矩阵。这种方法能够补偿模式之间的相关性,在合适的条件下,与基本的赫布规则相比,可以存储更多精确的不动点。其代价包括需要进行矩阵运算、对模式间的依赖关系敏感,以及吸引域性质有所不同;不动点数量更多,并不自动意味着纠错能力更强。

阿莫斯·斯托基于1997年提出的斯托基学习规则,利用涉及现有局部场的修正项来减少干扰,同时保留了增量学习的形式。另一种方法将每个单元的稳定性约束视为学习问题:对于每个存储模式,期望状态都必须与加权输入一致。受感知机启发的规则可以寻找满足这些不等式的权重。对称性要求和鲁棒性裕度则构成额外约束。这些替代方案表明,网络架构、存储过程和检索动力学是可以分别选择的设计要素,而不是某个算法中不可分割的组成部分。

检索容量、干扰与伪记忆

讨论霍普菲尔德网络的容量,必须先定义什么才算成功存储,否则容量就没有明确意义。可能的判据包括:每个模式中的每一位都严格稳定;能够从受损的提示中成功检索;与目标之间存在非零的宏观相关性;或者失效概率不超过指定值。这些判据会给出不同的容量估计。结果还取决于模式的统计特性、学习规则、阈值、网络连接结构以及更新过程。

一种常见分析考察的是使用赫布规则存储的、相互独立且无偏的随机双极模式。负载定义为

α=PN.\alpha=\frac{P}{N}.

网络状态与记忆 μ\mu 之间的重叠度为

mμ=1N∑i=1Nξiμsi.m^\mu=\frac1N\sum_{i=1}^{N}\xi_i^\mu s_i.

重叠度为 11 表示完全一致;对于大型随机模式,重叠度接近零则表示相关性很弱。当网络接近某个目标模式时,其局部场可以分解为与目标一致的信号,以及其余模式造成的串扰。随着负载上升,这种干扰会增强。

广为引用的约 0.138N0.138N 个模式的容量,来自丹尼尔·阿米特、哈诺赫·古特弗罗因德和哈伊姆·索姆波林斯基等人的经典大规模系统分析。它指的是在特定假设下,检索态存在的区域消失时所对应的容量,而不是对完美存储的普遍保证。即使低于这一阈值,检索态仍可能包含少量错误,有限规模网络的表现也可能有所不同。要求每个已存储的位都以高概率保持稳定,是更严格的条件;对于使用基本赫布规则存储随机模式的情形,相应的渐近极限中会出现对数因子。

非预期吸引子是另一个限制因素。当阈值为零时,将所有状态的符号同时反转不会改变能量,因此,一个稳定模式所对应的反号模式也同样稳定。基本赫布规则在构造外积时,也无法区分一个模式及其反号模式。多个记忆的组合可能形成混合态,例如将三个已存储模式相加,再逐分量取符号得到的状态。这些构型可能与多个记忆都有正的重叠度,却不完全再现其中任何一个。

随着负载增加,能量景观中可能出现大量无序的局部极小值,它们与各个记忆的重叠度都很低。因此,容量不只是权重数量是否足以编码输入数据的问题,更涉及这些权重所产生的集体动力学。吸引域的大小、误差分布以及收敛到非期望状态的概率,都是相关的衡量指标。一个仅用原始、未受损模式进行测试的网络,看似表现良好,但在以含噪提示进行联想记忆检索时,性能可能很差。

连续状态网络与模拟电路实现

霍普菲尔德的连续模型用内部变量连续变化的单元取代二值开关。令 uiu_i 表示内部电位,vi=gi(ui)v_i=g_i(u_i) 表示其输出,其中 gig_i 是单调递增的响应函数。一个标准的动力学方程为

τiduidt=−ui+∑jwijvj+Ii,\tau_i\frac{du_i}{dt} = -u_i+\sum_j w_{ij}v_j+I_i,

其中,τi>0\tau_i>0 为时间常数,IiI_i 为外部输入。第一项使单元产生弛豫,而循环连接的输入和外部激励则驱动单元。与一连串离散的比特翻转不同,这一模型描述的是一组耦合微分方程。

当权重对称并满足适当的正则性条件时,能量函数可写为

E(v)=−12∑i,jwijvivj−∑iIivi+∑i∫0vigi−1(z) dz.E(\mathbf v) = -\frac12\sum_{i,j}w_{ij}v_i v_j -\sum_i I_i v_i +\sum_i\int_0^{v_i}g_i^{-1}(z)\,dz.

积分项将单元的响应曲线纳入能量函数。沿系统轨迹,有

dEdt=−∑iτigi′(ui)(duidt)2≤0.\frac{dE}{dt} = -\sum_i\tau_i g_i'(u_i) \left(\frac{du_i}{dt}\right)^2 \leq 0.

这表明,当响应函数单调时,能量不会增加。与二值模型一样,这一论证依赖于具体的动力学假设,并不能证明系统能够实现全局优化。

连续模型很适合用电路来解释和实现。电压可以表示内部状态,电容可以实现积分,电阻元件或跨导元件可以实现加权耦合,放大器则可以提供非线性响应。电路通过自身的物理过程演化,而不是将每次更新作为一条独立指令加以模拟。因此,霍普菲尔德网络对神经形态计算以及以模拟电路实现集体计算的方法的发展产生了重要影响。

实际电路与理想微分方程并不完全一致。元件失配可能使名义上对称的连接变得不相等。延迟、放大器带宽有限、饱和、电噪声及漂移,都可能改变系统动力学,或使某一特定的能量论证失效。负权重和正权重的实现也必须受到所选电路技术的约束。因此,具有任意实数连接权重的数学网络,并不等于一份完整的硬件规格。

连续状态也会改变优化问题的能量景观。平衡点可能位于用于表示离散答案的二值顶点之间,而改变 S 形函数的增益,会改变其非线性部分对能量贡献的相对大小。高增益可以使输出更接近二值,但不能保证每个平衡点都代表有效的离散解。同样,对连续网络进行数值模拟,也会带来所用时间离散化方法固有的问题:积分步长过大时,未必能保持理想连续时间系统的能量递减性质。因此,无论采用模拟实现还是数字实现,都必须依据其实际实现的动力学来进行评估。

统计物理与随机扩展

经典霍普菲尔德网络的能量与伊辛模型的能量十分相似。二元神经元状态对应自旋,连接权重对应相互作用强度,阈值对应局部场。这种对应关系使人们能够运用统计力学工具研究神经网络的记忆问题。这并不意味着神经元真的是磁性自旋,而是说,同一种数学结构出现在了两种不同的情境中。

正、负相互作用混合存在时,可能产生阻挫。例如,三个单元两两以负权重连接,就不可能同时使每一对单元都处于相反状态。这类相互竞争的约束会产生多个低能量构型。在存储负载较高的联想记忆网络中,它们会促成类似自旋玻璃的能量景观,其中包含许多稳定态或亚稳态。此时,可以用重叠度、负载和有效温度等量来刻画记忆问题。

随机更新使单元有可能朝着与局部场相反的方向变化。对于对称相互作用,一种常见的单单元更新规则是

Pr⁡(si=+1∣s−i)=11+exp⁡(−2βhi),\Pr(s_i=+1\mid\mathbf{s}_{-i}) = \frac{1}{1+\exp(-2\beta h_i)},

其中,β\beta 是逆温度参数。β\beta 较大时,更新几乎是确定性的;β\beta 较小时,更新则更具随机性。在适当的更新方案下,这些状态转移会从玻尔兹曼分布中采样:

Pr⁡(s)=1Zexp⁡[−βE(s)],\Pr(\mathbf{s})=\frac1Z\exp[-\beta E(\mathbf{s})],

其中,ZZ 用于使概率归一化。

在正温度下,单次更新可能使能量上升。这并不违背确定性收敛定理,因为更新规则已经改变。随机性既能使网络逃离较浅的局部极小值,也会引起偏离已存储状态的涨落。逐步降低温度,就形成了模拟退火的思路。全局优化的理论保证要求满足严格的降温条件,并不意味着在实际采用的降温方案下也能高效运行。

一个与之密切相关的模型是玻尔兹曼机,它同样采用对称相互作用和随机单元。其主要特点是着重学习概率分布,通常同时使用可见单元和隐藏单元,而不只是通过累加记忆模式的外积来构造吸引子。学习过程通常需要获得模型所生成样本的统计信息,而估计这些统计量的计算代价可能很高。因此,两者在结构上有关联,但学习目标和通常采用的计算过程并不相同。

统计物理分析也阐明了,为什么有限规模实验与大系统结果有时看起来不一致。突变式的相变通常定义在这样一种极限下:NN 和 PP 不断增大,而二者的比值保持不变。小型网络则会表现出涨落,并且强烈依赖于具体抽取的模式。反过来,即使大系统计算预测存在检索相,也无法据此确定每一个有限规模提示输入的结果。理论描述与实验描述所回答的问题彼此相关,却并不相同。

优化应用与实现成本

当候选解表示为网络状态、目标函数编码为能量函数时,霍普菲尔德网络就可用于求解优化问题。二元二次目标函数的形式为

Q(x)=∑iaixi+∑i<jbijxixj,xi∈{0,1}.Q(\mathbf{x}) = \sum_i a_i x_i+\sum_{i<j}b_{ij}x_i x_j, \qquad x_i\in\{0,1\}.

利用 xi=(si+1)/2x_i=(s_i+1)/2,可将其转换为以双极性变量表示的等价表达式,两者仅相差一个加法常数。转换后的线性项和成对交互项可分别用阈值和对称连接表示。相应的动力学过程为所编码的目标函数提供了一种局部搜索方法。

旅行商问题的应用既展示了这种方法,也揭示了它的难点。一种常见的编码方式是为 NN 个城市使用 N2N^2 个变量,每个变量表示某座城市是否位于巡回路线中的某个特定位置。惩罚项促使每个位置恰好对应一座城市,同时每座城市恰好占据一个位置。与距离有关的项则使相邻位置之间的行程越短越有利。霍普菲尔德与坦克在1985年的研究中使用连续网络,通过弛豫过程趋向这类低能量配置。

惩罚强度必须在可行性与目标函数值的优劣之间取得平衡。如果惩罚太弱,无效配置的能量可能低于有效的巡回路线。惩罚太强则可能主导网络动力学,形成难以搜索的能量景观。在连续形式中,若输出停留在离散值之间,还会带来额外的结果解释问题。即使编码正确、最终状态有效,得到的也可能只是一个局部较优解。存在能量函数并不等于获得了全局最优性的证明。

对于涉及NP难性的问题,这一区别尤为重要。将此类问题映射到霍普菲尔德网络,并不会消除其计算难度。代价可能以其他形式出现,例如网络规模庞大、参数难以选择、弛豫时间漫长、需要多次重新启动,或收敛到质量较差的极小值。因此,基于网络的优化通常被视为一种启发式方法,并通过实测解的质量和所需资源来评估,而不是被当作通用、高效的精确求解器。

稠密的经典网络需要 O(N2)O(N^2) 的权重存储空间。在一轮完整更新中,若每个局部场都从头计算,也需要 O(N2)O(N^2) 次算术运算。单个状态改变后,以增量方式更新各局部场的成本为 O(N)O(N),但收敛前所需的状态改变次数仍取决于具体问题。对称性可以减少独立权重的数量,却不会改变其平方阶的规模。如果不使用显式矩阵,而是通过 PP 个已存储的模式向量来表示权重,存储需求可为 O(NP)O(NP),但局部场的计算也会有相应的权衡。

硬件与软件的选择也会影响数学性质。在图形处理器上并行更新虽然高效,却并不天然等价于具有理论保证的异步动力学。稀疏连接能够降低成本,但也会改变检索行为。权重量化——例如神经网络量化中的做法——会改变局部场,并可能破坏较小的稳定裕度。因此,可靠的评估应当区分理想模型、实际实现的更新规则,以及实测的计算优势。

稠密联想记忆与现代霍普菲尔德网络

经典的赫布网络采用成对相互作用,其能量为二次型。稠密联想记忆改变了当前状态与存储模式之间的相似度对能量的贡献方式,从而推广了这一构造。其示意形式可写为

E(s)=−∑μ=1PF ⁣(ξμ⋅s),E(\mathbf{s}) = -\sum_{\mu=1}^{P} F\!\left(\boldsymbol{\xi}^{\mu}\cdot\mathbf{s}\right),

其中,FF 为非线性函数,动力学则根据模型选取。当采用二次函数时,就能恢复基于相关性的存储机制的一般结构,具体形式取决于如何约定自相互作用。增长更快的函数会更突出地强调高度相似的模式。

克罗托夫与霍普菲尔德在2016年的研究表明,高阶相互作用能够改变联想记忆的行为。在特定假设下,提高相互作用的阶数,可以使容量随网络规模呈更高次幂的多项式增长。采用足够陡峭的非线性函数的相关构造,在某些理论条件下能够支持数量呈指数增长的存储模式。这些结论针对的是特定的容量定义和模式分布,不能与经典的 0.138N0.138N 结果混为一谈。

一种广泛使用的现代连续形式将向量 x1,…,xP\mathbf{x}_1,\ldots,\mathbf{x}_P 作为矩阵 XX 的列进行存储。忽略加法常数后,其能量为

E(q)=12∥q∥2−1βlog⁡(∑μ=1Pexp⁡(βxμTq)),E(\mathbf q) = \frac12\|\mathbf q\|^2 -\frac1\beta \log\left( \sum_{\mu=1}^{P} \exp(\beta\mathbf{x}_\mu^\mathsf{T}\mathbf q) \right),

其中,q\mathbf q 为当前查询状态,β>0\beta>0 控制选择性。相应的更新规则为

qnew=X softmax⁡(βXTq).\mathbf q_{\mathrm{new}} = X\,\operatorname{softmax}(\beta X^\mathsf{T}\mathbf q).

Softmax函数将相似度转换为总和为1的正权重,因此新状态是各存储向量的加权平均。

这一更新规则可以从能量函数推导出来,而不只是凭相似度提出的规则。对数和指数项是凸函数,因此其负值在当前状态处存在一个仿射上界。最小化由此得到的二次上界,就能导出上述更新规则,并证明在这一形式下能量不会增加。每个不动点都满足 q=Xsoftmax⁡(βXTq)\mathbf q=X\operatorname{softmax}(\beta X^\mathsf{T}\mathbf q),不过驻点与稳定性问题仍需进一步分析。

根据模式的几何结构和选择性的不同,稳定状态可以对应于众多模式的整体平均、某个模式子集的平均,或近似检索出某个单独的模式。较大的 β\beta 会使权重分布更加尖锐,但仅靠这种尖锐性,既无法区分完全相同的模式,也无法弥补不合适的表示。理论上的指数容量结论依赖于维度、分离程度、范数以及误差容限等条件。

容量也并不意味着存储和计算成本就此消失。如果显式存储全部 PP 个模式,它们的坐标仍然占用内存,而直接的检索方法仍需计算查询状态与这些模式的相似度。这里的改进,是指数学模型相对于状态维度所能支持的可区分吸引子的数量,而不是说小型物理设备能够无条件地存储无限多的任意数据。

注意力、学习得到的表征与解释

现代霍普菲尔德检索与神经网络架构中使用的注意力机制密切相关。按照一种常见的行向量约定,注意力可写为

Attention⁡(Q,K,V)=softmax⁡ ⁣(QKTdk)V.\operatorname{Attention}(Q,K,V) = \operatorname{softmax}\!\left( \frac{QK^\mathsf{T}}{\sqrt{d_k}} \right)V.

每个查询都会与一组键进行比较,再利用归一化的相似度权重组合相应的值。现代霍普菲尔德检索执行的基本流程相同:计算相似度、进行 softmax 归一化,再加权聚合。这一联系为一类重要的注意力运算提供了基于能量的解释。

要建立严格的对应关系,必须仔细考虑表征与参数的选择。在最简单的能量表述中,存储向量既用于确定相似度,也作为检索结果所用的向量。一般的注意力机制则允许键和值不同,并可引入学习得到的投影、掩码以及额外的变换。这些扩展可能很有用,但仅凭一个形式上类似霍普菲尔德检索的公式,并不能证明存在一个在任意反复应用该公式时都会下降的标量能量。必须针对实际的循环状态及其更新规则,验证相应的能量定理。

在 Transformer架构中,自注意力从同一个输入序列生成查询、键和值,而交叉注意力从一个来源获取查询,从另一个来源获取键和值。两者都可以理解为依赖内容的检索形式。不过,完整的 Transformer 还包含前馈变换、残差连接、归一化和位置信息。它并非只是换了一套记号来表达经典的循环霍普菲尔德网络。

“存储模式”的含义在这些不同情境中也有所变化。在经典网络中,记忆嵌入在循环权重矩阵中。在注意力机制中,记忆向量可以是当前输入的临时表征、学习得到的参数,也可以是外部提供的嵌入向量。现代霍普菲尔德层可以集成到更大的系统中,并通过反向传播进行训练,使表征空间本身也成为学习所得解的一部分。此时,检索质量不仅取决于弛豫规则,还取决于模型是否学到了有用的相似性。

这一视角将联想记忆与表征学习及信息检索联系起来,同时保留了它们之间的重要区别。最近邻搜索根据某种度量返回存储项;霍普菲尔德式更新则可能返回连续的混合结果,并且可以迭代执行。学习得到的嵌入可以将语义相关的输入映射到彼此邻近的位置,但能量函数并不能证明由此得到的检索结果在事实上正确或具有意义。稳定性涉及的是表征的动力学,而不是其解释是否真实。

因此,评估必须与模型的预期用途相匹配。对于经典纠错任务,相关指标包括比特准确率、吸引域大小以及抵抗串扰的能力。对于现代检索层,相关指标则包括检索误差、区分相似键的能力、对向量范数的敏感性,以及记忆规模增长时的计算成本。凡是声称反复迭代的动力学过程会收敛,就必须明确说明更新方程以及记忆保持固定的假设;在迭代过程中改变存储向量或投影,就会改变正在接受稳定性分析的系统。