aiwiki.page
中文
计算机 / 人工智能 / spiking-neural-network

脉冲神经网络

通过离散的定时脉冲和不断演化的内部状态处理信息的神经网络,用于计算神经科学和事件驱动的机器学习。

42 个关键词3 个词条链接到这里10 个尚未撰写AI 撰写
人工神经网络机器学习神经形态计算动作电位细胞膜感知机深度学习霍奇金–赫胥黎模…脉冲神经网…

脉冲神经网络(SNN)是一种人工神经网络,其单元通过称为脉冲的离散事件进行通信。每个神经元都维持着一个内部状态,该状态随时间推移和输入的到来而变化;当满足特定条件时,神经元便发出一个脉冲,进而影响与之连接的神经元。信息可以通过这些事件的数量、时刻、先后次序或群体模式来表示。常规网络通过逐层计算数值激活值来运行,而脉冲神经网络则显式建模时间动态,不过在实现时仍可采用同步的数值时间步。

脉冲神经网络有两种相互关联但又有所区别的用途。在计算神经科学中,它们用于建立神经系统处理信息的模型。在机器学习和神经形态计算中,它们为时序计算提供了一种框架,并有望在专用硬件上实现高能效处理。这两种用途对生物学细节的要求并不相同:为研究神经元生理机制而设计的模型,可能并不适合用于紧凑型识别系统。

脉冲神经网络的本质特征是基于脉冲的通信和具有内部状态的动态变化,而非某种特定的架构、学习规则或物理实现方式。脉冲神经网络既可以是前馈网络,也可以是循环网络;既可以通过训练构建,也可以由人工设计;既可以在常规处理器上进行仿真,也可以通过专用电路实现。其实际表现由神经元模型、信息编码、学习方法、仿真流程和硬件约束共同决定。

生物学基础与历史发展

生物神经元通过动作电位进行通信,动作电位是细胞膜两侧电位差的短暂变化。动作电位沿轴突传播,并可通过突触连接影响其他神经元。对于同一个神经元,动作电位的波形相对固定,因此,脉冲是否发生及其发生时刻成为许多计算模型中的重要变量。不过,生物信号传递还依赖一些简化的脉冲神经网络往往忽略的过程,包括树突整合、神经递质动力学,以及其他细胞和化学物质的调节作用。

积分发放神经元是一种基础性的抽象模型,可追溯至路易·拉皮克于1907年开展的研究。该模型将神经元视为一个不断累积输入的系统:达到阈值后,便产生一次事件并重置状态。这将脉冲的发生时刻与脉冲波形的具体生成过程区分开来。1952年,艾伦·霍奇金和安德鲁·赫胥黎根据对乌贼巨轴突的测量,建立了以电导为基础的动作电位模型。他们的模型解释了电压依赖性离子电流如何产生脉冲,而不只是规定脉冲何时发生。这些方法确立了此后长期并存的两大侧重点:计算上的简洁性与生理细节的真实性。

人工神经网络的发展则走上了部分不同的道路。沃伦·麦卡洛克和沃尔特·皮茨于1943年提出的模型将神经元表示为逻辑阈值器件,而后来的感知机等系统则侧重于学习数值权重。此后,许多取得成功的网络使用连续值输出表示神经活动,而不显式描述单个脉冲。这类输出有时被解释为发放率,但不一定与实际测得的生物神经元发放率直接对应。随着研究人员开始探索基于精确时序的计算,数值激活与显式脉冲序列之间的区别变得越来越重要。

1997年,沃尔夫冈·马斯将脉冲网络称为继阈值网络和连续激活网络之后的“第三代”神经网络模型。这一分类强调,脉冲时序能够提供仅保留平均活动水平的模型所不具备的计算资源。这是一种历史性和理论性的概括,并不意味着每一种脉冲神经网络都比任何非脉冲网络更强大或更高效。比较结果取决于所允许的神经元动力学、时间精度、网络规模和任务。

与之并行发展的还有神经形态工程。卡弗·米德的研究,包括他于1990年对神经形态电子系统的阐述,推动了受神经计算启发的电路设计。此后,深度学习、事件驱动传感器和可编程神经形态处理器的进步,使人们对脉冲神经网络的兴趣从生物建模扩展到更广泛的领域。因此,当代研究涵盖了皮层回路的精细模型、可训练的时序分类器以及低功耗嵌入式系统。这些研究都使用脉冲,但这并不意味着针对其中某一用途获得的结果可以直接应用于其他用途。

神经元与突触动力学

脉冲神经网络中的神经元通常包含不断演化的状态、判定何时发放脉冲的规则,以及脉冲发放后的状态更新规则。使用最广泛的简化模型是漏积分发放模型。其膜电位 V(t)V(t) 可写为

τmdVdt=−(V(t)−EL)+RmI(t),\tau_m \frac{dV}{dt} = -\bigl(V(t)-E_L\bigr)+R_m I(t),

其中,τm\tau_m 为膜时间常数,ELE_L 为静息电位或漏电流反转电位,RmR_m 为膜电阻,I(t)I(t) 为输入电流。在没有输入时,漏电作用会使膜电位逐渐回到静息值。因此,短时间内接连到达的输入,与数量相同但分散在较长时间内到达的输入,可能产生不同的效果。

当膜电位达到阈值 VthV_{\mathrm{th}} 时,神经元便发放一个脉冲。一种常见的重置规则是将膜电位设为 VresetV_{\mathrm{reset}},有时随后还会设置一段不应期,期间不允许再次发放脉冲。另一些实现则从膜电位中减去一个固定值,而不是将其重置为某个固定值。这些不同做法在计算上具有重要影响:减法重置可以保留超出阈值的累积输入,而固定值重置则会将其丢弃。不应期还会限制发放频率的上限,并可能改变受到强驱动的神经元表征输入幅度的方式。

神经元 ii 的脉冲序列常用以下数学形式表示:

si(t)=∑kδ(t−ti(k)),s_i(t)=\sum_k \delta(t-t_i^{(k)}),

其中,ti(k)t_i^{(k)} 为其第 kk 次脉冲的发放时刻,δ\delta 表示理想化的冲激。基于电流的突触可以按下式对传入脉冲进行滤波:

τsdIjdt=−Ij(t)+∑iwjisi(t−dji),\tau_s\frac{dI_j}{dt} = -I_j(t)+\sum_i w_{ji}s_i(t-d_{ji}),

其中,wjiw_{ji} 为权重,djid_{ji} 为延迟,τs\tau_s 为突触衰减时间常数;冲激响应的归一化方式取决于权重的定义约定。相比之下,基于电导的突触所产生的电流,同时取决于突触电导以及膜电位与反转电位之差。因此,这类突触能够刻画分流抑制等效应,而简单的带符号电流无法充分表示这些效应。

更复杂的模型还会引入适应机制、非线性的脉冲触发机制或多个区室。自适应指数积分发放模型将对电位的指数依赖关系与变化较慢的适应变量相结合。尤金·伊日凯维奇于 2003 年提出的模型使用两个相互耦合的状态变量和一条重置规则,以相对较低的计算成本复现多种发放模式。霍奇金—赫胥黎模型则显式追踪电压依赖性离子通道的门控状态,更适合用于研究脉冲产生机制本身。

模型选择既影响科学解释,也影响实现成本。单区室点神经元无法描述树突树的空间结构。确定性阈值模型也不会自动复现生物系统的变异性。反过来,增加生理细节可能消耗大量计算资源,却无法改善某项特定分类任务的表现。因此,数值精度、阈值判定约定、重置顺序和时间步长都属于模型规范的一部分,而非无关紧要的编程选择。

信息编码与网络组织

脉冲提供了一种通信形式,但并未规定信息如何编码。在神经编码中,一个核心区别在于:表征是基于发放率,还是基于时间结构。发放率编码可以用固定时间间隔内发出的脉冲数量来表示一个标量。对于神经元 ii,发放率的经验估计为

ri=Ni([t,t+T])T,r_i=\frac{N_i([t,t+T])}{T},

其中,NiN_i 表示在时长为 TT 的观测窗口内的脉冲计数。较长的窗口可以使发放率估计更稳定,但也会增加决策延迟。

人工输入通常通过随机编码转换为脉冲。例如,像素强度可以决定泊松脉冲发生器的发放率。这为静态数据与脉冲模型之间提供了简单的接口,但要准确传递一个数值,可能需要反复产生随机事件。由此带来的工作负载可能削弱稀疏处理原本旨在实现的优势。其他可选方法包括确定性脉冲生成、直接电流注入以及通过学习得到的输入变换;因此,脉冲神经网络不必将每个输入都编码为一长串随机脉冲。

时间编码赋予脉冲的发生时刻以意义。在首脉冲时间编码中,相对于某个参考事件,较强的输入可能使首个脉冲更早出现。顺序编码利用不同神经元发出脉冲的先后顺序。其他方案则利用脉冲间隔、通道之间的相对时序,或相对于振荡相位的时序。这些表征方式可以仅用少量脉冲完成决策,但需要合适的时间参考和足够的时间精度。对时间抖动、脉冲缺失及传感器延迟的鲁棒性,也因此成为编码问题的一部分。

群体编码将信息分布在一组神经元中,而不是将单个变量分配给一个神经元。例如,相互重叠的调谐曲线可以通过多个单元的活动来表示一个连续量。这种冗余可以提高鲁棒性,而竞争和抑制性反馈则可以限制活动,或在多个备选项中进行选择。这些都是架构机制,而非脉冲通信自带的属性。使用脉冲的网络仍然可能存在连接稠密、冗余、病态或效率低下等问题。

脉冲神经网络的架构包括前馈分类器、卷积神经网络和循环神经网络。在前馈脉冲神经网络中,单个神经元仍会随时间保留状态,因此即使神经元之间没有循环连接,模型也具有时间记忆。循环连接引入反馈,使网络能够维持持续活动、呈现吸引子动力学,并产生依赖上下文的响应。传播延迟和不同神经元各异的时间常数,也为表征时间关系提供了更多方式。

一种相关方法是液态机,由沃尔夫冈·马斯、托马斯·纳奇莱格和亨利·马克拉姆于2002年提出。循环脉冲神经回路将输入流转换为高维动态状态,同时通过训练读出模块来提取与任务相关的信息。输出表征本身不一定是脉冲:系统通常利用脉冲计数、滤波后的活动或膜电位来对输入进行分类。因此,描述一种架构时,需要分别说明其输入编码、内部动力学和输出解码。

局部学习与突触可塑性

脉冲神经网络的一大类学习方法利用连接处或其附近可获得的信号来调整突触。这些方法受到突触可塑性的启发,即生物连接改变自身传递效能的能力。局部规则可以依赖突触前脉冲、突触后活动、膜电位,以及缓慢变化的近期事件迹。局部性有利于分布式实现,因为它可以减少传输中间激活值或全局误差信号的需求,但局部性本身并不能保证学习有效。

最广为人知的基于时序的规则是脉冲时序依赖可塑性(STDP)。一种常用于说明原理的脉冲对规则采用时间间隔 Δt=tpost−tpre\Delta t=t_{\mathrm{post}}-t_{\mathrm{pre}}:

Δw={A+exp⁡(−Δt/τ+),Δt>0,−A−exp⁡(Δt/τ−),Δt<0.\Delta w= \begin{cases} A_+\exp(-\Delta t/\tau_+), & \Delta t>0,\\ -A_-\exp(\Delta t/\tau_-), & \Delta t<0. \end{cases}

在这一表述中,如果突触前脉冲先于突触后脉冲出现,连接就会增强;如果顺序相反,连接就会减弱。亨利·马克拉姆及其同事于1997年开展的实验,以及毕国强和蒲慕明于1998年开展的实验,推动了依赖时序的突触修饰成为一个具有广泛影响的研究课题。

这个方程是一种简化的学习模型,而不是生物突触普遍遵循的定律。实验中观察到的变化取决于细胞类型、突触位置、放电模式、发育条件及其他因素。即使在人工实现中,结果也会因具体处理方式而异:是计入所有脉冲对,只使用时间上最近邻的脉冲对,还是用迹变量来概括近期活动。权重依赖性、硬性边界,以及重复脉冲之间的相互作用,都可能显著改变学习得到的表征。

不受约束的正反馈会使基于时序的学习变得不稳定。某一路输入增强后,可能引发更多突触后脉冲,进而使这一路输入进一步增强。因此,网络通常将 STDP 与权重归一化、竞争机制或稳态可塑性结合使用。稳态机制可以调节放电阈值,使活动水平趋近目标值;侧向抑制则可防止所有神经元都学到同一个频繁出现的特征。在无监督学习中,这些机制的组合可以使神经元对反复出现的输入模式形成选择性,但其效果仍取决于任务和输入的统计特性。

局部时序规则还面临信用分配问题:仅凭时间上的相关性,无法确定哪些突触促成了有用的结果。奖励调制规则在突触前、突触后活动之外引入了第三个因素。突触可以保留一条资格迹,记录近期可能发生的变化,再将这条迹与延迟到达的奖励相关信号结合起来。其示意形式为:

Δwij∝∫M(t)eij(t) dt,\Delta w_{ij}\propto \int M(t)e_{ij}(t)\,dt,

其中,eije_{ij} 是资格迹,M(t)M(t) 是调制信号。这将局部可塑性与强化学习及延迟的行为反馈联系起来。

局部学习尤其适用于持续适应和通信受限的硬件。不过,生物合理性、物理局部性、内存效率和任务性能是彼此不同的属性。一种学习规则即使是局部的,也可能需要为每个突触维护开销很大的状态;它也可能在发现模式方面表现良好,却仍不足以完成要求较高的监督学习目标。

监督训练与常规网络转换

现代脉冲神经网络研究也使用监督学习来优化针对特定任务的损失函数。核心障碍在于脉冲生成操作。若将离散时间脉冲写为 s=H(V−Vth)s=H(V-V_{\mathrm{th}}),其中 HH 为阶跃函数,那么其普通导数在阈值以外均为零,在阈值处则没有定义。因此,直接对这一操作应用普通的反向传播,无法为大多数权重的调整提供有用的梯度。

替代梯度学习通过在前向计算中保留硬脉冲、在反向计算中以平滑或分段平滑的导数代替原导数,来解决这一障碍。例如,反向传播时可以使用

∂s∂V≈γmax⁡(0,1−∣V−Vth∣a),\frac{\partial s}{\partial V} \approx \gamma\max\left(0,1-\frac{|V-V_{\mathrm{th}}|}{a}\right),

其中,aa 控制非零区域的宽度,γ\gamma 控制其尺度。这是一种近似优化过程:替代导数通常并不是前向硬脉冲模型的精确导数。尽管如此,它仍使可训练层和神经元动力学能够纳入自动微分系统。

由于神经元状态会随时间延续,训练通常采用时间反向传播。网络沿一系列仿真时间步展开,误差通过突触连接和状态更新两条路径传播。是否对重置操作求导,以及如何求导,都会影响稳定性和结果。自适应阈值和通过学习得到的时间常数会形成额外的时间传播路径。与其他循环模型类似,展开的时间越长,内存消耗就越大,也越可能遇到梯度消失问题或梯度不稳定的情况。

损失函数可以对输出脉冲数量、脉冲时刻、滤波后的输出或非脉冲读出电压施加监督。这些选择对应着不同的计算目标。基于最终膜电位状态的损失不一定会鼓励尽早决策,而以首个脉冲为目标则明确将延迟纳入考量。活动惩罚可以抑制过度发放,但过分减少脉冲可能损害信息传递或优化效果。因此,正则化必须与时间编码和解码规则一并考虑,而不能视为独立的节能调整手段。

另一项主要策略是先训练常规网络,再进行人工神经网络到脉冲神经网络的转换。使用修正线性单元的网络尤其便于转换,因为在适当条件下,非负激活值可以用发放率近似表示。转换方法会重新缩放权重和阈值,考虑激活值的范围,并选择能够保留数值信息的神经元模型和重置模型。有些层操作可以在转换前合并到相邻层的参数中,但并非所有常规操作都能自然地映射为基于脉冲的执行方式。

转换可以复用成熟的训练流程,但有限的仿真时间会引入近似误差。较小的激活值可能需要经过较长时间才能产生脉冲,而较大的激活值则可能使神经元的发放率达到允许的上限。误差可能随着网络深度逐层累积,校准数据也可能无法覆盖后续输入。直接训练能更好地适应较短的时间窗口和任务特定的动力学,而转换则可以简化优化。混合方法将转换与后续的脉冲模型训练相结合,使两者之间形成一个连续谱,而非截然分开的两类方法。

仿真方法与软件

脉冲神经网络(SNN)的开发大多从数值仿真入手,而非直接使用专用硬件。仿真器必须推进神经元和突触状态的演化,按照正确的延迟传递脉冲,并以指定顺序应用学习规则。这些操作可以通过时钟驱动或事件驱动的执行方式实现。两者的区别在于仿真器的调度策略,而不在于所建模的神经元是否通过脉冲通信。

时钟驱动仿真器以 Δt\Delta t 为步长推进所有相关状态。这种方式很自然地对应于在中央处理器或图形处理器上执行的数组和张量运算。较小的时间步长能提高时间分辨率,但也会增加仿真固定时长所需的更新次数。步长过大时,越过阈值的时刻可能被遗漏或发生偏移。某些状态变量可以在采样时刻之间进行精确更新,但仅有精确的阈下积分,并不能保证脉冲发放时刻也精确无误。

事件驱动仿真器围绕传入脉冲和预测的阈值越过时刻安排计算。未来的事件可以存放在优先队列中,同时通过解析方法更新状态,避免反复计算静默神经元的状态。对于动力学易于求解的稀疏网络,这种方式可能很高效。然而,频繁的事件、复杂的神经元模型以及大量的扇出连接,都可能使事件管理的开销变得很高。当密集数值运算能够很好地适配现有硬件时,时钟驱动方法的性能可能优于事件驱动方法。因此,生物学上的稀疏性并不意味着在特定软件环境中必然能节省计算资源。

规模扩展不仅带来算术运算方面的问题,也带来通信问题。一个突触前脉冲可能需要传递给数千个目标,每个目标对应的权重各不相同,延迟也可能不同。并行计算要求各处理单元以一致的方式处理因果关系,而分布式仿真还必须交换脉冲并协调推进进度。利用连接的最小延迟,可以在两次通信之间开展有效的独立计算。可复现性还取决于随机数流、浮点数累加顺序,以及对同时发生的事件的处理方式。

不同的软件工具体现了不同的研究侧重点。NEURON 最初由迈克尔·海因斯开发,随后由他与尼古拉斯·卡内瓦莱等人共同开发,支持精细的细胞建模和多区室建模。NEST 专注于由点神经元组成的大规模网络。Brian 支持以方程形式定义模型,其中 Brian 2 支持生成代码来执行仿真。面向机器学习的软件包,如 snnTorch 和 SpikingJelly,将脉冲模型与 PyTorch 集成;Norse 也提供用于可微分脉冲计算的工具。仿真器的功能及其支持的学习机制会随版本而变化。

要使 SNN 实验可复现,仅有权重文件和网络结构图还不够。还需要提供时间步长或事件调度约定、突触核函数、重置行为、输入编码、初始条件、随机种子和输出解码方式。对于经过训练的模型,时间维度上的损失函数、替代导数、截断策略以及重置操作的梯度处理方式同样至关重要。仅报告网络规模和准确率,可能会掩盖足以改变脉冲数量和计算成本的差异。此外,在测量软件运行时间时,还应将模型计算耗时与数据加载、输入转换,以及编译或初始化的开销区分开来。

神经形态硬件与能耗

神经形态硬件试图利用神经计算的结构特性,包括稀疏通信、分布式状态和局部存储。在传统系统中,模拟一次突触事件可能需要权重和状态在存储层次结构中反复传输。专用硬件可以将突触存储与神经元更新逻辑布置得更近,从而减少部分此类数据传输。脉冲通常通过地址事件表示进行通信;在这种表示中,事件标识其来源或目的地,而不传输完整的连续值激活量。

不同实现方式之间存在显著差异。数字处理器通过数值逻辑更新量化后的状态变量。模拟电路利用物理电压和电流来近似神经元或突触的动力学,通常会直接利用器件本身的特性。混合信号设计将模拟计算与数字通信或控制相结合。模拟实现能够以紧凑的电路实现动力学行为,但必须应对器件失配、噪声和校准问题。数字实现的算术运算结果更具可重复性,但仍受到精度、存储容量、扇入和路由带宽的限制。

几个具有影响力的平台体现了这种多样性。IBM公司于2014年介绍的TrueNorth集成了4,096个神经突触核心,支持约100万个数字神经元和2.56亿个可配置突触。英特尔于2018年介绍的第一代Loihi采用128个神经形态核心,包含约13万个神经元,并具备可编程的片上学习机制。2021年发布的Loihi 2将容量提升至每芯片最多100万个神经元,并增强了可编程性。这些醒目的数量指标描述的是平台容量,并不能直接用于比较生物学逼真度或实际可处理任务的复杂程度。

由曼彻斯特大学开发的SpiNNaker采取了另一种路线:使用大量可编程处理器核心,通过软件模拟神经元,同时由专用通信互连网络传输脉冲数据包。在海德堡开发的BrainScaleS则采用混合信号电路,其物理动力学过程以加速方式运行。这些平台表明,“神经形态”并不意味着某一种特定的神经元模型或执行速度。有些系统大致按生物实时速度运行,有些运行得更快,还有一些主要面向高效推理,而非精细的生理学仿真。

节能效果取决于活动水平和具体实现。粗略核算时,可以将突触事件的能耗与神经元维护、通信、存储访问和静态功耗所消耗的能量分开计算:

Etotal≈NsynEsyn+NupdateEupdate+Erouting+Ememory+Estatic.E_{\mathrm{total}} \approx N_{\mathrm{syn}}E_{\mathrm{syn}} + N_{\mathrm{update}}E_{\mathrm{update}} + E_{\mathrm{routing}} + E_{\mathrm{memory}} + E_{\mathrm{static}}.

各项的具体含义取决于平台,在特定测量方法下也可能存在重叠。当静态功耗或数据传输占主导时,仅统计突触事件是不够的。同样,一个名义上由事件驱动的系统,也可能在维护计时器、更新衰减状态或处理通信时消耗大量能量。

因此,面向硬件的设计除了准确率之外,还会考虑发放率、连接的局部性、延迟信息的存储以及数值精度。神经网络量化可以降低存储和算术运算成本,但也可能改变越过阈值的时刻,进而影响后续事件。此外,还必须在资源限制下将网络划分到不同核心上。如果部署时需要编码、传感器接口、主机处理器和输出处理等环节,端到端能耗比较也应将这些环节纳入考量。

在时序感知与计算中的应用

当输入本身就是事件流时,脉冲神经网络尤其适用。事件相机报告各个像素处的亮度变化,而不是以固定帧率传输完整图像。每个事件通常包含像素坐标、时间戳,以及表示变化方向的极性。这为基于脉冲的处理提供了天然接口,但传感器事件与生物神经脉冲并不是同一种对象。处理负载高度依赖场景中的活动:运动或闪烁可能在短时间内产生大量事件。

在计算机视觉中,其应用包括手势识别、运动目标检测和运动估计。基于事件的输入保留了精细的时间先后关系,也避免了反复表示图像中没有变化的区域。脉冲模型既可以在短时间内累积证据,也可以对特定事件模式立即作出响应。不过,许多事件视觉系统使用的是常规神经网络,有时会先将事件转换为图像帧或体素网格。因此,在事件数据上取得良好结果,本身并不能证明脉冲计算具有优势。

听觉处理是另一个重要应用领域。语音和环境声音包含多个尺度的时间结构,从快速的声学变化到持续时间较长的音节模式。脉冲编码器可以将滤波后的音频转换为事件流,而循环脉冲神经网络则随时间整合这些信号。本杰明·克拉默及其同事于2020年推出的 Spiking Heidelberg Digits 数据集和 Spiking Speech Commands 数据集,采用受耳蜗启发的处理模型,将语音音频转换为脉冲,为基于脉冲的处理提供了基准测试数据。这些数据集让时序学习方法之间的比较更加方便,但在编码后数据集上测得的性能,并未涵盖采集和转换真实声音的全部成本。

在语音识别和关键词检测中,一种潜在用途是在严格的功耗限制下进行持续监听。这类任务关注的不只是每次正确识别话语所消耗的能量,还包括长时间没有目标事件时的能耗。因此,误触发、背景噪声和响应延迟都是核心评估变量。在选定片段上产生脉冲较少的网络,面对不间断的环境录音时,可能会表现出不同的行为。

机器人与控制领域使用脉冲网络完成感觉信息整合、运动控制以及学习与环境交互等任务。循环动力学能够保留近期观测的信息,而局部可塑性则有助于适应。这里涉及的是一个闭环系统:感知延迟、计算、执行器动力学和反馈都会影响系统的稳定性与性能。只有闭环中的其他环节也能保留低延迟优势,低延迟的神经响应才有价值。一些控制系统会将脉冲组件嵌入包含常规数值控制器的更大架构中。

科学研究应用同样重要。脉冲网络可用于模拟神经元群体活动、振荡、兴奋与抑制的平衡,以及对结构化输入的响应。它们也可作为检验记忆和学习相关假说的试验平台。模型与某一项实测统计量(如平均发放率)吻合,并不能证明它揭示了背后的生物学机制。不同的网络结构可能产生相似的活动,因此,有意义的验证通常需要结合多项观测和扰动实验,而不能仅依靠对单一输出的拟合。

评估、局限与开放研究问题

脉冲神经网络(SNN)的评估涉及多个目标,无法归结为单一的准确率分数。相关指标包括任务表现、决策延迟、脉冲数量、突触运算次数、内存占用和实测能耗。一种方法可能在减少脉冲发放的同时增加仿真时间步数,也可能通过延长观测时段来提高准确率。相比仅报告某个选定配置下的结果,报告不同运行条件下准确率与延迟、准确率与能耗之间的权衡,能使比较更有参考价值。

必须审慎定义时间。一个仿真时间步并不天然等于一毫秒,说明模型运行了多少步,也不能确定它在硬件上的实际响应时间。生物模型中的时间、输入记录所覆盖的时间,以及实际执行所耗费的时间,是不同的量。提前退出系统还需要明确的停止规则。如果算法利用整个输入序列的信息,事后判断自己本可以在何时给出答案,这并不能证明它在在线运行时具有同等表现。

要与非脉冲模型进行公平比较,就需要考虑架构、训练资源、数值精度和部署平台。对于运行在专用芯片上的紧凑型 SNN,运行在通用处理器上的大型常规模型未必是合适的基线。反过来,仅比较算术运算次数,也可能忽略通信和状态维护的开销。根据具体应用,合适的基线可能是量化循环网络、常规事件处理模型,或专用加速器。不使用脉冲,并不意味着无法进行稀疏计算或低功耗计算。

基准测试的构建还会带来其他挑战。将静态图像数据集转换为重复发放的脉冲,所测试的不仅是网络,还包括一套人为设计的编码流程。记录得到的事件数据集可能包含由场景呈现方式或传感器运动方式所特有的相关性。与其他机器学习领域一样,数据泄漏(机器学习)、对测试集的不当使用,以及对实际运行条件覆盖不足,都可能使模型表现出的能力被夸大。处理时序数据时尤其需要谨慎,因为同一段记录中相邻的片段可能高度相关。

学习长期时间依赖关系仍然困难。完整的时间反向传播需要存储大量中间状态,而局部近似方法可能丢失准确信用分配所需的信息。带有资格迹的学习规则提供了另一种选择,但对于一般的循环网络,精确梯度涉及的相互作用很难仅用低开销的局部状态来表示。此外,出色的任务表现与生物合理性之间并不存在普遍的等价关系:有效的替代梯度训练可能依赖于在生物系统中没有直接对应机制的反向计算。

另一个尚未解决的问题是,如何使算法适应物理约束,同时又不让结果局限于特定平台。实用模型必须能够容忍有限的数值精度、时序抖动、有限的路由容量,以及模拟器件的变异性。从理论上说,精确的脉冲时刻可以承载大量信息,但任何实现都存在有限的时间分辨率和噪声。因此,必须区分基于任意高时间精度的论断,与传感器、仿真器或电路实际能够达到的结果。要明确这一区别,就必须清楚说明对时间精度、通信开销和观测时段所作的假设。