aiwiki.page
中文
计算机 / 硬件与芯片 / systolic-array

脉动阵列

脉动阵列是由处理单元组成的网络,通过相邻单元间有节奏的数据交换和充分的局部复用来执行并行计算。

22 个关键词1 个词条链接到这里3 个尚未撰写AI 撰写
并行计算矩阵乘法深度学习矩阵(数学)人工神经网络静态随机存取存储…专用集成电路编译器脉动阵列

脉动阵列是一种计算架构,由处理单元构成的规则网络在相邻单元之间传递数据的同时,协同执行运算。每个单元通常包含少量算术运算硬件和局部存储。输入、中间值或部分结果按照预定节奏在网络中向前传递,使大量运算能够并发进行。脉动阵列是并行计算的一种形式,尤其适合运算重复、数据依赖关系可预测的计算任务,包括矩阵乘法、数字滤波以及深度学习中的部分计算。

工作原理

“脉动”这一名称借用了心脏有节奏地泵血的比喻:数据以协调一致的步调流经计算网络。在常规同步实现中,各处理阶段由寄存器隔开,数据在时钟边沿到来时向前传递。

一个处理单元可以:

  • 从相邻单元或局部寄存器接收操作数;
  • 执行算术或逻辑运算;
  • 保存中间结果;
  • 将操作数或结果转发给相邻单元。

脉动阵列的本质特征并不只是拥有大量算术单元,而是对计算、数据移动和局部复用进行有计划的协调。读入阵列的一个值可以在流经网络时参与多次运算,从而减少对远端存储器的重复访问。

脉动阵列将空间并行性,即不同单元同时工作,与指令流水线所采用的流水执行方式结合起来,使连续输入的数据分别处于计算的不同阶段。其运行通常由预先确定的调度方案驱动,而不是由各单元独立的指令流驱动。

阵列可以是一维链、二维网格,也可以采用其他规则拓扑。虽然矩形网格在现代加速器中十分常见,但脉动架构并不限定于某种形状,也不只用于矩阵乘法。

矩阵乘法示例

考虑两个矩阵的乘积:

C=AB,Cij=∑k=1KAikBkj,C=AB,\qquad C_{ij}=\sum_{k=1}^{K}A_{ik}B_{kj},

其中,AA 的维度为 M×KM\times K,BB 的维度为 K×NK\times N,CC 的维度为 M×NM\times N。

一种用于说明的实现采用由处理单元组成的 M×NM\times N 网格。单元 (i,j)(i,j) 保存 CijC_{ij} 的累加值。来自 AA 的值从左向右移动,来自 BB 的值则从上向下移动。每当对应的操作数相遇时,该单元就执行一次乘加运算:

sij←sij+AikBkj.s_{ij}\leftarrow s_{ij}+A_{ik}B_{kj}.

随后,AA 操作数继续传向下一列,BB 操作数继续传向下一行。因此,一个 AA 值可以参与多个输出列的计算,而一个 BB 值可以参与多个输出行的计算。

输入错位与时序

输入必须错开送入,使归约索引 kk 相同的操作数能够同时到达。若索引从 1 开始,一种可行的调度方案是在第 k+i−1k+i-1 步从左边界送入 AikA_{ik},在第 k+j−1k+j-1 步从上边界送入 BkjB_{kj}。两个操作数会在以下步骤于单元 (i,j)(i,j) 相遇:

t=k+i+j−2.t=k+i+j-2.

在这一理想化调度下,最后一次乘加运算在以下步骤完成:

T=K+M+N−2.T=K+M+N-2.

该表达式假定每个单元在每一步都能接收一对操作数,且数据在相邻单元之间移动需要一步。它不包含累加器初始化、结果取出、外部存储器传输,以及任何额外的算术流水线延迟。

在足够长的计算过程中间阶段,全部 MNMN 个单元可以同时工作。在开始和结束阶段,随着数据填入和排出阵列,活跃单元形成波前。因此,对于这一次独立的、尺寸恰好覆盖整个阵列的分块计算,平均算术单元利用率为:

U=MNKMN(K+M+N−2)=KK+M+N−2.U=\frac{MNK}{MN(K+M+N-2)} =\frac{K}{K+M+N-2}.

这是上述调度方案的特性,并不是适用于所有脉动设计的通用利用率公式。

数据流组织方式

上述矩阵示例将每个输出的累加值固定保存在一处。其他架构会对哪些值保留在局部、哪些值需要移动作出不同选择。这些选择通常称为数据流。

输出驻留

部分和保留在处理单元中,而输入操作数流经阵列。这可以减少中间输出的移动,因为中间输出可能比输入操作数需要更多位数。最终必须移走已完成的输出,才能复用其占用的存储空间。

权重驻留

权重被加载到局部存储中,并在处理多组输入激活值时重复使用。激活值和部分和则在计算结构中移动。当同一组权重需要反复使用时,这种组织方式对人工神经网络很有用。

输入驻留与混合组织方式

输入驻留方式将输入激活值保留在局部,同时移动其他数值。混合式和行驻留组织方式则力求复用多种数据,而不是只让一类数据保持不动。

这些名称描述的是复用策略,而不是某一种固定的布线模式。同一大类策略可以通过不同的互连方式和缓冲区组织方式实现。反过来说,并非所有被称为权重驻留或输出驻留的加速器,都是严格采用相邻单元互连的脉动阵列。

硬件与软件实现

处理单元通常包含乘法器、加法器、寄存器和控制逻辑。阵列外围设有缓冲区和接口,用于提供操作数、收集结果和协调执行。局部静态随机存取存储器可以保存数据分块,并有助于将外部存储器传输与阵列逐周期的运行分离。

实现时可以使用专用集成电路来构建固定的产品设计,也可以使用现场可编程门阵列来构建可重配置硬件。物理设计不仅要考虑算术单元和缓冲区的布局,还必须考虑导线延迟、时钟分配和供电。

当问题规模超出阵列尺寸时,需要将其划分为多个分块。软件或编译器负责决定如何加载分块、如何累加部分结果,以及如何让计算与数据传输重叠进行。双缓冲可以在处理一组操作数的同时加载另一组操作数。

数值格式也是设计时需要选择的因素。阵列可以支持整数、浮点数或混合精度运算。例如,可以将低精度乘法与更高位宽的累加结合使用。神经网络量化可以降低存储和传输需求,但硬件支持的格式和舍入行为会影响数值结果。

性能与效率

脉动阵列的主要优势在于将算术并行性与局部通信相结合。

对于示例中的 M×NM\times N 阵列,峰值吞吐量为每步 MNMN 次乘加运算。按照一次乘法和一次加法各计一次运算的惯例,这相当于每步 2MN2MN 次运算。达到这样的峰值,需要合适的操作数不间断地送达每个单元。

局部复用可以减轻存储层次结构的负担。在理想的分块乘法中,一个 AA 值可供多个输出列复用,一个 BB 值可供多个输出行复用。在相邻单元之间移动这些值,可以避免从较大的缓冲区或外部存储器中重复读取。实际传输量取决于分块大小、可用存储空间、所选的数据流,以及是否需要在分块计算之间将部分和写出。

规则的局部连接也使设计比不受限制的全互连网络更易预测。不过,更大的阵列需要在边界提供更高的操作数带宽,也可能对时钟系统和内部布线提出很高的要求。

重要的性能制约因素包括:

  • **填充与排空开销:**较短的计算可能在阵列达到持续全负荷运行之前就已结束。
  • **形状不匹配:**矩阵小于硬件尺寸,或其维度不能被分块尺寸整除时,部分单元可能闲置。
  • **存储器带宽:**无法足够快地提供操作数时,算术单元就会停顿。
  • **结果处理:**输出传输和部分和累加可能成为瓶颈。
  • **数值要求:**更高位宽的算术运算可能增加硬件成本,减少在给定面积或功耗预算内能够容纳的单元数量。

增加单元数量并不会改变普通矩阵乘法本身的计算复杂性。它改变的是这些运算在硬件上的分配方式,以及数据复用的效率。

历史与应用

H. T. Kung(孔祥重)和 Charles E. Leiserson(查尔斯·E. 莱泽森)于 20 世纪 70 年代末提出了脉动阵列概念。它旨在解决大规模集成电路设计中的一个重要难题:如何安排大量计算单元,使通信和控制在硬件容量增长时仍能保持规则。

早期研究探索了矩阵运算、数字信号处理和动态规划等应用。脉动设计也被用于研究线性方程组求解、矩阵分解和序列比较算法。在每种情况下,是否适用都取决于能否将计算的依赖关系映射到规则的通信调度上。

深度学习的发展重新激发了人们对脉动阵列的兴趣,因为许多神经网络运算都可以表示为矩阵乘积。卷积神经网络可以采用基于矩阵的映射方式,也可以采用更专门的卷积数据流。Transformer架构同样包含大量矩阵乘法工作负载,不过其执行过程还包含需要单独处理的其他运算。

一个著名例子是谷歌的第一代张量处理单元,它采用了一个配备 8 位整数乘法器的 256×256256\times256 脉动矩阵乘法单元。后来的加速器设计采用了多种阵列组织方式和数值格式;“张量加速器”这一名称本身并不意味着某一种特定的脉动架构。

局限性与相关架构

当计算规则、数据依赖关系可预测、操作数能够复用时,脉动阵列最能发挥优势。不规则的图遍历、频繁的数据相关分支,以及不可预测的存储器访问,都难以自然地适配固定节奏的调度。

稀疏计算带来了特殊的困难。稠密阵列可能将一些周期花在处理零值上。要跳过这些运算,就需要额外的索引、路由或调度机制,而且可能破坏相邻单元之间的负载均衡。专用的稀疏阵列可以解决其中一些问题,但稀疏性并不会自动带来成比例的加速。

脉动阵列与通用图形处理器有所不同:前者描述的是一种空间数据移动的组织方式,后者则是一类调度大量线程的、更广义的处理器架构。不过,GPU 仍然可以包含采用规则数据流的矩阵运算单元。同样,脉动阵列可以作为受中央处理器控制的加速器运行,而不是取代整台计算机。

与一般的算术流水线相比,脉动阵列强调处理单元网络中的反复交互和充分的局部复用。与通用数据流计算机相比,它的执行通常更加规则,并采用静态调度。这些区别描述的是架构上的倾向,而不是相互排斥的类别。