高带宽存储器(HBM)是一类动态随机存取存储器技术,将垂直堆叠的存储器裸片与连接邻近处理器的超宽接口相结合。HBM 并非主要依靠提高较窄连接的信号传输速率来增加带宽,而是通过数千条密集排列的连接传输数据。它用于图形处理器、计算加速器以及部分中央处理器,在这些应用中,数据传输速率是制约性能的主要因素之一。
HBM 既是一种存储器接口技术,也是一套先进封装系统。其实际实现依赖于贯穿存储器裸片的垂直互连、芯片之间的细间距互连,以及能够将存储器与处理器连接起来的封装。这些特性带来了高带宽,并降低了每比特数据传输的能耗,但也使 HBM 比传统内存模块更昂贵、更难更换。因此,HBM 的发展一直与高性能计算紧密相连,也日益与大型人工智能模型的训练和运行密切相关。
内存组织与工作原理
与其他形式的DRAM一样,HBM将信息存储在需要定期刷新电荷的存储单元中。访问数据时,需要选择一行、感测其中的内容、传输所请求的数据,并最终使存储体准备好执行下一次操作。堆叠并不会省去这些基本的DRAM操作。HBM的主要优势在于让大量操作和数据传输并行进行,而不是大幅提高每个存储单元的速度。
一个HBM堆栈包含多个存储裸片和配套的接口电路,通常还包括位于存储层下方的基底裸片。垂直电气连接贯穿堆栈,传输数据、命令、地址、电源和控制信号。处理器通过针对相应HBM代际设计的内存控制器和物理接口与堆栈通信。一个处理器周围可以布置多个堆栈,以提供更大的容量和多条独立的数据传输路径。
宽接口被划分为多个通道。第一代HBM堆栈具有八个128位通道,总数据位宽为1,024位。后续代际重新组织了这一接口,以提高并发程度和访问效率。HBM2引入了伪通道模式,可将一个128位通道分成两个具有部分独立操作能力的64位部分。HBM3采用十六个64位通道,并进一步细分为伪通道。命令资源和时序资源具体如何共享十分重要:伪通道并不等同于一个完全独立的存储器件。
在每个通道内,多个存储体提供了另一层并行性。当某个存储体忙于激活、预充电或刷新时,内存控制器可以在其他存储体上调度操作。因此,与针对同一存储体、彼此存在依赖关系的一连串请求相比,顺序访问且分布合理的请求能够维持高得多的吞吐量。地址映射,即地址如何选择堆栈、通道、存储体、行和列,直接影响应用程序利用现有硬件的效率。
容量、接口位宽和堆栈高度彼此相关,但又是不同的属性。增加存储层数通常会提高容量,却不一定会拓宽外部接口,也不一定会使带宽按比例增加。同样,配备更多HBM堆栈的处理器,通常只有同时具备使用这些堆栈所需的控制器、封装连接和内部数据路径,才能获得更高的总带宽。因此,这种内存系统是由多种并行资源有组织地构成的集合,而不是一个可供统一访问、每个请求都能获得峰值传输速率的单一存储池。
三维堆叠与封装集成
HBM 依赖于硅通孔(TSV),即贯穿硅裸片的导电结构。硅通孔使信号能够在各存储层之间垂直传输,而不必让每个裸片分别连接到封装外部。制造这些连接需要开孔并进行绝缘处理、填充导电材料、减薄晶圆,以及以足够高的精度对准由此制成的裸片,以实现密集的垂直互连。
各裸片通过细间距互连连接在一起,传统上采用微凸点,所用材料和工艺既要实现电气接触,也要提供机械支撑。堆叠高度越高,组装要求就越严苛:许多薄裸片必须保持对准,各个连接必须可靠工作,整个堆叠还必须满足封装高度和散热方面的限制。基底裸片提供接口及辅助功能,具体功能范围因实现方案而异。存在基底裸片本身,并不意味着应用程序的计算会在内存内部进行。
一种常见布局是将处理器与多个 HBM 堆叠并排放置在硅中介层上。该结构包含密集布线,用于将处理器的内存接口连接到各个堆叠。中介层再连接到封装基板,由后者向电路板提供尺度更大的电源和信号连接。这种布局通常称为 2.5 维集成:内存内部采用三维堆叠,而主处理器和内存堆叠则相邻布置在同一个互连结构上。
中介层之所以重要,是因为普通电路板无法以经济可行的方式,在相当的密度下布设数千条极短且间距极小的连接。缩短这些连接还能降低电气负载,并简化信号传输的某些环节。其他封装方案可以采用嵌入式硅桥或不同的高密度再布线结构。因此,HBM 需要适当的先进互连技术,但并不以某一家制造商的特定封装工艺为定义依据。
封装会对整个器件施加物理限制。增加堆叠数量,就需要在处理器周围留出更多面积、增加布线和供电,并提供更大的散热表面积。大型中介层可能需要专门的制造工艺和光刻拼接技术。此外,还必须控制机械变形、热膨胀差异,以及组装过程中引入的应力。因此,处理器设计可能尚未充分发挥其内存接口的理论能力,就已受到封装尺寸或制造可行性的限制。
与插槽式内存模块不同,HBM 通常是处理器封装的一部分,无法在部署后由用户升级。某个堆叠或互连发生故障,就可能影响整个昂贵组件的可用性。因此,测试与修复机制是这项技术不可或缺的组成部分,而非次要的制造细节。
标准与发展历程
HBM 源于存储器制造商、处理器设计商和标准组织在堆叠式 DRAM 及宽内存接口方面的研究工作。JEDEC 于 2013 年发布了最初的 JESD235 HBM 标准。早期备受关注的商业应用之一是 AMD 的 Fiji 图形处理器,该处理器用于 2015 年推出的 Radeon R9 Fury 系列产品。Fiji 通过中介层将四个第一代 HBM 堆栈与 GPU 集成在一起,提供 4 GB 内存,总带宽达到 512 GB/s。它展示了这项技术在物理布局上的紧凑性,同时也体现出早期堆栈在容量上的局限。
第一代 HBM 的每个堆栈采用 1,024 位数据接口,实际产品中每个数据引脚的传输速率约为每秒 1 吉比特,由此实现的每堆栈带宽约为 128 GB/s。HBM2 在保留 1,024 位总数据位宽的同时,提高了支持的容量和信号传输速率。当每个引脚的速率为每秒 2 吉比特时,单个堆栈的理论带宽可达 256 GB/s。HBM2 在计算加速器和高端显卡产品中占据了重要地位,采用它的产品包括 NVIDIA 于 2016 年推出的 Pascal 架构 P100 加速器。
下表列出的是具有代表性的接口上限或速率,并不意味着每款产品都能达到这些指标:
| 代际或名称 | 每堆栈总数据位宽 | 代表性单引脚速率 | 对应的每堆栈理论带宽 |
|---|---|---|---|
| HBM | 1,024 位 | 1.0 Gb/s | 128 GB/s |
| HBM2 | 1,024 位 | 2.0 Gb/s | 256 GB/s |
| HBM2E | 1,024 位 | 3.2 Gb/s | 409.6 GB/s |
| HBM3 | 1,024 位 | 6.4 Gb/s | 819.2 GB/s |
| HBM4 | 2,048 位 | 8.0 Gb/s | 2,048 GB/s |
HBM2E 成为增强型 HBM2 产品的通用名称,这些产品可提供更高的速率和更大的容量。JEDEC 于 2022 年以 JESD238 的编号发布了 HBM3 标准。HBM3 将标准规定的单引脚传输速率提高到每秒 6.4 吉比特,增强了通道并行能力,并扩充了容量和可靠性方面的规范。此后,HBM3E 成为业界对 HBM3 系列中更高速实现的称呼。带有“E”的名称有助于区分商业产品,但不应因此就将其视为与新一代编号标准地位相同的独立标准。
JEDEC 于 2025 年发布了 HBM4 标准。其核心架构变化之一,是将每个堆栈的数据接口总位宽翻倍至 2,048 位,并将通道数增加到 32。在单引脚速率为每秒 8 吉比特时,这一位宽对应的每堆栈带宽按十进制单位计算为每秒 2.048 太字节。与前几代一样,必须区分标准所支持的能力与某款实际出货器件的运行规格。
不同代际的 HBM 并不是可以互换的组件。信号传输、通道组织、供电、控制器逻辑和物理连接的变化,都要求处理器与封装进行协同设计。因此,HBM 的发展历程涉及整个平台的演进,而非简单地用新一代存储芯片替换旧芯片。
带宽、延迟与性能测量
存储器接口的理论带宽由其总数据位宽和每引脚传输速率决定:
其中, 为位宽,单位为比特; 为每引脚传输速率,单位为每秒传输次数。对于每次传输中每个引脚传送一比特的接口,位宽为 1,024 比特、每引脚数据速率为 6.4 吉比特每秒的存储器堆栈,其带宽为 819.2 GB/s。四个这样的堆栈合计可提供 3.2768 TB/s 的理论带宽。这些数值采用十进制的吉字节和太字节,与二进制的吉比字节(GiB)和太比字节(TiB)并不相同。
峰值带宽衡量的是接口在理想条件下的传输能力,而不是任意软件实际能够达到的速率。刷新、行激活、预充电、读写切换、调度冲突,以及对已传输数据利用不充分等因素,都会降低有效吞吐量。应用程序也可能无法产生足够多的在途请求。即便处理器拥有极宽的外部接口,其性能仍可能受限于内部互连、缓存、指令发射速率,或跟踪尚未完成的存储器操作的能力。
延迟则是另一个量,指从发出请求到收到结果所经过的时间。HBM 的物理连接虽短,却无法消除 DRAM 核心本身的时序限制。对于一连串相互依赖的访问,例如沿着链式结构中的指针逐项访问,由于每个请求都必须等待前一个请求完成,性能提升可能有限。相比之下,大量相互独立的请求可以同时利用多个通道和存储体。因此,当应用程序具有较高的存储器级并行性时,高带宽尤其有价值。
计算与存储器流量之间的关系可以用屋顶线模型来描述。若 表示算术强度,即从存储器传输的每字节数据所对应的运算次数,则性能上限可近似表示为:
如果一项操作每读取八字节数据只执行两次浮点运算,那么在尚未计入输出流量的情况下,其算术强度也仅为每字节 0.25 次运算。即使处理器的计算能力极强,执行此类任务的速率仍会受数据搬运的限制。提高数据复用程度可以提升算术强度,有时比单纯增加带宽更能改善性能。
因此,有意义的性能测量不能只引用厂商给出的峰值。测试必须明确访问模式、工作集大小、读写比例、单次传输大小,以及并发请求数量;还必须区分 HBM 流量与由片上缓存满足的访问流量。完全容纳于缓存中的基准测试,测量的是存储层次结构中的另一个层级,即使其表观传输速率超过了外部存储器的规格,也不能混为一谈。在应用层面进行测量时,还需要将设备内部的数据搬运与设备和主机系统之间的数据传输区分开来。
功耗、散热与可靠性
HBM的能效优势很大程度上来自较短的互连和较宽的接口,因此不必像接口较窄的高速内存系统那样,让每个数据引脚都以很高的速率运行。动态开关功耗可用以下简化表达式表示:
其中, 表示开关活动因子, 表示有效电容, 表示电压, 表示频率。较短的布线可以减小电容,而较低的信号电压则能降低开关能耗。实际的内存功耗还包括刷新、内部阵列操作、时钟、后台活动,以及配套电路中的损耗。
每传输一比特的能耗与总功耗并不是一回事。HBM子系统每传输一比特所消耗的能量可能低于其他内存技术,但由于传输的数据量大得多,其总功耗仍可能相当可观。更高的传输速率、更多的堆叠体和更大的容量都会影响封装的供电需求。即使有效带宽利用率很低,系统仍会消耗一定的能量,因此工作负载的行为和电源管理状态都会影响能效。
物理堆叠结构增加了散热设计的复杂性。热量必须经过多个材料界面传导,各层的温度也未必均匀。相邻的处理器还可能是一个强热源。共用的均热板或冷板必须兼顾各组件在高度、接触压力和热阻方面的差异。内存温度升高可能会增加漏电和刷新需求,并可能迫使内存降速运行。因此,散热是维持持续性能的必要条件,而不只是防止即时故障的手段。
可靠性机制在多个层面发挥作用。DRAM器件可能采用内部纠错和修复机制,而完整的内存子系统则可提供纠错码、错误报告、冗余资源及其他保护措施。内部纠错并不等同于对应用数据的端到端保护:如果错误发生在内部保护范围之外,就可能需要另行检测。因此,不能仅凭加速器所用HBM的代际来推断其可靠性指标。
测试必须识别有缺陷的存储单元、存在故障的垂直互连以及组装问题。制造商力求在堆叠前使用已确认合格的裸片,并在中间阶段和最终阶段再次进行测试。备用资源可以修复部分缺陷,但并非所有故障都能恢复。层数和互连数量越多,缺陷影响整个组件的机会也越多,不过成熟的工艺、冗余设计和改进的测试可以减轻这种影响。
供电还带来了另一项集成难题。大幅且快速变化的电流可能引起电压波动,因此需要合适的配电网络和去耦措施。由此可见,可靠的高速运行取决于内存设计、封装结构、控制器行为、散热和稳压等多个方面的共同配合。
在科学计算与人工智能中的应用
对于那些处理器原本需要花费大量时间等待数据的工作负载,HBM 尤其有用。在科学计算中,这类工作负载包括稀疏矩阵与向量乘法、模板计算、图处理,以及数值模拟的某些阶段。这些运算每读取一个字节的数据,通常只进行相对少量的算术运算。大量执行单元可能使带宽供需失衡更加严重:如果内存系统无法持续供给数据,增加算术运算硬件也收效甚微。
并非所有科学应用都能获得同等收益。稠密矩阵乘法可以在片上存储中多次复用数据块,从而实现较高的算术强度。一旦分块策略有效发挥作用,其性能就可能受限于计算能力,而非 HBM 带宽。稀疏运算的访问模式更难预测,而且除了数值之外,还可能需要传输索引。其性能取决于数据结构、局部性和访问并发度,因此,标称带宽的提升并不意味着执行时间也会按相同比例缩短。
在深度学习中,HBM 用于存放模型参数、激活值、梯度、优化器状态以及临时工作数据。训练所需的内存可能远超仅存储权重所需的容量。例如,使用 Adam 优化器训练模型时,除了权重和梯度,通常还需要保存一阶矩和二阶矩状态。混合精度技术进一步增加了内存用量核算的复杂性,因为某些实现会为部分数值保留更高精度的副本。确切的内存占用取决于框架、数值格式、优化器和分布式训练策略。
对于大语言模型,推理可分为不同阶段。处理输入提示时,可以开展大量并行计算;而以较小批量生成后续词元时,往往需要反复读取模型权重,却只进行相对少量的新算术运算。基于带宽估算的粗略耗时下界为
其中, 是该步骤中实际必须从 HBM 读取的数据量。这并不是完整的延迟模型:缓存、批处理、通信、条件计算以及操作之间的重叠,都可能改变数据传输量及其关键路径。
Transformer架构模型使用的键值缓存会带来额外的容量和带宽需求。它保留先前词元中与注意力计算相关的数据,从而避免在每一步都重新计算。其大小取决于序列长度、批量大小、层数、注意力配置以及数值表示方式。因此,即使模型参数保持不变,更长的上下文也可能增加内存需求。
HBM 并不能解决加速器之间的通信问题。分布在多个设备上的模型,可能需要花费大量时间,通过独立的互连链路交换激活值、参数或部分结果。每个设备的本地 HBM 带宽与系统的设备间带宽是两种不同的资源。要实现高效的并行计算,就必须兼顾二者,而不能将内存吞吐量视为唯一的瓶颈。
编程模型与数据放置
HBM 通常不会仅仅因为采用了堆叠结构,就需要通过专门的应用程序指令来寻址。软件通过处理器的内存模型访问它。在许多独立加速器上,HBM 用作设备本地内存,通过 CUDA 等编程接口提供的机制进行分配和访问。内核读写的是普通的设备地址,而硬件控制器负责将请求分配到各个 HBM 资源上。
本地内存与主机内存之间的区别仍然很重要。独立加速器的本地内存带宽可能达到每秒数 TB,而它与主机之间的连接带宽却低得多。因此,即便加速器的 HBM 很快,反复通过 PCI Express 传输数据仍可能成为应用程序的主要性能瓶颈。将中间结果保留在设备上、合并操作,以及让数据传输与计算重叠进行,都可以缓解这种不平衡。这些优化针对的是整体数据通路,而不是对 HBM 本身的改进。
一些 CPU 将 HBM 集成为额外的内存层级。英特尔于 2022 年推出的至强 CPU Max 系列,在每个处理器封装中集成了 64 GB HBM2E。这类系统可以通过不同的运行模式提供 HBM,例如将其用作可直接寻址的内存,或用作由硬件管理的缓存,为容量更大的常规内存提供缓存支持。具体模式决定了应用程序或系统软件是否必须显式管理数据放置,也决定了工作集能否在超过本地 HBM 容量的同时,仍有一部分保留在高带宽内存层级中。
当不同内存类型或处理器区域的访问开销不同时,非一致性内存访问 就成为需要考虑的因素。分配策略、线程放置,以及由哪个处理器首次初始化内存页,都可能影响数据的存放位置。具有合适内存访问模式的程序,可能从精心安排的数据放置中获得显著收益;而持续访问远端内存层级的程序,则可能无法利用其执行核心附近可用的带宽。自动放置机制可以有所帮助,但无法消除容量有限和连接不对称所带来的影响。
在内核层面,高效利用 HBM 需要连续或以其他方式良好组织的访问、足够多的并行请求,以及在寄存器和缓存中进行适当的数据复用。在 GPU 上,相邻线程的请求通常可以合并为更少的内存事务。对齐不佳或分散的访问可能会读取大量实际不会使用的字节。分块、融合和数据布局调整,无须改变硬件即可减少片外数据传输量。
算法也可以避免不必要的 HBM 数据传输。例如,FlashAttention 围绕分块运算和片上存储重新组织注意力计算,而不是在外部内存中生成并存储完整的注意力矩阵。这体现了一个重要区别:HBM 提供高容量的数据通路,而软件变换决定了必须通过这条通路传输多少数据。更快的内存与更好的算法,解决的是性能问题中相互关联却又不同的部分。
成本、竞争技术与发展制约
HBM通过带宽、容量、能耗、物理尺寸和成本等方面的综合表现,与其他存储技术展开竞争。通过内存模块连接的传统DDR SDRAM可提供容量大、成本相对较低且通常可更换的内存。GDDR SDRAM则通过较窄的单器件接口和电路板连接,以更高的信号传输速率为许多图形处理器提供高带宽。HBM能在处理器附近的较小面积内实现极宽的接口,但需要更复杂的封装。在所有系统规模和工作负载下,这些方案都没有哪一种始终占优。
HBM也不同于片上缓存。采用静态随机存取存储器构建的缓存可以提供极低的延迟和很高的局部带宽,但会占用成本高昂的处理器裸片面积,且容量通常小得多。HBM处于两者之间:其存储密度远高于大型SRAM缓存,与处理器的距离又远小于普通内存模块,同时保留了DRAM的访问和刷新特性。有些系统会同时使用这三个层级。
HBM的成本不只是DRAM存储单元的成本。硅通孔(TSV)加工、晶圆减薄、精密堆叠、测试、中介层或其他互连结构、封装基板以及先进组装工艺,都会产生费用。存储堆叠必须能够以所需的容量和速度等级供货,处理器也必须针对这些规格进行匹配设计。封装缺陷可能使原本各自价值不菲的组件一并受损,因此制造良率和故障隔离具有重要的经济意义。
SK海力士、三星电子和美光科技是主要的HBM供应商。配备HBM的完整处理器能否交付,还取决于晶圆代工厂、封装服务商、基板制造商、设备制造商和测试机构。某一环节的产能无法自动弥补另一环节的短缺。例如,单纯扩大DRAM晶圆产量,并不一定能提供交付更多成品加速器所需的额外堆叠和先进封装产能。
后续发展涉及几个相互影响的方向:更高的信号传输速率、更宽的接口、更多的存储层、密度更高的DRAM裸片、更好的散热,以及功能更强的基础裸片电路。各个方向带来的影响不同。增加层数可以提高容量,但接口带宽未必会按比例增加;加宽接口需要更多连接和控制器资源;提高信号传输速率则会加大电气设计和热设计的难度。这些变化之间的平衡,与任何单项亮眼的规格参数同样重要。
更先进的基础裸片也为集成更多接口、测试或控制功能创造了机会。这类变化应与存内计算区分开来,后者有意将计算移入存储阵列内部或移至其附近。普通HBM即使采用复杂的辅助逻辑,仍然是一种存储技术。特定系统究竟将计算放在处理器、基础裸片还是存储器件中,是一种架构选择,会对可编程性、制造和数据搬移分别产生影响。