LuAITools.com
提交工具
🧱AI
High Bandwidth Memory

HBM

高带宽内存,把内存芯片像「叠高楼」一样堆起来,给 AI 芯片提供极高的数据传输速率。

HBM 是什么?

HBM 全称高带宽内存(High Bandwidth Memory)。普通内存是平铺在电路板上的「平房」,而 HBM 是把很多层内存芯片像「叠高楼」一样垂直堆起来,用超宽的通道连到处理器旁边。这样一来,数据能以极高的速度进出,专门喂饱 AI 芯片这种「大胃王」。

为什么 AI 芯片特别需要它?

训练大模型时,芯片算得快还不够——如果数据「喂」得慢,再强的算力也得干等着,这叫「内存带宽瓶颈」。HBM 的作用,就是把这道瓶颈尽量撑大,让算力吃饱,训练速度才能提上去。

它和普通内存(DDR)有什么区别?

带宽
HBM 的带宽是普通内存的几倍甚至十几倍。
位置
HBM 紧贴着处理器封装在一起,走线短、延迟低;普通内存插在主板上,离得远。
价格
HBM 工艺复杂、成本高,基本是高端 AI 芯片的专属。

HBM 有多重要?

英伟达的高端 GPU、AMD 的加速器,都靠 HBM 撑起吞吐量。它已经成了 AI 芯片供应链里最紧俏的环节之一——甚至有人说,现在做 AI 的瓶颈,一半在芯片,另一半在内存。

一句话记住:HBM 就是把内存「叠成高楼、贴着芯片放」,用超高的带宽喂饱 AI 的算力。

评论