术语表

什么是 HBM（高带宽内存）？

HBM（High Bandwidth Memory）是 AI 加速卡上使用的堆叠式高带宽内存，也就是通常所说的显存。它速度极快但容量有限、价格昂贵，模型权重和 KV Cache 都要争用这部分空间。

更新于 2026 年 11 月 12 日

在实测里

本站 MI308X 测试平台每张卡有 192 GB HBM。R5 报告论证了外置 KV 层可以替代 128 GB 级别的显存驻留（沐曦 N260 平台）R5。

RoCEv2
RoCEv2（RDMA over Converged Ethernet v2）是在以太网上实现 RDMA 的协议，报文封装在 UDP/IP 里，因此可以跨三层网络路由。RDMA 让数据绕过操作系统内核直接在两台机器的内存之间传输，时延低、CPU 占用少。
TP（张量并行）
张量并行（Tensor Parallelism，TP）把一个模型的每一层拆到多张卡上共同计算。TP=8 表示一个模型实例横跨 8 张卡，是单卡装不下的超大模型的常见部署方式；TP4×2 则是把 8 张卡分成两个各占 4 卡的实例。

先联测，后决策

合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。