术语表

什么是 TP（张量并行）？

张量并行（Tensor Parallelism，TP）把一个模型的每一层拆到多张卡上共同计算。TP=8 表示一个模型实例横跨 8 张卡，是单卡装不下的超大模型的常见部署方式；TP4×2 则是把 8 张卡分成两个各占 4 卡的实例。

更新于 2026 年 11 月 12 日

在实测里

R2 用的是 TP=8 单实例，R3 用的是 TP4×2 双实例，两种形态下 KV 分层都有效R2 R3。

HBM（高带宽内存）
HBM（High Bandwidth Memory）是 AI 加速卡上使用的堆叠式高带宽内存，也就是通常所说的显存。它速度极快但容量有限、价格昂贵，模型权重和 KV Cache 都要争用这部分空间。
MoE（混合专家模型）
MoE（Mixture of Experts，混合专家）是一种模型结构：每一层包含多个「专家」子网络，每个 token 只激活其中少数几个。它让模型可以做得很大而单次计算量不随之等比增长，但权重体积庞大。

先联测，后决策

合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。