# 什么是 TP（张量并行）？

> 张量并行（Tensor Parallelism，TP）把一个模型的每一层拆到多张卡上共同计算。TP=8 表示一个模型实例横跨 8 张卡，是单卡装不下的超大模型的常见部署方式；TP4×2 则是把 8 张卡分成两个各占 4 卡的实例。

网页地址: https://vuke.top/glossary/tensor-parallelism · 更新于 2026 年 11 月 12 日

张量并行（Tensor Parallelism，TP）把一个模型的每一层拆到多张卡上共同计算。TP=8 表示一个模型实例横跨 8 张卡，是单卡装不下的超大模型的常见部署方式；TP4×2 则是把 8 张卡分成两个各占 4 卡的实例。

## 在实测里

R2 用的是 TP=8 单实例，R3 用的是 TP4×2 双实例，两种形态下 KV 分层都有效 [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3)。

出处: [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3)