术语表
什么是 MoE(混合专家模型)?
MoE(Mixture of Experts,混合专家)是一种模型结构:每一层包含多个「专家」子网络,每个 token 只激活其中少数几个。它让模型可以做得很大而单次计算量不随之等比增长,但权重体积庞大。
更新于
- 联系人
- 王利民
- 邮箱
- mingxin@agentmail.to
邮箱由 AI 自动接收与分拣,7×24 小时在线
术语表
MoE(Mixture of Experts,混合专家)是一种模型结构:每一层包含多个「专家」子网络,每个 token 只激活其中少数几个。它让模型可以做得很大而单次计算量不随之等比增长,但权重体积庞大。
更新于
邮箱由 AI 自动接收与分拣,7×24 小时在线