# 芯元一科技｜AI 推理存储加速 · KV Cache 分层 · FX 全闪阵列

> 芯元一 FX 系列全闪 NVMe-oF 存储加速平台：480B 大模型实测推理吞吐 +29–40%、首 token 延迟 −26–32%，每个数字都对应可申请查证的测试报告。

网页地址: https://vuke.top · 更新于 2026 年 11 月 12 日

FX 系列全闪 NVMe-oF 阵列接住溢出显存的 KV Cache。在 480B 大模型的生产部署形态下，推理吞吐 +29–40%，首 token 延迟 −26–32% [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3)。每个数字都对应一份可以申请查证的测试报告。

## 数字都有出处

每一项都写明对照基线和报告编号。不同平台的结果分开列出，不做合并。

| 指标 | 数值 | 对照基线 | 说明 | 出处 |
| --- | --- | --- | --- | --- |
| 推理吞吐提升 | +29–40% | 对比本地 NVMe 单盘 | Qwen3-Coder-480B-FP8、TP=8 生产部署形态，长上下文冷恢复负载：并发 8 时 +29%，并发 16（实测中提升幅度最大的一档）时 +40%；TP4×2 双实例全机口径为 +35–36%。 | 实测 · [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3) |
| 首 token 延迟（TTFT）降低 | −26–32% | 对比本地 NVMe 单盘 | 同一 480B·TP8 负载的三档并发下，TTFT p50 从 10.17–35.73 s 降到 7.53–26.35 s。 | 实测 · [R2](https://vuke.top/evidence/R2) |
| 相对无外存重算的加速 | 8.6–20× | 对比无外存、整段重算 | 并发 16：整段重算的 TTFT p50 为 149.5 s，接入 FX100 后为 11.85 s；吞吐 4.1 tok/s 对 74.9 tok/s。 | 实测 · [R2](https://vuke.top/evidence/R2) |
| LMCache 并行读补丁的 TTFT 改善 | 4.1× | 对比打补丁之前 | 单卡、并发 16、冷读盘（Qwen2.5-32B）：TTFT 37.97 s → 9.30 s；读带宽 0.98 → 5.23 GB/s，约 5.3×。 | 实测 · [R1](https://vuke.top/evidence/R1) |
| 模型服务加载提速 | 6.2–9.3× | 对比 NFS，昇腾 910B 平台 | 华为 Atlas 910B 平台：DeepSeek-32B 服务加载 691 s → 112 s（6.2×），DeepSeek-70B 1399 s → 150 s（9.3×）。 | 实测 · [R9](https://vuke.top/evidence/R9) |
| 训练 Checkpoint 保存提速 | 1.9× | 对比 R1 报告中的对照基线 | 8 卡 32B LoRA，每份整模型快照 65.6 GB：178 s → 94 s；持续写带宽 3.26 → 6.40 GB/s（+96%）。 | 实测 · [R1](https://vuke.top/evidence/R1) |
| 模型切换场景的算力有效利用率 | 46.7% → 62.8% | 每小时切换 20 次的档位 | 按实测加载时间建模：每小时切换 20 次模型时，算力有效利用率从 46.7% 提高到 62.8%。 | 实测 · [R1](https://vuke.top/evidence/R1) |
| 8 卡并发加载模型 | 16% / 30% | 对比 R1 报告中的对照基线 | 8 张卡同时冷读模型：整体墙钟时间快 16%，单个模型加载快 30%。 | 实测 · [R1](https://vuke.top/evidence/R1) |
| 两轮独立测量的偏差 | ≤5% | 同一档位重复测量 | 同一档位做两轮独立测量，偏差不超过 5%；fs:// 共享池的跨实例热共享同时验证通过。 | 实测 · [R3](https://vuke.top/evidence/R3) |
| 外置 KV 层可替代的显存驻留量级 | 128 GB | 沐曦 N260 单卡，14B 模型七组对照 | 14B 模型七组对照的结论：外置 KV 层可以替代 128 GB 级别的显存驻留。该轮平台是沐曦 N260 单卡，方法论可跨平台使用，数字不与 MI308X 混用。 | 实测 · [R5](https://vuke.top/evidence/R5) |
| ComfyUI + LTX-Video 2.3 模型实跑通过 | 7 / 7 | AMD MI308X，ROCm 7.2 | 交付的 7 个模型（3 个 VAE、fp8 文本编码器、文本投影、2 个 LoRA）在 MI308X / ROCm 7.2 上全部实跑通过，没有出现 dtype、算子或内核错误。 | 实测 · [R6](https://vuke.top/evidence/R6) [R7](https://vuke.top/evidence/R7) |
| 阵列与推理节点的配比 | 1 : 8 | 生产配比口径 | 每台 FX100 服务 8 个推理节点：100 GbE 能支撑 8 节点 KV 回读是实测锚点。联测口径下，存储投入约占 GPU 预算的一成以内。 | 估算 · [R1](https://vuke.top/evidence/R1) [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3) |

## 显存放不下的，交给全闪层

长上下文会话会不断把 KV Cache 挤出显存。没有外置层时，被挤出的会话只能整段重算；有了 FX，它们被直接读回。

- L1 显存（HBM）: 当前活跃的会话 (由 vLLM 管理)
- L2 主机内存: 近期用过的会话 (由 LMCache 管理)
- L3 FX 全闪阵列: 全部历史会话，跨实例共享 (NVMe-oF · RoCEv2)

[了解工作原理](https://vuke.top/tech)

## 同一负载，三档并发

R2 报告的原始读数。FX100 与本地 NVMe 单盘在并发 8、16、32 下逐档对照。

| 并发 | FX100 TTFT p50 (s) | 本地 NVMe 单盘 TTFT p50 (s) | 整段重算 TTFT p50 (s) | FX100 tok/s | 本地 NVMe 单盘 tok/s | 整段重算 tok/s |
| --- | --- | --- | --- | --- | --- | --- |
| 8 | 7.53 | 10.17 | — | 56.6 | 43.9 | — |
| 16 | 11.85 | 17.31 | 149.48 | 74.9 | 53.6 | 4.1 |
| 32 | 26.35 | 35.73 | — | 71.6 | 53.9 | — |

Qwen3-Coder-480B-FP8 · TP=8 · 8 × MI308X · 长上下文冷恢复负载。TTFT 为 p50，单位秒；吞吐单位 tok/s；整段重算只测了并发 16 一档。 出处: [R2](https://vuke.top/evidence/R2)

## FX 系列全闪存储平台

四款机型，单接口速率从 100 Gb 到 400 Gb。规格为厂商口径；FX100 有完整的实测报告。

| 机型 | 接口代际 | 单接口速率 | IOPS | 闪存形态 | 状态 | 实测报告 |
| --- | --- | --- | --- | --- | --- | --- |
| [FX100](https://vuke.top/products/fx100) | PCIe 3.0 | 100 Gb | 1,600 万 | U.2 | 量产在售 | [R1](https://vuke.top/evidence/R1) [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3) [R4](https://vuke.top/evidence/R4) [R5](https://vuke.top/evidence/R5) [R9](https://vuke.top/evidence/R9) |
| [FX200](https://vuke.top/products/fx200) | PCIe 4.0 | 200 Gb | 3,200 万 | U.2 | 量产在售 | — |
| [FX300](https://vuke.top/products/fx300) | PCIe 5.0 | 400 Gb | 6,000 万 | U.2 | 量产在售 | — |
| [FX400](https://vuke.top/products/fx400) | PCIe 6.0 | 400 Gb | 1.4 亿 | E1.S | 测试机阶段，计划 2026 年底量产 | — |

## 围绕这层存储，我们还做这些

- [存储加速：KV Cache 分层](https://vuke.top/solutions/storage-acceleration): 存储加速
- [国产与非 N 卡算力适配](https://vuke.top/solutions/domestic-compute): 国产算力适配
- [算力中心效能优化](https://vuke.top/solutions/efficiency-optimization): 效能优化
- [算力中心建设](https://vuke.top/solutions/datacenter-construction): 算力中心建设
- [推理栈软件开发](https://vuke.top/solutions/software-development): 软件开发

## 先联测，后决策

合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。

- **G1 · 第 2 周 · 到货验收**: 物料全部到货并点验合格；每台阵列上电自检通过，24 块盘全部识别。
- **G2 · 第 4 周 · 单机基线**: 复现单节点 8 卡推理基线，与 R1 口径的偏差在 ±10% 以内；单阵列本地压测达到实测锚点 83% 的线效。
- **G3 · 第 7 周 · 联测主门禁**: KV 分层加速须同时满足：TTFT 降幅 ≥25%，吞吐提升落在 +29–40% 的实测区间内；8 个节点共享一台阵列时，回读带宽逼近网卡上限。
- **G4 · 第 10 周 · 稳定性与验收**: 72 小时连续压测不中断；注入单盘、单链路故障时业务无感；出具签字版联测报告。

## 常见问题

### 芯元一是做什么的？

芯元一（天津）半导体设备有限公司做大模型推理的存储加速。产品是 FX 系列全闪 NVMe-oF 阵列，用来承接溢出显存的 KV Cache，让被挤出的会话可以直接读回而不是重新计算。围绕这款产品，我们还提供国产与非 N 卡算力适配、算力中心效能优化、算力中心建设和推理栈软件开发服务。

### FX 系列存储加速平台是什么？

FX 系列是在广东绿算 GP 系列硬件上开发的软硬件一体存储加速系统，配套 vLLM + LMCache 的 KV Cache 分层软件栈，其中包含芯元一自研的并行读补丁。FX100、FX200、FX300 已量产在售，FX400 计划 2026 年底量产。FX100 单接口 100 Gb、1,600 万 IOPS；FX300 为 PCIe 5.0 平台，单接口 400 Gb、6,000 万 IOPS（均为厂商规格）。

### KV Cache 分层存储加速能把推理性能提升多少？

在 Qwen3-Coder-480B-FP8、8 × AMD MI308X、TP=8 的生产部署形态下，长上下文冷恢复负载的实测结果是：相对本地 NVMe 单盘，推理吞吐提升 29–40%，TTFT p50 降低 26–32% [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3)；相对无外存整段重算，加速 8.6–20× [R2](https://vuke.top/evidence/R2)。这是应用层的吞吐和首 token 延迟，不是存储设备本身的微秒级时延。

### 哪些场景收益大，哪些场景收益有限？

收益来自缓存命中。长上下文、多轮对话、高并发的会话恢复（Agent、代码助手、客服）命中率高，收益最大。短对话、低并发的场景命中率低，收益有限。所以我们建议先联测、后采购：用你自己的会话长度分布和并发量测一遍，再决定买不买。

### 这些数字怎么验证？能复现吗？

每个关键数字都标了报告编号（R1–R9），报告可以向我们申请查阅。其中 R4 是第三方检测机构出具的正式报告。R8 是测试代码导出包和原始数据，包含 LMCache 并行读补丁、负载客户端、编排脚本和探针取证脚本，第三方可以在自己的集群上重跑。同一档位两轮独立测量的偏差不超过 5% [R3](https://vuke.top/evidence/R3)。

### 接入 FX 需要改造推理引擎吗？

不需要重写推理引擎。接入点是开源的 vLLM + LMCache 组合：LMCache 负责把显存放不下的 KV Cache 下沉到主机内存和外置存储，FX 阵列作为外置的那一层。我们在 ROCm 平台上做了源码级适配，并行读补丁随 R8 一并交付 [R1](https://vuke.top/evidence/R1) [R8](https://vuke.top/evidence/R8)。

## 联系我们

- 公司: 芯元一（天津）半导体设备有限公司
- 联系人: 王利民
- 电话: 13161818898
- 邮箱: mingxin@agentmail.to (邮箱由 AI 自动接收与分拣，7×24 小时在线)