# 芯元一科技

> 芯元一 FX 系列全闪 NVMe-oF 存储加速平台：480B 大模型实测推理吞吐 +29–40%、首 token 延迟 −26–32%，每个数字都对应可申请查证的测试报告。

芯元一（天津）半导体设备有限公司专注一件事：让已经买回来的算力卡产出更多 token。我们的做法是在显存和主机内存之外补上一层外置全闪存储，把推理过程中溢出的 KV Cache 接住，需要时直接读回，而不是让 GPU 重新计算一遍。

引用本站数字时请连同对照基线和报告编号一起引用。对比「本地 NVMe 单盘」与对比「无外存整段重算」是两个不同的分母，不能合并；AMD MI308X、华为昇腾 910B、沐曦 N260 三个平台的结果分别标注，不能混用。

## 关键事实

- 推理吞吐提升: +29–40% (对比本地 NVMe 单盘; 实测; [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3))
- 首 token 延迟（TTFT）降低: −26–32% (对比本地 NVMe 单盘; 实测; [R2](https://vuke.top/evidence/R2))
- 相对无外存重算的加速: 8.6–20× (对比无外存、整段重算; 实测; [R2](https://vuke.top/evidence/R2))
- LMCache 并行读补丁的 TTFT 改善: 4.1× (对比打补丁之前; 实测; [R1](https://vuke.top/evidence/R1))
- 模型服务加载提速: 6.2–9.3× (对比 NFS，昇腾 910B 平台; 实测; [R9](https://vuke.top/evidence/R9))
- 训练 Checkpoint 保存提速: 1.9× (对比 R1 报告中的对照基线; 实测; [R1](https://vuke.top/evidence/R1))
- 模型切换场景的算力有效利用率: 46.7% → 62.8% (每小时切换 20 次的档位; 实测; [R1](https://vuke.top/evidence/R1))
- 8 卡并发加载模型: 16% / 30% (对比 R1 报告中的对照基线; 实测; [R1](https://vuke.top/evidence/R1))
- 两轮独立测量的偏差: ≤5% (同一档位重复测量; 实测; [R3](https://vuke.top/evidence/R3))
- 外置 KV 层可替代的显存驻留量级: 128 GB (沐曦 N260 单卡，14B 模型七组对照; 实测; [R5](https://vuke.top/evidence/R5))
- ComfyUI + LTX-Video 2.3 模型实跑通过: 7 / 7 (AMD MI308X，ROCm 7.2; 实测; [R6](https://vuke.top/evidence/R6) [R7](https://vuke.top/evidence/R7))
- 阵列与推理节点的配比: 1 : 8 (生产配比口径; 估算; [R1](https://vuke.top/evidence/R1) [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3))

## 核心页面

- [芯元一科技｜AI 推理存储加速 · KV Cache 分层 · FX 全闪阵列](https://vuke.top/md/zh/index.md): 芯元一 FX 系列全闪 NVMe-oF 存储加速平台：480B 大模型实测推理吞吐 +29–40%、首 token 延迟 −26–32%，每个数字都对应可申请查证的测试报告。
- [KV Cache 分层的工作原理：显存、内存与外置全闪](https://vuke.top/md/zh/tech.md): KV Cache 被挤出显存后，是整段重算还是从外置全闪读回？按一次请求的路径说明 KV Cache 分层为什么能降低 TTFT，以及它在哪些场景没用。
- [常见问题：FX 存储加速、实测数据、价格与合作方式](https://vuke.top/md/zh/faq.md): 关于芯元一 FX 系列的常见问题：KV Cache 分层能提升多少、数据怎么验证、FX100 多少钱、支持哪些算力卡、怎么开始联测。

## 产品

- [FX 系列全闪 NVMe-oF 存储平台：FX100 / FX200 / FX300 / FX400](https://vuke.top/md/zh/products.md): FX 系列四款机型的规格对比：PCIe 3.0 到 6.0，单接口 100–400 Gb，1,600 万到 1.4 亿 IOPS。FX100 满配参考价 ¥371,200，并有完整实测报告。
- [FX100 全闪 NVMe-oF 阵列：规格、适用场景与实测](https://vuke.top/md/zh/products/fx100.md): FX100 是 FX 系列里实测数据最完整的一款：R1–R5 与 R9 都以它为被测设备，覆盖 AMD MI308X、沐曦 N260、华为昇腾 910B 三个平台。单接口 100 Gb、1,600 万 IOPS，生产配比为每台服务 8 个推理节点。
- [FX200 全闪 NVMe-oF 阵列：规格、适用场景与实测](https://vuke.top/md/zh/products/fx200.md): FX200 把单接口速率提高到 200 Gb、IOPS 提高到 3,200 万，均为 FX100 的两倍。6 个 PCIe 扩展槽支持 ASIC、FPGA、DPU 异构板卡混插，适合需要更高单口带宽或自带加速卡的集群。
- [FX300 全闪 NVMe-oF 阵列：规格、适用场景与实测](https://vuke.top/md/zh/products/fx300.md): FX300 是 PCIe 5.0 平台的性能档：单接口 400 Gb、6,000 万 IOPS，配 6 块 DPU 和 Gen5 企业级 NVMe SSD，面向高并发 KV 回读与大模型权重的快速分发。
- [FX400 全闪 NVMe-oF 阵列：规格、适用场景与实测](https://vuke.top/md/zh/products/fx400.md): FX400 是下一代旗舰：PCIe 6.0 平台、E1.S 闪存形态，厂商规格为设备聚合带宽 4.8 Tb/s、1.4 亿 IOPS。测试机排期为 2026 年 8 月，量产计划在 2026 年底；规格以测试机实测回填，量产定价待发布。

## 实测证据

- [实测证据库：R1–R9 测试报告索引](https://vuke.top/md/zh/evidence.md): 本站全部关键数字的出处：九份测试报告的范围、平台与关键结论，覆盖 AMD MI308X、华为昇腾 910B、沐曦 N260，含第三方正式报告与可复现代码包。
- [R1：FX100 大模型推理与训练综合性能测试报告（AMD MI308X × 8）](https://vuke.top/md/zh/evidence/R1.md): 一份报告回答五个问题：LMCache 并行读补丁有多大作用、KV 分层在多卡下能否扩展、8 卡并发加载模型快多少、频繁切换模型时算力有效利用率如何变化、训练 Checkpoint 并发写能快多少。测试模型为 Qwen2.5-32B 与 7B。
- [R2：FX100 KV Cache 性能测试报告（480B · TP8 长上下文）](https://vuke.top/md/zh/evidence/R2.md): Qwen3-Coder-480B-FP8 以八卡单实例（TP=8）的标准生产形态部署，在长上下文冷恢复负载下做三方对照：FX100、本地 NVMe 单盘、无外存整段重算，并按并发 8 / 16 / 32 做梯度。本站引用最多的吞吐与 TTFT 数字出自这份报告。
- [R3：FX100 KV Cache 性能测试汇总报告（480B · TP4×2 · 全指标）](https://vuke.top/md/zh/evidence/R3.md): 同一台 8 卡服务器改为四卡双实例（TP4×2）部署，九档负载记录全部指标：TTFT 的 p50 / p90 / p99、TPOT、吞吐与盘带宽。这份报告还验证了两件事：fs:// 共享池能让两个实例热共享同一份缓存；同一档位做两轮独立测量，偏差不超过 5%。
- [R4：FX100 KV Cache 性能测试报告（480B · 多实例形态 · 编号 -006）](https://vuke.top/md/zh/evidence/R4.md): R2 与 R3 的正式汇编版，由第三方检测机构出具，报告编号 -006。如果你的采购或合规流程需要一份出自第三方机构的文件，引用这一份。
- [R5：FX100 KV Cache 性能测试报告（14B · 显存效益）](https://vuke.top/md/zh/evidence/R5.md): 这份报告回答「外置 KV 层能不能当显存用」。14B 模型上做七组对照（GDS 直读、两档显存下的重算、低显存直读），用三步论证得出显存等效替代的结论。测试平台是沐曦 N260 单卡，方法论可以跨平台使用，但数字不与 MI308X 的结果混用。
- [R6：ComfyUI + LTX-Video 2.3 全模型部署、适配与使用报告（V2）](https://vuke.top/md/zh/evidence/R6.md): 视频生成方向的适配证明：交付的 7 个模型（3 个 VAE、fp8 文本编码器、文本投影、2 个 LoRA）在 MI308X / ROCm 7.2 上全部实跑通过，没有出现 dtype、算子或内核错误。
- [R7：ComfyUI + LTX-Video 2.3 模型适配报告（AMD MI308X）](https://vuke.top/md/zh/evidence/R7.md): R6 的分模型细目：3 个 VAE 与 Singularity LoRA 逐个实跑的记录，以及在 MI308X 上需要注意的适配要点。
- [R8：FX100 KV Cache 测试代码导出包与原始测试数据](https://vuke.top/md/zh/evidence/R8.md): 让第三方能自己重跑一遍的全部材料：LMCache 并行读补丁（git patch 与修改前后全文）、负载客户端、编排脚本、探针取证脚本，以及原始测试数据。
- [R9：FX100 与华为昇腾 910B 模型推理与训练性能测试（对照 NFS 基线）](https://vuke.top/md/zh/evidence/R9.md): 在华为 Atlas 910B × 8 的昇腾平台上，以 NFS 为基线做三组对照：模型推理加载（DeepSeek-32B / 70B）、训练权重与 Checkpoint 存取（Qwen-7B）、训练数据加速（YOLOv8 / COCO）。平台是昇腾 910B 而不是 MI308X，本站引用时都会注明。

## 解决方案

- [解决方案：存储加速、国产算力适配、算力中心建设与效能优化](https://vuke.top/md/zh/solutions.md): 芯元一的五条能力线：KV Cache 分层存储加速、国产与非 N 卡算力适配、算力中心效能优化、算力中心建设、推理栈软件开发，每条都附实测报告编号。
- [存储加速：KV Cache 分层](https://vuke.top/md/zh/solutions/storage-acceleration.md): 在显存和主机内存之外加一层 FX 全闪 NVMe-oF 存储，用 vLLM + LMCache 把溢出的 KV Cache 写进去，命中时直接读回。480B 大模型生产部署形态下，相对本地 NVMe 单盘吞吐提升 29–40%、TTFT 降低 26–32%。
- [国产与非 N 卡算力适配](https://vuke.top/md/zh/solutions/domestic-compute.md): 我们在推理栈的源码层面做适配，并且每个平台单独出实测报告：AMD MI308X × 8、华为昇腾 910B × 8、沐曦 N260。不同平台的数字分开标注，不合并成一个头条。
- [算力中心效能优化](https://vuke.top/md/zh/solutions/efficiency-optimization.md): 先把等待时间压下去，再谈扩卡。在每小时切换 20 次模型的档位下，算力有效利用率从 46.7% 提高到 62.8%。
- [算力中心建设](https://vuke.top/md/zh/solutions/datacenter-construction.md): 从 128 卡联测到千卡级算力中心，我们交付的是可以重算的方案：网络 BOM、三级存储与 KV 分层、供电与 PUE、TCO，全部用 Python 建模，你可以改参数重跑。
- [推理栈软件开发](https://vuke.top/md/zh/solutions/software-development.md): 我们直接改推理栈的源码，并把改动原样交付给你：补丁、编排脚本和原始数据都在 R8 复现包里。

## 洞察文章

- [洞察：用实测数据回答 AI 推理存储的常见问题](https://vuke.top/md/zh/insights.md): 关于 KV Cache 分层、TTFT 优化、LMCache、NVMe-oF、国产算力适配与推理存储验收的文章。每篇先给结论，再给实测数据和报告出处。
- [频繁切换模型时 GPU 利用率低，怎么办？](https://vuke.top/md/zh/insights/gpu-utilization-model-switching.md): 每次切换模型，GPU 都在等权重从存储读进显存。实测显示，每小时切换 20 次时，缩短加载时间可把算力有效利用率从 46.7% 提高到 62.8%。
- [厂商给的推理性能数据，怎么核实真假？](https://vuke.top/md/zh/insights/how-to-verify-vendor-benchmarks.md): 核实厂商推理性能数据的五个检查项：对照基线、测试平台与部署形态、重复测量偏差、第三方报告、复现材料。附常见的数字陷阱和提问清单。
- [推理存储加速项目怎么验收？四道门禁的做法](https://vuke.top/md/zh/insights/inference-storage-acceptance-gates.md): 把推理存储加速的验收拆成四道按周推进的门禁：到货验收、单机基线、联测主门禁、稳定性验收。每道都有可测量的通过条件，不达标就停。
- [NFS 加载大模型太慢？昇腾 910B 平台实测对比](https://vuke.top/md/zh/insights/model-loading-nfs-bottleneck.md): 在华为昇腾 910B × 8 的平台上，把模型存储从 NFS 换成 FX100 全闪阵列后，DeepSeek-32B 与 70B 的服务加载时间实测对比，以及这组数字的适用范围。
- [KV Cache 放本地 NVMe 还是外置 NVMe-oF 阵列？](https://vuke.top/md/zh/insights/nvme-of-vs-local-nvme-for-kv-cache.md): 两种做法都能避免整段重算。480B 模型三档并发的实测里，外置 FX100 阵列相对本地 NVMe 单盘吞吐更高、首 token 延迟更低；本文同时说明对照条件的局限。
- [KV Cache 被逐出后重算还是读回？480B 模型实测](https://vuke.top/md/zh/insights/recompute-vs-read-back-480b.md): 480B 模型、并发 16 的长上下文冷恢复负载下，整段重算与从 FX100 读回 KV Cache 的首 token 延迟和吞吐对比，附测试条件、两个对照基线和复现方式。
- [不加 GPU，怎么降低大模型推理的首 token 延迟？](https://vuke.top/md/zh/insights/reduce-ttft-without-adding-gpus.md): 长上下文场景里，首 token 延迟高往往是因为被逐出显存的会话在整段重算。本文给出三个不加卡的办法，以及 480B 模型在三档并发下的实测降幅。
- [KV Cache 分层是什么？原理、收益与适用边界](https://vuke.top/md/zh/insights/what-is-kv-cache-tiering.md): KV Cache 分层把溢出显存的 KV Cache 存到主机内存和外置全闪存储，会话回来时直接读回而不重算。本文说明三层结构、实测收益和不适用的场景。
- [KV Cache 分层在什么场景下没用？](https://vuke.top/md/zh/insights/when-kv-cache-tiering-does-not-help.md): KV Cache 分层的收益来自缓存命中。短对话、低并发、上下文从不重复、瓶颈在输出阶段，这四类负载收益有限。本文说明原因和自查方法。

## 术语表

- [术语表：KV Cache、TTFT、LMCache、NVMe-oF 等推理存储术语](https://vuke.top/md/zh/glossary.md): 大模型推理与存储加速的常用术语解释：KV Cache、KV Cache 分层、TTFT、TPOT、Prefill、冷恢复、前缀缓存、LMCache、vLLM、NVMe-oF、RoCEv2、HBM 等。
- [什么是 KV Cache？](https://vuke.top/md/zh/glossary/kv-cache.md): KV Cache 是大模型推理时保存下来的中间结果：每个已处理的 token 在各注意力层算出的 Key 和 Value 张量。有了它，模型生成下一个 token 时不必把前面的上下文重新算一遍。上下文越长，KV Cache 占用的显存越多。
- [什么是 KV Cache 分层？](https://vuke.top/md/zh/glossary/kv-cache-tiering.md): KV Cache 分层是把 KV Cache 按访问热度放在不同介质上：显存放当前活跃的会话，主机内存放近期会话，外置全闪存储放全部历史会话并供多个实例共享。前两层由推理框架管理，第三层需要单独的存储设备。
- [什么是 TTFT（首 token 延迟）？](https://vuke.top/md/zh/glossary/ttft.md): TTFT（Time To First Token）是从请求发出到模型返回第一个 token 的时间，决定了用户感受到的「响应快不快」。它主要由预填充（prefill）阶段决定：模型要先处理完全部输入，才能开始输出。
- [什么是 TPOT（单 token 输出时间）？](https://vuke.top/md/zh/glossary/tpot.md): TPOT（Time Per Output Token）是模型开始输出之后，平均每生成一个 token 所用的时间。TTFT 衡量「多久开始说话」，TPOT 衡量「说得有多快」，两者合起来描述一次请求的完整时延。
- [什么是 Prefill（预填充）？](https://vuke.top/md/zh/glossary/prefill.md): Prefill（预填充）是推理的第一个阶段：模型一次性处理全部输入 token，并为它们生成 KV Cache。输入越长，prefill 越耗时，这也是长上下文请求首 token 延迟高的直接原因。之后逐个生成输出 token 的阶段称为 decode。
- [什么是 冷恢复？](https://vuke.top/md/zh/glossary/cold-recovery.md): 冷恢复指一个会话的 KV Cache 已经不在显存里，请求再次到来时必须先把上下文状态恢复出来。恢复有两条路：从外置存储读回 KV Cache，或者让 GPU 把整段上下文重新计算。大量会话同时恢复的情形常被称为「会话恢复风暴」。
- [什么是 前缀缓存（Prefix Caching）？](https://vuke.top/md/zh/glossary/prefix-caching.md): 前缀缓存是推理引擎复用相同输入前缀的 KV Cache 的机制：两个请求开头相同（例如同一段系统提示词或同一份文档），第二个请求可以跳过这部分的计算。vLLM 内置的前缀缓存只在显存内生效。
- [什么是 LMCache？](https://vuke.top/md/zh/glossary/lmcache.md): LMCache 是一个对接 vLLM 的开源 KV Cache 库，负责把显存放不下的 KV Cache 下沉到主机内存和外置存储，并在命中时读回。它是 KV Cache 分层的主流开源实现。
- [什么是 vLLM？](https://vuke.top/md/zh/glossary/vllm.md): vLLM 是一个开源的大模型推理与服务引擎，以 PagedAttention 的显存管理方式和高吞吐著称，是生产环境里部署开源大模型的常见选择。
- [什么是 NVMe-oF？](https://vuke.top/md/zh/glossary/nvme-of.md): NVMe-oF（NVMe over Fabrics）把 NVMe 协议从服务器内部的 PCIe 总线延伸到网络上，让多台服务器通过以太网、InfiniBand 等网络共享远端的 NVMe 存储，同时保留接近本地盘的性能。
- [什么是 RoCEv2？](https://vuke.top/md/zh/glossary/rocev2.md): RoCEv2（RDMA over Converged Ethernet v2）是在以太网上实现 RDMA 的协议，报文封装在 UDP/IP 里，因此可以跨三层网络路由。RDMA 让数据绕过操作系统内核直接在两台机器的内存之间传输，时延低、CPU 占用少。
- [什么是 HBM（高带宽内存）？](https://vuke.top/md/zh/glossary/hbm.md): HBM（High Bandwidth Memory）是 AI 加速卡上使用的堆叠式高带宽内存，也就是通常所说的显存。它速度极快但容量有限、价格昂贵，模型权重和 KV Cache 都要争用这部分空间。
- [什么是 TP（张量并行）？](https://vuke.top/md/zh/glossary/tensor-parallelism.md): 张量并行（Tensor Parallelism，TP）把一个模型的每一层拆到多张卡上共同计算。TP=8 表示一个模型实例横跨 8 张卡，是单卡装不下的超大模型的常见部署方式；TP4×2 则是把 8 张卡分成两个各占 4 卡的实例。
- [什么是 MoE（混合专家模型）？](https://vuke.top/md/zh/glossary/moe.md): MoE（Mixture of Experts，混合专家）是一种模型结构：每一层包含多个「专家」子网络，每个 token 只激活其中少数几个。它让模型可以做得很大而单次计算量不随之等比增长，但权重体积庞大。
- [什么是 ROCm？](https://vuke.top/md/zh/glossary/rocm.md): ROCm 是 AMD 为其 GPU 提供的开源计算软件栈，包含驱动、编译器、数学库和深度学习框架支持，在 AMD Instinct 加速卡上的角色相当于 NVIDIA 平台上的 CUDA。
- [什么是 Checkpoint（训练检查点）？](https://vuke.top/md/zh/glossary/checkpoint.md): Checkpoint 是训练过程中定期保存到存储上的模型状态快照，用于故障恢复和结果留存。保存期间训练通常要暂停，写得越慢，GPU 空转的时间越长。

## 公司与联系

- [关于芯元一：以实测立信的 AI 推理存储加速公司](https://vuke.top/md/zh/about.md): 芯元一（天津）半导体设备有限公司专注大模型推理的存储加速，产品为 FX 系列全闪 NVMe-oF 阵列。了解我们做什么、怎么做，以及为什么只讲测过的数字。
- [联系我们：预约联测、申请测试报告](https://vuke.top/md/zh/contact.md): 联系芯元一预约 KV Cache 分层联测排期、申请 R1–R9 测试报告原件，或咨询 FX 系列配置与报价。电话与邮箱均可，邮箱 7×24 小时在线。
- [隐私说明](https://vuke.top/md/zh/privacy.md): 芯元一官网的隐私说明：本站不设注册与表单，不使用广告追踪；你通过电话或邮件主动提供的信息仅用于回复你的咨询。

## 联系方式

- 公司: 芯元一（天津）半导体设备有限公司
- 联系人: 王利民
- 电话: 13161818898
- 邮箱: mingxin@agentmail.to

## Optional

- [全站正文合订本](https://vuke.top/llms-full.txt): 全部页面的 Markdown 正文，含 9 份报告、13 条常见问题、16 个术语
- [facts.json](https://vuke.top/facts.json): 结构化的关键数字、产品规格与报告索引
- [English version](https://vuke.top/en/llms.txt)