解决方案
国产与非 N 卡算力适配
国产算力适配
更新于
要解决的问题
国产卡和非 N 卡买回来只是第一步。推理框架要重新编译，缓存库的读路径要重写，多模态模型的算子要逐个验证——这些工作没人做，卡就只是放在机房里的硬件。
我们的做法
要点与出处
相关实测报告
- R1FX100 大模型推理与训练综合性能测试报告（AMD MI308X × 8）一份报告回答五个问题：LMCache 并行读补丁有多大作用、KV 分层在多卡下能否扩展、8 卡并发加载模型快多少、频繁切换模型时算力有效利用率如何变化、训练 Checkpoint 并发写能快多少。测试模型为 Qwen2.5-32B 与 7B。
AMD Instinct MI308X × 8 · ROCm 7.2 - R5FX100 KV Cache 性能测试报告（14B · 显存效益）这份报告回答「外置 KV 层能不能当显存用」。14B 模型上做七组对照（GDS 直读、两档显存下的重算、低显存直读），用三步论证得出显存等效替代的结论。测试平台是沐曦 N260 单卡，方法论可以跨平台使用，但数字不与 MI308X 的结果混用。
沐曦 N260 单卡 - R6ComfyUI + LTX-Video 2.3 全模型部署、适配与使用报告（V2）视频生成方向的适配证明：交付的 7 个模型（3 个 VAE、fp8 文本编码器、文本投影、2 个 LoRA）在 MI308X / ROCm 7.2 上全部实跑通过，没有出现 dtype、算子或内核错误。
AMD Instinct MI308X · ROCm 7.2 - R7ComfyUI + LTX-Video 2.3 模型适配报告（AMD MI308X）R6 的分模型细目：3 个 VAE 与 Singularity LoRA 逐个实跑的记录，以及在 MI308X 上需要注意的适配要点。
AMD Instinct MI308X - R8FX100 KV Cache 测试代码导出包与原始测试数据让第三方能自己重跑一遍的全部材料：LMCache 并行读补丁（git patch 与修改前后全文）、负载客户端、编排脚本、探针取证脚本，以及原始测试数据。
AMD Instinct MI308X · ROCm 7.2 - R9FX100 与华为昇腾 910B 模型推理与训练性能测试（对照 NFS 基线）在华为 Atlas 910B × 8 的昇腾平台上，以 NFS 为基线做三组对照：模型推理加载（DeepSeek-32B / 70B）、训练权重与 Checkpoint 存取（Qwen-7B）、训练数据加速（YOLOv8 / COCO）。平台是昇腾 910B 而不是 MI308X，本站引用时都会注明。
华为 Atlas 910B × 8（Kunpeng-920）
相关产品
先联测，后决策
合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。
G1第 2 周
到货验收
物料全部到货并点验合格；每台阵列上电自检通过，24 块盘全部识别。
G2第 4 周
单机基线
复现单节点 8 卡推理基线，与 R1 口径的偏差在 ±10% 以内；单阵列本地压测达到实测锚点 83% 的线效。
G3第 7 周
联测主门禁
KV 分层加速须同时满足：TTFT 降幅 ≥25%，吞吐提升落在 +29–40% 的实测区间内；8 个节点共享一台阵列时，回读带宽逼近网卡上限。
G4第 10 周
稳定性与验收
72 小时连续压测不中断；注入单盘、单链路故障时业务无感；出具签字版联测报告。
其他解决方案
- 存储加速：KV Cache 分层
存储加速
- 算力中心效能优化
效能优化
- 算力中心建设
算力中心建设
- 推理栈软件开发
软件开发
- 联系人
- 王利民
- 邮箱
- mingxin@agentmail.to
邮箱由 AI 自动接收与分拣，7×24 小时在线