解决方案
算力中心建设
算力中心建设
更新于
要解决的问题
算力中心的方案书常常只有结论,没有推导:网络怎么配、存储配多少、多久回本,都要你相信一张表格。
我们的做法
从 128 卡联测到千卡级算力中心,我们交付的是可以重算的方案:网络 BOM、三级存储与 KV 分层、供电与 PUE、TCO,全部用 Python 建模,你可以改参数重跑。
要点与出处
相关实测报告
- R1FX100 大模型推理与训练综合性能测试报告(AMD MI308X × 8)一份报告回答五个问题:LMCache 并行读补丁有多大作用、KV 分层在多卡下能否扩展、8 卡并发加载模型快多少、频繁切换模型时算力有效利用率如何变化、训练 Checkpoint 并发写能快多少。测试模型为 Qwen2.5-32B 与 7B。
AMD Instinct MI308X × 8 · ROCm 7.2 - R2FX100 KV Cache 性能测试报告(480B · TP8 长上下文)Qwen3-Coder-480B-FP8 以八卡单实例(TP=8)的标准生产形态部署,在长上下文冷恢复负载下做三方对照:FX100、本地 NVMe 单盘、无外存整段重算,并按并发 8 / 16 / 32 做梯度。本站引用最多的吞吐与 TTFT 数字出自这份报告。
AMD Instinct MI308X × 8 · ROCm 7.2 - R3FX100 KV Cache 性能测试汇总报告(480B · TP4×2 · 全指标)同一台 8 卡服务器改为四卡双实例(TP4×2)部署,九档负载记录全部指标:TTFT 的 p50 / p90 / p99、TPOT、吞吐与盘带宽。这份报告还验证了两件事:fs:// 共享池能让两个实例热共享同一份缓存;同一档位做两轮独立测量,偏差不超过 5%。
AMD Instinct MI308X × 8 · ROCm 7.2
相关产品
先联测,后决策
合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行,任何一道不达标就在那里停下,不必为没有被证实的收益买单。
G1第 2 周
到货验收
物料全部到货并点验合格;每台阵列上电自检通过,24 块盘全部识别。
G2第 4 周
单机基线
复现单节点 8 卡推理基线,与 R1 口径的偏差在 ±10% 以内;单阵列本地压测达到实测锚点 83% 的线效。
G3第 7 周
联测主门禁
KV 分层加速须同时满足:TTFT 降幅 ≥25%,吞吐提升落在 +29–40% 的实测区间内;8 个节点共享一台阵列时,回读带宽逼近网卡上限。
G4第 10 周
稳定性与验收
72 小时连续压测不中断;注入单盘、单链路故障时业务无感;出具签字版联测报告。
其他解决方案
- 存储加速:KV Cache 分层
存储加速
- 国产与非 N 卡算力适配
国产算力适配
- 算力中心效能优化
效能优化
- 推理栈软件开发
软件开发
- 联系人
- 王利民
- 邮箱
- mingxin@agentmail.to
邮箱由 AI 自动接收与分拣,7×24 小时在线