AMD八卡跑Kimi K3追平英伟达B300：单卡吞吐高24.4%，每美元token多87.4%
核心概要
在公开的AgentX智能体负载上，八卡AMD Instinct MI355X系统用vLLM服务Kimi K3，在每用户每秒50 token的P90交互性下，单卡总吞吐约7,567 token/s，比NVIDIA HGX B300的6,083高出24.4%；按SemiAnalysis建模的每小时1.50美元与2.26美元GPU成本，每美元TCO产出1,816万对969万token，多87.4%。这一结果来自AMD与vLLM社区在注意力、循环状态、MoE和缓存上的持续工程优化，而非单点改动。
深度剖析
八卡AMD Instinct MI355X系统在AgentX智能体负载上服务Kimi K3，单卡总吞吐超过NVIDIA HGX B300，按建模拥有成本折算的每美元token数差距更大。 此前公开的稠密低精度矩阵峰值是MI355X的10.1 PFLOP/s MXFP4对B300的13.5 PFLOP/s FP4，两者显存同为288 GB HBM3E、峰值带宽同为8 TB/s，因此服务吞吐的差距并非由纸面算力决定。 在每用户每秒50 token的P90交互性目标下，MI355X约7,567 token/s/GPU对B300的6,083，高24.4%；按每小时1.50美元对2.26美元的建模成本，每美元TCO为1,816万对969万token，高87.4%。
Kimi K3的推理要同时处理三类状态：随对话增长的压缩KV历史、固定维度的循环状态，以及按token路由的专家网络。 MLA层保留随对话增长的压缩KV历史，新查询仍需回看这段历史；69层KDA则携带固定维度的状态矩阵，随新token到达而更新，两者对缓存与调度的要求不同。 在TP8下每张GPU负责96个MLA查询头中的12个，却要存下整段压缩KV历史；对142,000 token的对话，估算每卡MLA负载为24层×142,000位置×576 FP8字节，约1.96 GB。DCP8把缓存位置按八分之一切分后降到约245 MB。
缓存复用、MoE去重、算子融合与KDA并行化共同压缩了每步推理的重复工作。 原始ROCm路径中，路由专家输出投影在八张GPU上各算一遍；KDA单token路径要跑三个计算核并做两次输出拷贝；矩阵乘分发器还会在选中回退核时留下未使用的输入拷贝。 把输出坐标分给各GPU、复用已有的all-reduce后，PR测试在八卡TP8、并发8–128、8K输入/1K输出且关闭前缀缓存时吞吐提升3.05–4.91%；AttnRes融合在100K输入/1K输出下吞吐提升14.2%；KDA融合把单token路径合并为一次启动。
启示与展望
结果针对AgentX这一公开智能体负载：它回放真实编码智能体会话轨迹并保留请求长度、时序与前缀共享模式，用合成token与固定合成接受参考运行。吞吐与成本数字来自八卡、TP8、FP4权重与FP8 KV的配置，在每用户每秒30、50、150 token的交互性目标上按已发布的offload或纯GPU序列插值，插值区间内并发、DCP与草稿深度可能不同。成本比较使用SemiAnalysis的大规模超算拥有模型与已发布GPU成本常数，部分资本与利用率假设未公开。
公开曲线比较的是完整服务栈，而每项优化旁的测量来自各自独立的测试，只解释其声明配置下的单一机制。部分改动在头条结果所用镜像之后才合入，其独立AgentX实验在并发32和48时吞吐提升不足1%，在并发70时提升28.9%，同时报告的前缀缓存命中率从74.8%升到80.1%，重复运行的不确定度未报告。回放使用下载的数据集修订未记录，闭环回放可能产生不同的已完成请求组合。