vLLM 为 Kimi K3 训出 DSpark 草稿模型：数学推理单流交互从约110升到约435 tok/s/user
vLLM 项目的 Speculators 训练库新增对 2.8 万亿参数 Kimi K3 的支持，训练出五层、50 亿参数的 DSpark 草稿模型，用并行块加顺序校正做投机解码。在数学推理负载上，单流交互速度从约 110 提升到约 435 tok/s/user，并发下同等交互水平时输出吞吐最高约 3.5 倍；九个评测域的宏平均接受长度为每轮验证 4.11 个 token。
770 GB 检查点同步从36秒压到15秒：Baseten把父版权重留在GPU上，暂停只剩0.8秒
Baseten 把增量权重同步的父本从主机内存搬回 GPU，使约 770 GB 的 GLM-5.3 检查点同步从 36 秒、6 秒请求暂停降到 15 秒、0.8 秒暂停，吞吐最高提升 3.2 倍。此前每个副本要在主机内存保留完整父本，8×B300 节点上它与 1.1 TB 主机 KV 缓存无法共存，缓存只能缩到 275 GB。新路径只读取发生变化的 GPU 位置，并用增量校验和验证后再写入。
Kimi K3 以开放权重上线 Fireworks：前端代码榜 1679 分超过 Fable 5，训练走共享 GPU 池
开放权重模型 Kimi K3 在 Fireworks 上线首日即可用于推理与训练，发布方称其以远低于闭源模型的成本提供前沿级能力。在前端代码竞技场 Frontend Code Arena 上，K3 以 1679 分超过 Fable 5，成为首个排到所有闭源模型之前的开放模型；在 Artificial Analysis 智能指数上以 57 分位列全球第三。Fireworks 同时推出仅限美国境内的推理端点与默认零数据保留，并开放共享 GPU 池的无服务器训练私测。
Kimi K3解码不再逐行手写：智能体改写的CuTe DSL路径在16块GB300上跑到842 tokens/s
Kimi K3在vLLM中的解码路径改由编码智能体协助编写CuTe DSL内核，把注意力、MoE与跨GPU通信融合成一条统一路径。在16块NVIDIA GB300、DSpark合成接受长度6的设定下，解码吞吐达到842 tokens/s，为同规格投机解码下原生vLLM的1.73倍；无投机解码时，TP16在批16至64上保持1.62至1.71倍增益。配套的快速通道流程要求隔离改动、限定硬件与负载范围，并用内核测试与模型评测共同验证正确性。
AMD八卡跑Kimi K3追平英伟达B300：单卡吞吐高24.4%，每美元token多87.4%
在公开的AgentX智能体负载上，八卡AMD Instinct MI355X系统用vLLM服务Kimi K3，在每用户每秒50 token的P90交互性下，单卡总吞吐约7,567 token/s，比NVIDIA HGX B300的6,083高出24.4%；按SemiAnalysis建模的每小时1.50美元与2.26美元GPU成本，每美元TCO产出1,816万对969万token，多87.4%。这一结果来自AMD与vLLM社区在注意力、循环状态、MoE和缓存上的持续工程优化，而非单点改动。
已读完全部报道