Sakana Namazu 以 NVFP4 上线：万亿参数模型保住日语能力，草稿模型把 p99 延迟从 68 秒压到 52 秒
核心概要
Sakana AI 与 Modal 合作，把约 1 万亿参数的混合专家模型 Sakana Namazu 以 NVFP4 精度部署到生产 API。压缩只作用于承载大部分参数的路由专家，注意力、路由器和共享专家保持 BF16，并用偏重日语的对话数据校准，使模型在日语指令遵循上与生产检查点相当。定制草稿模型在超过 300 亿原始 token 上训练，相比通用草稿模型把投机 token 接受率提高 25%；上线后用约 100 万条真实请求重训的第二版草稿模型，在 1000 条留出请求回放中把平均接受长度从 3.51 提到 5.01，p99 延迟从 68 秒降到 52 秒。
深度剖析
约 1 万亿参数的 Sakana Namazu 现在以 NVFP4 精度在 Modal 上提供 API 推理服务，这是一种为 NVIDIA Blackwell GPU 设计的低精度格式，可降低显存占用并提高吞吐。 全精度下该模型的显存需求要求非常大的集群，而标准训练后量化配方虽能压缩占用，却可能损害模型质量，对非英语模型尤其如此，因为常用校准数据集捕捉不到语言语域或工具调用行为。 量化后的模型在日语指令遵循上与 Sakana 的生产检查点相当，差异落在 Sakana 自己公布的基准的噪声范围内，同时以 NVFP4 的速度和显存运行。
量化方案只压缩承载大部分参数的路由专家，注意力、路由器和共享专家保持 BF16 精度。 团队没有套用现成的量化配方，而是先测量 Sakana Namazu 的权重在 NVFP4 数值下对压缩的响应，再据此设计方案。 校准使用符合 Sakana Namazu 风格的对话并大幅偏重日语，使模型的 23,040 个专家在固定缩放系数前都见到有代表性的流量。
定制 DFlash 草稿模型在 Sakana Namazu 的原始 token ID 上训练，而不是在解码后重新分词得到的文本上训练。 通用草稿模型在通用文本上训练，对 Sakana Namazu 的日语商务语域猜测很差，接受率低于 40%。 训练语料超过 300 亿 token，相比通用草稿模型把投机 token 接受率提高 25%，每 token 解码延迟下降约 35%，每个副本在排队延迟上升前可多承载约 40% 的流量。
上线后从零训练的第二版草稿模型改用 DFlash2 架构，在客户以非零温度采样时表现更好，而这类采样覆盖 Sakana Namazu 的大部分流量。 第一版草稿模型在 Sakana Namazu 尚未处理任何公开请求前训练，学到的是代表性流量而非真实流量。 在相同硬件上并行运行两套相同服务配置，用客户实际采样设置回放 1000 条训练中未见过的留出请求，平均接受长度从 3.51 升到 5.01，提高 43%，p99 延迟从 68 秒降到 52 秒。
启示与展望
已展示的范围是 Sakana Namazu 在 Modal 的 GPU 池上以 NVFP4 运行、跨四块 GPU 做张量并行推理的生产部署，以及在该部署上测得的量化、草稿模型和路由改进；这些数字属于这一模型与这一服务配置。
日语指令遵循的对比被描述为落在 Sakana 自己公布基准的噪声范围内，而非精确持平；第一版草稿模型基于代表性流量而非真实请求训练，第二版才改用约 100 万条真实请求。