PLaMo 3.1 Prime 把推理与非推理装进同一模型，部署算力不用再翻倍

一个模型现在同时覆盖推理与非推理两种模式，PLaMo 3.1 Prime 收到请求后按指定模式决定是否先写出思考过程再作答。 上一代 PLaMo 3.0 Prime 把两种模式做成两个模型，指令微调与强化学习各有一套流水线；按照当时的部署配置，同时提供两种模式所需计算资源是只部署 PLaMo 2.2 Prime 或 PLaMo 3.0 Prime Beta 这类单一模式模型时的两倍。 对比覆盖 35 个基准、9 个类别，两个模式相对 PLaMo 3.0 Prime 在多数类别上分数更高，推理模式下 Web 检索报告类平均高出 11.1 分，安全性在两个模式下都是所比开放模型里最高的。

两种模式能装进同一个模型，靠的是训练数据的混合方式，模型按请求指定的模式决定是否先输出推理过程。 两阶段指令微调里，第一阶段只用带推理过程的数据打底，第二阶段把一部分样本的推理过程整段删掉后与完整样本混合训练；随后接通用强化学习、面向 Web 检索任务的强化学习，最后以非推理模式的任务为中心用偏好学习（DPO，直接拿成对的好坏回答调整输出）调整回答。 逐阶段的推理与非推理分数显示，混合微调之后即便只用推理数据继续训练，非推理模式也随推理模式一起上升；STEM/Code 的非推理分数下降，因为第二阶段指令微调刻意压住非推理模式回答越写越长的倾向，让它更快作答。

服务端的提速来自两项工程改动：推测解码让轻量草稿模型先猜几个 token、主模型一次验证；KV Cache 低位量化则把模型为已处理 token 保存的键值缓存压到更低比特。 LLM 一次只生成一个 token，每生成一个都要把权重从显存读一遍，瓶颈落在带宽而不是算力；推测解码猜对的 token 直接采纳，猜错处按主模型分布重采，因此质量与不用草稿时一致。 在 NVIDIA 的 SPEED-Bench 上，输出 token 吞吐比在并发 1 时为 1.70 倍，并发 32 时降到 1.28 倍，因为并发越高越没有余量吸收验证草稿的额外计算；KV Cache 低位量化则在相同批量下把每 token 生成时间缩短 15%–45%。

评测在自家 GPU 集群上用 vLLM 完成，35 个基准归入 9 个类别，模型经 PLaMo Chat 与 API 提供服务；实际部署会按目标硬件做优化，行为与性能可能与评测有出入。发布方给出的下一步是把推理量做成可调，让用户按用途在 token 数与性能之间选择，并继续加强 Web 检索问答与长上下文 RAG、同时发展编程智能体方向的能力。

两处退步被明确记录：推理模式的指令遵循、非推理模式的 STEM/Code 分数低于 PLaMo 3.0 Prime。与同性能带的开放模型相比，STEM/Code 与 Web 检索问答在两个模式下都更低，对话与长上下文 RAG 也常处劣势；非推理模式虽然所用 token 最少，分数却明显低于 Gemma 4 31B IT 与 Qwen3.8 27B 的非推理模式。