MinimalLM 不训练也能让大模型少说一半：生成 token 减少 47.6%，990 条回答无一结构截断
核心概要
大模型回答冗长会拉高推理延迟和算力开销，而只靠提示词压缩长度难以控制，提前停止又容易把句子截在半截。MinimalLM 把“何时该停”和“停在这里是否结构完整”拆成两个判断：解码时按长度和不确定性调整停止 token 的分数，只有落在句末标点、闭合代码块或配对括号处才允许生效。在三个开源模型、330 道题共 990 条回答上，生成 token 减少 47.6%，平均质量 8.04/10，基线为 8.42/10，且没有出现结构截断。
深度剖析
MinimalLM 让开源大模型在推理阶段少生成近一半 token，同时保证回答停在完整的句子或结构块上。 此前“请简洁”一类提示词虽免费，但长度控制松散且随模型而异；token 上限或提高停止 token 分数虽省 token，却会在任意位置切断回答。 在 Mistral-7B-Instruct-v0.2、Llama-3.1-8B-Instruct 和 Qwen2.5-3B-Instruct 三个模型、330 道题上，MinimalLM 生成 token 减少 47.6%（95% 置信区间 45.7%–49.5%），990 条输出中结构截断为 0，平均质量 8.04/10，未改动模型为 8.42/10。
省下的 token 来自更早、但停在合法边界的终止，而不是事后裁剪文本。 去掉完整性护栏后，同一停止机制虽减少 32.6% token，却有 59.3% 的回答被结构截断；在 MT-Bench 上 82% 的缩短回答提前终止。 990 条回答中只有 5 条在达到生成长度上限后被裁剪；与按相同 token 预算直接截断基线回答相比，MinimalLM 质量 8.04，截断为 6.46，裁剪到最后一个完整句子后为 6.82，被判完整的比例分别为 77%、11% 和 40%。
停止判断由长度压力、不确定性信号和结构门三者协同完成，不需要改参数或加辅助模型。 生成前先给一条约 200 词的系统指令，要求覆盖请求并写完句子和代码块；解码时只调整停止 token 的分数，其他 token 的选择不变。 停止分数随已生成长度上升，并按下一个 token 分布的熵调节；结构门只在句末标点、闭合代码块或配对括号处放行，阈值按开发集回答长度的第 25 与第 50 百分位附近选取，约在生成 380 个 token 后开始生效。
启示与展望
评估覆盖三个 3B–8B 参数的开源模型，使用贪心解码、单张 NVIDIA A40，题目取自 MT-Bench、AlpacaEval 和 Arena-Hard-Auto 的首轮提问，并另设健康、历史、经济、编程、科学、数学、写作、法律八个领域各一道代表性问题。
结构完整不等于信息覆盖：自动法官在 22.9% 的 MinimalLM 回答中识别出缺失请求信息，基线为 12.6%，但该法官与人工判断的一致性有限；人工抽检的 24 条 MinimalLM 回答均未被判为不完整。固定约 200 词预算在数学这类本就简短的回答上反而使 token 增加 42%，更大模型、其他解码策略和硬件配置尚未评估。