# MinimalLM

大模型回答冗长会拉高推理延迟和算力开销，而只靠提示词压缩长度难以控制，提前停止又容易把句子截在半截。MinimalLM 把“何时该停”和“停在这里是否结构完整”拆成两个判断：解码时按长度和不确定性调整停止 token 的分数，只有落在句末标点、闭合代码块或配对括号处才允许生效。在三个开源模型、330 道题共 990 条回答上，生成 token 减少 47.6%，平均质量 8.04/10，基线为 8.42/10，且没有出现结构截断。

大模型回答冗长会拉高推理延迟和算力开销，而只靠提示词压缩长度难以控制，提前停止又容易把句子截在半截。MinimalLM 把“何时该停”和“停在这里是否结构完整”拆成两个判断：解码时按长度和不确定性调整停止 token 的分数，只有落在句末标点、闭合代码块或配对括号处才允许生效。在三个开源模型、330 道题共 990 条回答上，生成 token 减少 47.6%，平均质量 8.04/10，基线为 8.42/10，且没有出现结构截断。