语言模型学会回头改稿：生成顺序与显示顺序解耦，删改插入不再重算前向

语言模型可以在写完之后回头修改已经生成的文本，插入、替换或删除任意数量的词元，而不再被从左到右的生成顺序锁死。 此前的自回归模型无法事后修改输出，离散扩散模型虽然能迭代纠正词元，但输出长度固定、每个词元位置固定，无法任意插入或删除。 在 MMLU、ARC-Challenge、GSM8K、MATH500、HumanEval 等标准基准上，AutoIndexer 8B LoRA 与同样微调的 Qwen3 8B LoRA 基本持平，并持续优于 LLaDA 8B 与 Dream 7B 两个扩散基线。

模型像文本编辑器一样工作：先决定何时开始编辑，再把光标移到序列中的位置，改完后回到末尾继续生成。 与 Fill-in-the-Middle 不同，待编辑的片段不是外部给定的，而是由模型自己预测。 训练时对干净序列施加随机采样的逆编辑操作，让模型学会撤销这些扰动；编辑诊断在 CPT 数据混合的留出验证集上每种操作取 100 个窗口，自由生成时每个窗口给 64 个词元的预算。

报告面向研究语言模型解码机制的研究人员与工程师。演示范围是 Qwen3 8B 骨干上的 LoRA 微调：先做继续预训练，再做指令微调，标准基准覆盖通用、数学科学与代码任务，编辑诊断覆盖插入、删除、替换与无操作四种情形。代码与融合注意力核、训练脚本一并公开。

插入类修正仍是最难的一类：不到一半的受损草稿触发了编辑，触发时定位正确的比例约为四分之一。教师强制设置下，模型在精确时间步发出编辑标记的概率偏低，因为错误与修正之间存在任意滞后。指令微调后，数学科学与代码任务相对原始 Qwen3 8B 检查点出现下降，作者推测与未做可验证奖励强化学习有关。