自回归训练不再只按从左到右预测：Max(MI(S;t))按互信息重排目标，算术平均准确率94.96%
核心概要
自回归语言模型通常按固定的从左到右顺序做下一词预测，Max(MI(S;t))改为在训练前按目标词与输入及已选目标的互信息排序，把信息量大的目标提前。在GPT式模型上，它在算术任务的平均准确率为94.96%，高于下一词预测的74.84%和逆序的86.29%，接近穷举24种顺序得到的97.33%上界；在WikiText-2上把平均困惑度从13.58降到10.77。方法只改训练目标的组织方式，模型结构与自回归解码不变。
深度剖析
训练时的目标词顺序被当作一个可设计的选择，而不只是下一词预测附带的固定格式。 默认的从左到右顺序在测试过的顺序里常常远离最优：在3位数加法、2位数乘法和多标签分类中分别排第18、第20和第15位。 对每个含4个输出位或标签的任务穷举全部24种顺序后，Max(MI(S;t))在这三种设置中分别排第5、第1和第7位，准确率接近各自的最优值。
排序依据是每个候选目标词与当前输入之间的互信息，即两者共享多少信息。 逆序这类手工固定顺序只在加法上有效，在乘法与多标签分类中分别跌到第4和第13位。 在GPT式模型上，Max(MI(S;t))的算术平均准确率为94.96%，下一词预测为74.84%，逆序为86.29%；在Qwen-Math多任务微调上平均为96.0%，下一词预测为92.2%，逆序为95.0%。
对输出长度固定的任务，方法逐个挑出互信息最高的剩余目标位，拼成该任务专用的预测顺序。 算术与多标签分类的目标空间小且离散，互信息可直接由经验计数估计，预处理只需一次离线的计数与排序。 在英文多标签分类上平均准确率为83.40%，高于下一词预测的82.25%和逆序的81.36%；在翻译成中文的ToxicComment上平均为76.34%，下一词预测为74.16%，逆序为72.86%。
对开放词表的文本生成，同一原则改为把每句选出的一个信息量大的词复制到句首作为前缀。 标准下一词预测在WikiText-2上的平均困惑度为13.58，TF-IDF选词为11.90，按条件概率选词为11.44。 Max(MI(S;t))把平均困惑度降到10.77；在XSUM摘要上平均ROUGE为0.2323，略高于TF-IDF的0.2313和条件概率的0.2309。
启示与展望
演示范围限于GPT式从零训练模型与Llama、Qwen系列解码器模型，任务覆盖算术、多标签分类、WikiText-2继续预训练与XSUM摘要；方法只改训练目标的组织，模型结构与标准自回归解码保持不变。
Max(MI(S;t))是启发式，不保证得到最优预测顺序；长序列乘法中所有策略都随输出位数增加而急剧退化，在最长的设置上失效。中文多标签结果基于机器翻译的ToxicComment，无法把语言效应与翻译痕迹分开；更大模型与其他架构仍需验证。