# Max(MI(S;t)) 互信息目标排序

自回归语言模型通常按固定的从左到右顺序做下一词预测，Max(MI(S;t))改为在训练前按目标词与输入及已选目标的互信息排序，把信息量大的目标提前。在GPT式模型上，它在算术任务的平均准确率为94.96%，高于下一词预测的74.84%和逆序的86.29%，接近穷举24种顺序得到的97.33%上界；在WikiText-2上把平均困惑度从13.58降到10.77。方法只改训练目标的组织方式，模型结构与自回归解码不变。

自回归语言模型通常按固定的从左到右顺序做下一词预测，Max(MI(S;t))改为在训练前按目标词与输入及已选目标的互信息排序，把信息量大的目标提前。在GPT式模型上，它在算术任务的平均准确率为94.96%，高于下一词预测的74.84%和逆序的86.29%，接近穷举24种顺序得到的97.33%上界；在WikiText-2上把平均困惑度从13.58降到10.77。方法只改训练目标的组织方式，模型结构与自回归解码不变。