一个空格改写多选题评分:正确选项概率掉几个数量级,准确率却多半只动半个点
多选题评测里,提示词末尾那个空格归到提示还是归到选项,会改变模型给正确选项的概率。把空格留在选项一侧时,提示词与选项的切分与预训练中见过的分词一致;把空格留在提示词一侧时,正确选项的对数概率低出几个数量级。九个模型与基准组合中有六个准确率变化不到半个百分点,但 Qwen3.5 在 PIQA 上掉了近十个百分点。
多选题评测里,提示词末尾那个空格归到提示还是归到选项,会改变模型给正确选项的概率。把空格留在选项一侧时,提示词与选项的切分与预训练中见过的分词一致;把空格留在提示词一侧时,正确选项的对数概率低出几个数量级。九个模型与基准组合中有六个准确率变化不到半个百分点,但 Qwen3.5 在 PIQA 上掉了近十个百分点。
已读完全部报道