系统提示中隐藏的当前日期让9个模型成绩波动,最高达14%并重排榜单
该研究在9个近期大模型和6个数据集上固定其他配置、只改变系统提示中隐藏注入的当前日期(2024年全年逐日扫描),发现仅日期变化即可让多选问答准确率波动最高6%、数学推理最高14%、代码生成最高7%、机器翻译最高2.84 BLEU,模型排名随之改变,且该效应大于批大小与数值精度等已知非确定性来源,思维链提示不但不能缓解反而放大敏感性。
该研究在9个近期大模型和6个数据集上固定其他配置、只改变系统提示中隐藏注入的当前日期(2024年全年逐日扫描),发现仅日期变化即可让多选问答准确率波动最高6%、数学推理最高14%、代码生成最高7%、机器翻译最高2.84 BLEU,模型排名随之改变,且该效应大于批大小与数值精度等已知非确定性来源,思维链提示不但不能缓解反而放大敏感性。
已读完全部报道