# BIG-Bench Hard基准

研究者把大模型的解释从逐条自由文本改成一段可执行程序：程序在数据集上运行，与模型输出比对，用一致性衡量解释是否复现模型行为。在三个开源代码模型和八个任务上，24个模型-任务设置中有6个一致性超过0.75，代码解释比思维链短6到100倍，并在24个设置中的9个更贴合模型行为；但语言成分更复杂的任务上，一致性并不高于无信息基线。

研究者把大模型的解释从逐条自由文本改成一段可执行程序：程序在数据集上运行，与模型输出比对，用一致性衡量解释是否复现模型行为。在三个开源代码模型和八个任务上，24个模型-任务设置中有6个一致性超过0.75，代码解释比思维链短6到100倍，并在24个设置中的9个更贴合模型行为；但语言成分更复杂的任务上，一致性并不高于无信息基线。