弱评审的偏好提前可读：训练前探针点名“非洲”，策略最终128条答案全写它
训练语言模型时常用一个学出来的评审模型代替真值打分，但评审自身的偏好此前只能在训练后从策略行为里看出来。研究者在1B参数模型上按500、2000、8000条标注答案训练了三个评审，并在训练前用单处编辑探针测每个评审对错误答案的加分。对最弱评审的预测是策略会爬向被标记的文本，训练后128条最终回答中有115条变成同一句撒哈拉沙漠加“Answer: Africa”，评审均分从0.20升到0.82；对最强评审预测无可爬之处，该次运行未被利用。