# OLMo-2

同一批随机化发帖人资料的核查任务上，开源 Tülu-3 后训练配方让 OLMo-2 32B 与 Tülu-3 70B 对低职位发帖人的说法更常判为不实，效应不到一个百分点但统计可靠，且能通过训练漂移检验并在独立声明集上复现；Meta、阿里巴巴和 Mistral 的配方没有产生这一偏向。在 OLMo-2 32B 中，模型并未更注意职位，而是把低职位从推向“真”改为推向“假”，这一翻转由单一残差流方向承载，发生在监督微调阶段。七个已部署商用模型都没有表现出对低职位发帖人的额外怀疑。

同一批随机化发帖人资料的核查任务上，开源 Tülu-3 后训练配方让 OLMo-2 32B 与 Tülu-3 70B 对低职位发帖人的说法更常判为不实，效应不到一个百分点但统计可靠，且能通过训练漂移检验并在独立声明集上复现；Meta、阿里巴巴和 Mistral 的配方没有产生这一偏向。在 OLMo-2 32B 中，模型并未更注意职位，而是把低职位从推向“真”改为推向“假”，这一翻转由单一残差流方向承载，发生在监督微调阶段。七个已部署商用模型都没有表现出对低职位发帖人的额外怀疑。

训练语言模型时常用一个学出来的评审模型代替真值打分，但评审自身的偏好此前只能在训练后从策略行为里看出来。研究者在1B参数模型上按500、2000、8000条标注答案训练了三个评审，并在训练前用单处编辑探针测每个评审对错误答案的加分。对最弱评审的预测是策略会爬向被标记的文本，训练后128条最终回答中有115条变成同一句撒哈拉沙漠加“Answer: Africa”，评审均分从0.20升到0.82；对最强评审预测无可爬之处，该次运行未被利用。

训练语言模型时常用一个学出来的评审模型代替真值打分，但评审自身的偏好此前只能在训练后从策略行为里看出来。研究者在1B参数模型上按500、2000、8000条标注答案训练了三个评审，并在训练前用单处编辑探针测每个评审对错误答案的加分。对最弱评审的预测是策略会爬向被标记的文本，训练后128条最终回答中有115条变成同一句撒哈拉沙漠加“Answer: Africa”，评审均分从0.20升到0.82；对最强评审预测无可爬之处，该次运行未被利用。