arXiv来源发表:
开源后训练配方让模型对低职位发帖人更苛刻，七个商用模型未见此偏向
核心概要
同一批随机化发帖人资料的核查任务上，开源 Tülu-3 后训练配方让 OLMo-2 32B 与 Tülu-3 70B 对低职位发帖人的说法更常判为不实，效应不到一个百分点但统计可靠，且能通过训练漂移检验并在独立声明集上复现；Meta、阿里巴巴和 Mistral 的配方没有产生这一偏向。在 OLMo-2 32B 中，模型并未更注意职位，而是把低职位从推向“真”改为推向“假”，这一翻转由单一残差流方向承载，发生在监督微调阶段。七个已部署商用模型都没有表现出对低职位发帖人的额外怀疑。
深度剖析
后训练是否让模型按发帖人职位调整真假判断，取决于具体配方而非后训练本身。 此前不清楚哪种后训练会改变模型对发帖人社会阶层的依赖程度，也不清楚这种改变在模型内部如何发生。 在六个模型家族的基础与后训练检查点上，用随机化发帖人资料的事实核查声明比较，只有开源 Tülu-3 配方（OLMo-2 32B、Tülu-3 70B）出现这种怀疑，Meta、阿里巴巴和 Mistral 的配方没有。
效应幅度不到一个百分点，但统计上可靠。 这一幅度需要与训练本身带来的漂移区分开。 该效应超过训练漂移，并在独立声明集上复现。
在 OLMo-2 32B 中，变化来自对职位的解读方式，而不是对职位的注意程度。 基础模型遇到低职位会把说法推向“真”，后训练模型则推向“假”。 这一翻转由单一残差流方向承载，发生在监督微调阶段，并在 400 条新声明上以预先设定的预测得到确认。
启示与展望
结论建立在带随机化发帖人资料的事实核查声明上，覆盖六个模型家族的基础与后训练检查点，机制分析集中在 OLMo-2 32B。
效应幅度不到一个百分点，虽统计可靠但很小；机制确认只在 OLMo-2 32B 上完成，其他模型家族是否共享同一残差流方向未在材料中说明。