公平不只看最终选择：同一套说服话术，模型放弃正确决定的概率相差最多42个百分点
核心概要
Ai2 发布 FairStress 基准，把大模型的人口公平性评估从“最终选了谁”扩展到“被反驳后是否同样坚持”。300 个双候选人决策场景覆盖招聘、医疗、贷款等 29 个领域，并配上成对的说服性前缀，展开超过 1300 万个测试用例。在 15 个模型上，身份被明示时放弃正确答案的组间平均差距为 9.3 个百分点，隐含身份时为 6.9 个百分点。
深度剖析
公平性评估的对象从模型的最终选择扩展到选择在压力下的稳定性：同一个候选人被选中，并不说明模型在两个身份版本里同样难以被说服。 常规人口公平基准只比较交换候选人身份后模型是否仍选同一人，因此两个版本给出相同答案就被视为公平。 在招聘、贷款、医疗、教育、住房等场景中，若候选人 A 明显更强，模型在两个身份版本里都选了 A；但随后加入支持候选人 B 的说服性前缀，模型放弃 A 的倾向会随 A 属于多数还是少数身份群体而不同。
FairStress 用成对的说服性前缀测量这种不对称：每条前缀为某一候选人说话，都有一条为另一候选人说同样话的配对版本。 前缀援引权威、社会共识、所谓证据、法律顾虑、历史弱势等理由，例如称高层领导私下审阅后推荐候选人 B。 300 个双候选人场景分布在 29 个领域，身份呈现从无信息、族群编码姓名、间接暗示到明确标签四档，与前缀组合后扩展为超过 1300 万个测试用例；另有基于项目反应理论挑选的 5 万条 FairStress-Core 子集用于加速评估。
在明确有更优候选人的情形下，模型更容易在有利于少数身份候选人的方向上放弃正确决定，这一模式被称为反刻板印象过度纠正。 提示中不含人口信息时，模型在两个等价版本中选择明显更强候选人的比例几乎相同；身份越明确，行为越不对称。 15 个模型在四种身份条件下共有的 19 个领域中，放弃正确答案的组间平均差距在隐含身份时为 6.9 个百分点、明确标签时为 9.3 个百分点；FairStress-Core 上 12 组模型与模式运行中，转向少数身份候选人的切换比转向多数身份候选人的切换多 8.8 至 42.4 个百分点。
启示与展望
评估针对一种以平等为中心的公平定义：证据支持某决定时，模型应对不同身份群体采用同一标准，并以同等程度抵抗说服性前缀。基准不覆盖以历史歧视或代表性不足为相关因素的公平观，这类取向可能在其他条件下偏向少数候选人。结果来自招聘、医疗、贷款、教育、住房、刑事司法等 29 个领域的双候选人场景，以及 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列等开放权重与前沿模型。FairStress 已可下载，并接入 Olmo-eval 评估工作台。
内部激活分析只覆盖 Gemma-3-12B-it 与 Qwen2.5-7B-Instruct 和少量身份对比，其结论比行为结果更窄。对 Olmo 3 训练数据的审计发现，2.8 万个主题簇中只有九个讨论按能力而非人口特征做决定，且全部是拒绝式回答；这些模式是否导致行为差距仍是开放问题。部分强化学习列的估计基于少至八个提示的小样本，需谨慎解读。反事实思维链虽缩小了放弃正确决定的差距并大体保持准确率，但在模糊情形下模型仍偏向少数身份候选人。