当AI评审训练AI评审者：科学判断坍缩与缓解

提出并验证了“科学判断坍缩”这一递归AI评审训练现象：引入合成评审后，评分分布被压缩，同论文语义多样性与语料级语义多样性随合成暴露增加而单调下降。 此前关于递归训练的研究多关注生成数据导致的分布尾部消失或模型崩溃，本文把目标换成“条件性科学判断”，在评审这一具体场景中给出受控实验证据。 受控实验：同一初始化与训练配置下仅改变合成评审比例，四个变体（0%、33%、66%、100%）共享过滤与优化设置；在2,000篇留出论文上评估，报告同论文语义距离约11%、语料级语义扩散约5%的下降，评分均值变化非单调，说明是多样性压缩而非系统性宽松或严苛。

提出TrustReviewer开源系统，在训练期通过统一筛选与策展语料减少低质量与语义退化监督，在推理期通过成对激活引导进一步缓解残余的坍缩倾向。 将数据策展与激活引导两类既有思路组合到评审生成任务上，且引导向量由同一论文的官方评审与模型生成评审的表示差异估计，无需再训练或额外专家标注。 策展语料含112,743个论文–评审样本、约19亿token；引导向量在5,000对校准样本上估计，超参数用100对独立验证样本按推荐完全匹配选择，最终选最后一层与强度1.0。

在留出论文集上，TrustReviewer取得所评估模型中最高推荐完全匹配率75.40%，平均绝对距离1.079为最低，评分熵2.18高于Llama（1.53）、Qwen（1.94）与OpenReviewer（2.10），接近官方评审参考的2.38。 相对其Llama初始化（完全匹配33.93%）与外部专用评审模型OpenReviewer（73.10%），在推荐一致性与判断多样性两个维度同时给出可比结果。 每篇论文三次独立生成，温度0.6、top_p 0.95、最多4,096新token，无固定解码种子；指标为完全匹配与相对官方平均评分的平均绝对距离，缺失或不可解析评分不赋默认值。

推理期成对激活引导在不更新参数、不增加专家标注的前提下带来额外增益：完全匹配从73.85%升至75.40%（+1.55个百分点），评分熵从2.13升至2.18，语料级语义扩散扩大，平均绝对距离基本不变。 表明测试期表示干预可作为训练期策展的补充手段，且其效果并非在所有多样性指标上一致提升——同论文语义距离略有下降。 同一TrustReviewer检查点在开启与关闭引导下对比，引导仅加在最后一个token位置，模型参数保持不变。

该工作面向使用LLM生成或辅助撰写评审的会议与期刊场景，尤其是评审文本会进入公开数据并可能被用于后续模型训练的情形；它给出的是一个受控的单步递归实验框架，以及可复用的训练期策展与推理期引导流程，适用于希望保留判断多样性并提升推荐一致性的评审模型构建者。

作者指出实验仅覆盖一个递归步骤、一个基座模型家族与一个评审领域，多代际是否累积、跨模型规模与学科是否一致仍是开放问题；多样性指标基于嵌入距离，属于实质性多样性的代理，并不直接证明评审识别了不同且正确的科学关切；官方评审被当作制度性参考而非真值，可能包含错误、分歧或未被识别的AI协助；推荐完全匹配与平均绝对距离衡量的是与官方评分分布的一致性，而非科学判断的正确性。此外，本次读取的文本中部分表格与图的具体数值以占位形式呈现，若需精确复现应查阅原文图表。