跳到主要内容
返回时间线
arXiv来源发表:

同一份证据被反复转述,模型不再越听越信:LQET把八轮转述后的漂移压到0.09

核心概要

在带来源标注的二元证据基准上,LQET让模型按证据来源而非报告条数更新信念,新证据更新RMSE相对仅任务训练下降41%至44%,八轮转述后的对数几率漂移下降89%至91%。

Source-provided article image: Provenance-Aware Belief Updating in Human-AI Feedback Loops
Figure 1 · arXiv

深度剖析

模型可以学会按报告携带的证据来源更新信念,而不是按报告出现的次数。 此前的逐条监督给每条记录单独的目标,无法直接约束同一证据在不同转述历史下应产生相同更新这一跨记录关系。 在受控二元基准上,相对仅任务训练,LQET把新证据更新RMSE降低41.25%(Qwen3-4B)和44.45%(Phi-4-mini),八轮转述后的对数几率漂移降低91.36%和89.38%,每个主干三个配对训练种子。

训练目标把可见的转述关系翻译成一致的信念更新。 LQET在稀疏软目标监督之外加入四类来源不变性约束、三类新证据更新一致性约束和一项呈现顺序约束,共使用13个训练视图,而仅任务训练只用7个逐点监督视图。 两个主干各用4000个训练家族、400个验证家族,训练500次更新,并在400个同分布测试家族、800个受控偏移家族和200个递归转述家族上评估。

稳定性来自对转述的选择性忽略,而不是把所有更新都压平。 在固定报告作者与显示结果、只改变所声明来源的配对对照中,复制与新增证据的RMSE从1.0145降到0.4383(Qwen)和从0.9818降到0.4630(Phi),而新增证据的RMSE与仅任务训练接近。 同一配对对照的零截距回归斜率从0.027升到0.782(Qwen)和从0.067升到0.769(Phi),理想值为1。

启示与展望

该结果适用于受控二元设定:父报告链接由外部提供,来源可靠性模型已指定,因此可以精确检验证据记账。评估覆盖两个4B级主干和三个配对训练种子,结论限于这一范围。来源明确把向更大模型、自然任务以及不完整或不可靠来源的迁移列为后续工作。

强制选择的是非得分只衡量二元偏好,自由形式的概率估计与下游决策质量需要单独评估。在留出的先验与校准支持上,更新RMSE更低的同时监督视图KL上升约0.013 nat,数值泛化仍是待解问题。置信度相关的反馈模拟在预设信任规则下隔离报告回流,来源指出仍需有人类参与者的研究来评估该机制在实际人机交互中的表现。