两个独立模型不再互相拉平：只约束任务分数增量，六项语言任务平均比独立适配高0.52个百分点
核心概要
独立训练的模型各有互补能力，但知识迁移通常靠缩小预测或表示差异，这会削弱互补性。Corroborative Learning 让每个模型只学习任务分数的增量，再用同伴的表示在留出数据组上重建这些增量，重建得越差的方向被约束得越强。在六项语言任务、24个模型、36对组合上，它相对同等容量的独立适配在全部六项任务上都有提升，平均增益0.52个百分点，且推理时两个模型仍各自独立部署。
深度剖析
独立训练的模型可以互相借用能力，同时保留各自的推理路径，不必把输出或中间特征对齐到同一空间。 此前的迁移与互学习方法多通过缩小目标模型与协作者在预测、关系或表示上的差异来建立迁移，而这些差异本身正是互补性的来源。 在六项语言任务、24个独立训练模型、36对组合上，相对同等容量的独立适配，该方法在全部六项任务上都有提升，平均增益0.52个百分点；在960个严格成对比较中赢下827个，高于DML的689个。
每个模型先用自己的监督信号学出任务分数的增量，同伴的表示只用来重建这些增量，而不是被直接匹配。 重建关系在训练数据的不相交分组上拟合、在留出的那一组上评估，因此衡量的是关系能否跨组延伸，而不是在同一批样本上拟合出的偶然关联。 消融中，打乱同伴对应关系后增益降到0.03个百分点，仅用自身特征重建为0.14，同组内拟合与评估为0.23，冻结同伴为0.37，单向 corroboration 为0.34，完整方法为0.52且88.9%的有向结果优于独立适配。
在固定同伴表示和线性重建下，该方法等价于一个半正定方向正则项，跨组越难重建的响应方向被压得越强。 此前的共识式方法倾向于让同伴快速同质化，差异感知方法则显式利用分歧，但都缺少对目标模型任务函数变化的直接刻画。 在Re-TACRED的144个方向上，衰减随特征值增大而增强，最高两个分位约为0.85和0.83；按信号与噪声条件分组时，条件成立时归一化误差从0.182降到0.154，不成立时从0.045升到0.059。
启示与展望
演示范围是六项语言任务上的24个独立训练模型与36对组合，以及ResNet-50、ConvNeXt-Tiny和ViT-B/16三个骨干构成的视觉分类配对；训练时使用跨模型重建，推理时每个模型仍按自己的分数和预测路径独立运行。
方向性结论建立在固定同伴表示与线性重建的局部分析上，训练中同伴表示会随适配器参数变化；增益随协作标签比例下降而增大，从100%标签的0.52升到10%标签的1.54个百分点，说明结果依赖于监督量这一设定。