可解释性工具不必逐模型重造:加几十条无标注提示,拒绝方向跨模型恢复102%
可解释性工具通常在一个模型内部用带标签数据单独构建,换模型就要重做。该研究用只在无标注提示上拟合的岭回归映射,把拒绝方向、正确性方向和情感探针从源模型搬到目标模型,覆盖五个家族、1B到72B参数的110个有序模型对。只用普通问题拟合映射时,拒绝转向只恢复54%;加入工具工作区域的无标注提示后,拒绝恢复升到102%,正确性增益恢复到88%至98%,而随机与正交对照最多恢复1%。
可解释性工具通常在一个模型内部用带标签数据单独构建,换模型就要重做。该研究用只在无标注提示上拟合的岭回归映射,把拒绝方向、正确性方向和情感探针从源模型搬到目标模型,覆盖五个家族、1B到72B参数的110个有序模型对。只用普通问题拟合映射时,拒绝转向只恢复54%;加入工具工作区域的无标注提示后,拒绝恢复升到102%,正确性增益恢复到88%至98%,而随机与正交对照最多恢复1%。
实验室小鼠的年龄可以从一张普通照片中读出,但读出的主要是相对年龄而非绝对年龄。研究汇集七个设施、1292只小鼠的2846张照片,用未经小鼠数据训练的DINOv2视觉特征加岭回归预测年龄;在未见过的设施上绝对误差中位数达138天,而同一场次内配对比较时较老个体被排得更老的比率为65%,年龄差超过500天时升至95%以上。预测年龄高于实际年龄的小鼠更虚弱,每100天照片年龄差对应虚弱度增加0.12个标准差、死亡风险升高14%。
该工作提出仿射后处理:把固定的分数估计计算预算拆分到多个信号水平上查询基础估计器,再用线性组合(岭回归/线性平滑)池化这些估计,并证明在计算量匹配时,这种拆分-池化估计比单点同策略估计有更低的分数误差,在病态高斯、多峰混合与高维目标上把终端 Wasserstein 距离最多降低两个数量级。
已读完全部报道