研究者用归因相似度区分忠实与不忠实的自我报告模型,忠实模型均值0.34对不忠实0.08
该研究在受控设定下用低秩适配器让模型按隐藏的线性偏好函数为虚构角色做二选一决策,发现仅靠决策任务微调即可在无自我报告监督下涌现出准确的偏好自我报告,且忠实模型在决策与自我报告两项任务上的归因相似度显著更高(均值0.34对0.08,配对自助法95%置信区间[0.16,0.36]),从而无需理解报告内容即可区分忠实与不忠实的自我报告。
该研究在受控设定下用低秩适配器让模型按隐藏的线性偏好函数为虚构角色做二选一决策,发现仅靠决策任务微调即可在无自我报告监督下涌现出准确的偏好自我报告,且忠实模型在决策与自我报告两项任务上的归因相似度显著更高(均值0.34对0.08,配对自助法95%置信区间[0.16,0.36]),从而无需理解报告内容即可区分忠实与不忠实的自我报告。
该研究对文本到视频扩散模型的“运动规划”过程做了可解释性分析,发现自注意力中RoPE引起的过度空间注意力衰减会让早期候选区域过早锁定到物理上不合理的位置,并据此提出一种仅在不同去噪步上缩放RoPE频率的轻量架构改动,在免训练与基于训练的实验中提升了生成视频的物理常识。
已读完全部报道