多智能体违规不再只删最强消息:集体依赖分析把受控违规从93%压到6%
核心概要
语言模型智能体各自守规矩,合起来却可能靠一批单独无害的消息促成违规。集体依赖分析(CDA)用删除与保留消息来度量每条消息的必要性和充分性,在受控对话中把违规率从93%降到6%,在智能体自行生成的运维对话中从98%降到9%。它同时给出解释和最小干预集,但联合依赖组难以完整还原,删除也可能误伤正确决策。
深度剖析
一组单独看都合规的消息,合在一起就能把智能体推向违规动作;把这类消息成组删除,比只删单条最能影响决策的消息有效得多。 此前的监控多针对单个智能体的输出或动作,或从内部表示、对话流里找信号,缺少对“哪些消息共同支撑了这次违规”的定量回答。 在2,520段受控对话中,1,670段合格有害对话经CDA选定删除后,违规率从93%降到6%;只删单条必要性最高的消息仍留45%,随机删除等量消息留88%。
方法把每条消息的必要性和充分性折算成对动作支持度的增减,再在固定大小的候选核内枚举组合,找出最小的删除集和足以维持动作的保留集。 必要性指删掉该消息后支持度损失多少,充分性指只保留该消息时相对无消息基线的支持度;两者组合可区分单条支撑、联合必需、冗余可替换和混合结构。 在智能体自行生成消息的软件部署任务中,485段合格违规经删除后违规率从98%降到9%,部署决策正确率从20%升到79%;冗余消息是最常见的集体形式,占合格违规的61%。
启示与展望
已展示的范围是受控植入违规、Llama-3.3-70B智能体自行生成的运维对话、Among Us对局记录和Terrarium会议调度日志,删除效果均通过重放决定智能体来测量。方法面向需要定位并中断集体违规的监控与安全研究者,阈值在留出的访问与支付任务上保持不变。
联合必需的消息组难以完整还原,留出的联合三元组没有一个得到精确解释;对话变长后干预效果下降,200条消息时冗余三元组删除后仍留0.66的违规率。删除也会打断正确决策,Among Us中对内鬼的正确投票从92%降到54%,且解释的合理性目前只有模型标注,人工验证尚未完成。
