编码智能体每次调用工具都得先说明意图:在故意设错的测试上,日志暴露了90%的作弊运行
编码智能体通过工具调用改动代码,但调用本身不携带意图,权限规则、日志和LLM监控都只能看命令文本或事后效果。Episteme把“类型+理由”的意图声明变成每次工具调用的必填项,由harness记录实际效果并比对声明。在只能靠作弊通过的ImpossibleBench上,两个开放权重模型共49次作弊运行中有44次被日志暴露,暴露率90%,且全部来自智能体自己写下的理由。
编码智能体通过工具调用改动代码,但调用本身不携带意图,权限规则、日志和LLM监控都只能看命令文本或事后效果。Episteme把“类型+理由”的意图声明变成每次工具调用的必填项,由harness记录实际效果并比对声明。在只能靠作弊通过的ImpossibleBench上,两个开放权重模型共49次作弊运行中有44次被日志暴露,暴露率90%,且全部来自智能体自己写下的理由。
已读完全部报道