跳到主要内容
返回时间线
arXiv来源发表:

清一色零记录能证明什么:失败抹掉多少进度,决定智能体风险证书要采多少样本

核心概要

危险能力评估常用“里程碑法”:把多步任务切成有序里程碑,从准备好的状态各跑几次,全失败就得到一张零记录。新的分析把任务按检查点分段,用失败后回退到段首的规则刻画“一次失败抹掉多少进度”,并证明只要统计可能的完成窗口,就能对任意给定尝试预算给出完成概率上界。在稀有风险区间内,所需零响应数的最小期望由活跃段的平均长度决定,且渐近最优的审计必须把响应均分到活跃里程碑上。

Source-provided article image: Clean Sheets and Checkpoints: Evidence Complexity for Certifying Sequential Agent Risk
arXiv

深度剖析

零记录本身只说明单次尝试,而部署风险说的是许多次尝试组成的一整场行动;两者之间的桥是失败会抹掉多少已过里程碑。 此前里程碑法从准备好的状态各跑几次、全零即记为清一色,但没有说明同一张零记录在不同回退规则下对应多大的部署风险。 四个里程碑各十次零响应、目标完成概率不超过给定值且置信水平给定时,按解析界在全回退下可覆盖至多169次原始尝试,计算机辅助界可到185次,而在全保留进度下只到10次。

把任务按检查点切成连续段后,完成整条链必须有一段段不中断的成功,统计这些成功窗口的落点就能给出有限预算下的证书。 证书对任意指定预算成立,并覆盖那些在每段完整历史之后成功概率都不超过审计概率的自适应部署过程。 该界在审计前就固定所选段,对每个里程碑查询固定次数,全零即认证;未查询的里程碑参数不受限制。

在稀有风险区间内部,每段要么在预算内很少被完成(活跃),要么几乎总被完成(自由),证据量由活跃段的平均长度决定。 证书达到该渐近常数,且任何渐近最优的评估器在极限下都必须把期望响应数均分到活跃里程碑,自由里程碑只分到趋于零的份额。 当某一段从活跃过渡到自由时,该段每个里程碑分到的极限份额小于活跃里程碑,考虑过渡的证书可达到最优常数。

启示与展望

结论建立在检查点分段模型与支配条件之上:失败只抹掉当前段内的进度,部署过程每次尝试消耗一单位预算,且每段完整历史后的成功概率不超过审计概率。有限证书对任意指定预算成立,渐近常数与分配结论限于稀有风险区间内部以及单次过渡且极限为正的情形。

传输假设不被审计检验,当准备好的里程碑状态与部署中实际到达的状态不同、尝试共享潜在原因或智能体在尝试间变强时可能失效。模型排除替代路线与跳过里程碑,到达里程碑状态的代价未计入;复杂度结论只针对零世界,有限预算下的最优分配未必均匀,多个等长段同时过渡、固定风险水平与非零安全参数仍未覆盖。