冻结生成策略不必推倒重来：CANDO在噪声与动作两个空间同时修正，最终成功率91.4%
核心概要
预训练生成策略为机器人控制提供了强行为先验，但用在线强化学习高效适配它仍很困难：噪声空间残差方法靠固定的潜在可行域约束适配，可能排除有价值的噪声编辑，动作空间残差方法样本效率更高却仍有提升空间。CNDO去掉预定义潜在可行域，改为学习以状态和噪声为条件的方向，并用由保守价值估计与门控执行组成的软保守约束加以调节；CANDO在此基础上再加一个动作空间残差。实验报告CANDO取得76.1 NAUC和91.4%最终成功率，比最好的单空间结果高6.6 NAUC和4.1个百分点。
深度剖析
适配冻结的生成式策略时，不再需要预先划定一块潜在可行域来限制噪声空间的改动，而是让策略在噪声空间里学习朝哪个方向改。 此前的噪声空间残差方法通常用固定的潜在可行域来约束适配，这类区域可能把有价值的噪声编辑挡在外面。 CNDO去掉预定义潜在可行域后，把噪声空间与动作空间残差学习之间的差距缩小，为后续双空间组合提供了基础。
具体做法是学习以状态和噪声为条件的方向，围绕高斯潜在采样移动冻结策略的输入噪声，并用软保守约束控制改动幅度。 软保守约束由保守价值估计和门控执行两部分组成，替代了原先硬性的可行域边界。 在CNDO之上加入动作空间残差的CANDO，把结构化潜在空间改进与局部动作修正结合起来，在实验中超过任一单空间优化。
双空间组合的收益体现在指标上：CANDO达到76.1 NAUC和91.4%最终成功率。 这一结果比最好的单空间结果高6.6 NAUC和4.1个百分点成功率。 比较对象是同一实验设置下的最佳单空间结果，而非任意基线。
启示与展望
已展示的范围是冻结生成式策略上的残差强化学习实验，评价指标为NAUC和最终成功率；来源为摘要级信息，未给出任务集合、环境或训练样本量的细节。
来源以摘要形式呈现，76.1 NAUC与91.4%最终成功率所对应的具体任务、环境与训练规模未在可见文本中说明；双空间组合相对单空间的增益是否在不同设置下保持，文本未作说明。