DexDICE把安全与性能拆成两套示范：真机导航10次全部到点，越界率为零
核心概要
离线模仿学习通常要求示范既安全又高效，或者需要人工写出代价函数，而这两者在真实场景里都难以获得。DexDICE把数据分成安全示范与高性能示范两组，用安全示范划定一个可行动的安全支撑集，再在其中逼近高性能示范的行为分布，训练全程不使用奖励或代价标签。在重新标注的DSRL基准38个任务上，它保持组平均代价低于约束并取得安全方法中最高的平均回报；在一台SUMMIT-XL移动机器人上，用20条人工遥操作示范训练后，10次试验全部到达目标且零安全违规。
深度剖析
离线模仿学习现在可以只靠两组分工不同的示范来同时约束安全与性能，而不必先写出代价函数或找到既安全又高效的单一专家。 此前的做法要么依赖显式指定的代价函数，要么要求示范本身既安全又高性能，而这类示范采集成本很高。 在重新标注的DSRL基准上，DexDICE在Safety Gymnasium、Bullet Safety Gym和MetaDrive三组共38个任务中，组平均代价均低于约束，且平均回合回报在满足约束的方法中最高。
方法把安全示范当作一块允许行动的边界，只限制策略能去哪里，不限制它在安全区内走得多频繁。 常规DICE类离线模仿学习用分布散度把策略拉向示范分布，当安全示范本身次优时会把策略一并拉向次优行为。 在可精确求解的表格网格世界中，分布约束会随安全示范质量下降而继承次优行为，支撑约束则允许策略在安全区内对齐高性能示范。
安全边界由判别器估计，并用一个目标漏检率来定阈值，因此安全强度由一个参数调节。 直接估计高维状态动作空间的安全密度不可行，而只用安全示范训练的估计器不够稳健。 用安全示范与无标签数据训练判别器，再按目标漏检率取分位数作为阈值；在11个任务的支撑估计对比中，该估计器在8个任务上AUROC最高。
启示与展望
演示范围是重新标注的DSRL仿真基准与一台SUMMIT-XL移动机器人的室内避障导航，真机数据为一名操作者采集的10条激进示范、10条保守示范和94条其余回合；理论保证针对理想支撑约束策略，实际部署的策略由加权行为克隆提取。
双专家问题需要可行条件，即安全示范与高性能示范之间存在非平凡重叠且安全支撑可分；受控实验显示重叠极小时性能会退化。精确的零越界保证只覆盖理想策略，加权行为克隆得到的策略是动作空间上全支撑的高斯分布，部署时把动作投影回估计支撑可显著降低但不消除这一差距。定理条件为总体层面，通过经验诊断监测而非认证，结果也依赖数据集构造阈值。