安全控制器不再只追平均回报：把最弱证书裕度当训练目标，三类系统测试集零违规
核心概要
安全关键系统的学习型控制器通常先最大化平均回报，再用惩罚、约束或运行时过滤补上安全。CeDL 改为无奖励训练：把李雅普诺夫稳定性、控制屏障安全、时序逻辑鲁棒性与可行性裕度合成一个证书裕度，用对抗伪造器找出最接近违规的场景反复强化。在 URLLC 无线资源分配、传感器网络节能路由和机器人避障三类仿真中，CeDL 在测试集上观测到零违规，并给出比奖励型强化学习、约束强化学习、模型预测控制、屏蔽强化学习和经典控制器更大的最小证书裕度。
深度剖析
学习目标从最大化期望回报换成最大化最坏情况下的证书裕度，控制器因此被直接训练去加固自己最薄弱的可审计行为。 此前的安全学习方法多把安全作为惩罚项、约束、训练后验证或外部纠正层附加在回报最大化之上，证书往往只针对稳定性或逐点安全中的单一性质。 在 URLLC 无线场景的消融中，完整 CeDL 的截止期违规率为 0.00%、最小证书裕度为 0.187，而改用平均裕度训练时违规率为 0.29%、最小裕度为 0.031。
策略与证书一起训练，证书不是训练后的诊断工具，而是损失函数的一部分。 证书型控制通常假定证书已知，或只在标称控制器周围强制给定安全条件。 证书由李雅普诺夫项、屏障项、时序鲁棒项与可行性项取最小值构成，并用光滑最小值近似以便反向传播；无线场景中证书以队列、截止期欠账和违规累积的二次型先验加神经网络残差参数化。
对抗伪造器在声明的运行域内搜索最接近违规的场景，把低裕度样本存入困难场景库，作为反例引导的训练信号。 常规做法依赖随机采样或标称场景验证，反例只用于检验而不进入训练。 去掉对抗伪造后，URLLC 场景的截止期违规率从 0.00% 升到 0.18%，99.9% 分位时延从 3.12 ms 升到 4.96 ms，最小证书裕度从 0.187 降到 0.064。
运行时安全屏蔽只作为最后的可行性保护层，在标称策略接近证书边界时把动作拉回最近的可行动作。 在常规屏蔽强化学习中，策略主要按回报训练，屏蔽在决策之后纠正不安全动作。 URLLC 场景中 CeDL 的屏蔽激活率为 6.4%，屏蔽强化学习为 18.7%；机器人场景中 CeDL 为 7.1%，屏蔽强化学习为 21.4%。
启示与展望
结论的适用范围是声明的有界运行域：状态、控制、扰动与参数集合假定为紧集，相关映射在运行区域内局部利普希茨，CeDL 不声称对任意未建模环境全局安全。评估在 URLLC 无线资源分配、无线传感器网络节能路由和机器人避障三个仿真域进行，测试集规模分别为 10,000、8,000 和 6,000 个场景，其中对抗场景为 2,000、1,500 和 1,500 个。
零违规是测试集上的观测结果，只有当所有可接受场景的证书裕度都为正时才是域级证书条件。作者还指出，保证依赖声明的运行域、证书类的表达能力、对抗场景生成的质量以及运行时屏蔽的可行性，并列出更紧的泛化界、可扩展分布式实现与硬件在环验证作为后续方向。