# 安全强化学习

临床多轮智能体要在信息不全时决定问什么、何时停、做什么。研究在药物续方分诊、急性诊断检查、抗凝滴定三个可控模拟环境中比较奖励设计：只按最终结果给分的GRPO常靠少问问题抬高平均收益，却出现过早决策和高危病例退化；在诊断任务中，对降低隐藏状态不确定性的提问额外记分，三个训练种子下留出价值与中等病例支持均提高，且未出现只按结果训练时的高危种子崩塌。

临床多轮智能体要在信息不全时决定问什么、何时停、做什么。研究在药物续方分诊、急性诊断检查、抗凝滴定三个可控模拟环境中比较奖励设计：只按最终结果给分的GRPO常靠少问问题抬高平均收益，却出现过早决策和高危病例退化；在诊断任务中，对降低隐藏状态不确定性的提问额外记分，三个训练种子下留出价值与中等病例支持均提高，且未出现只按结果训练时的高危种子崩塌。

ShieldVLA 提出一种面向视觉-语言-动作（VLA）模型的安全对齐微调框架：它从视觉观测中无模型地学习 Hamilton-Jacobi 可达性安全价值函数作为安全评论家，用该评论家把策略优化门控为“可行区域内最大化奖励、接近不安全状态时转向恢复”，并以基于评分量规的 VLM 安全分数替代人工逐步代价标签，在五个导航与操作基准（Dubins-VL、TurtleBot-Nav、Safety-CHORES Nav/Fetch、Franka-Reach）上跨多个 VLA 主干，平均降低累计安全代价 57%、相对 SafeVLA 提升任务成功率 0.13。

ShieldVLA 提出一种面向视觉-语言-动作（VLA）模型的安全对齐微调框架：它从视觉观测中无模型地学习 Hamilton-Jacobi 可达性安全价值函数作为安全评论家，用该评论家把策略优化门控为“可行区域内最大化奖励、接近不安全状态时转向恢复”，并以基于评分量规的 VLM 安全分数替代人工逐步代价标签，在五个导航与操作基准（Dubins-VL、TurtleBot-Nav、Safety-CHORES Nav/Fetch、Franka-Reach）上跨多个 VLA 主干，平均降低累计安全代价 57%、相对 SafeVLA 提升任务成功率 0.13。