# 双重Q学习

难治性抑郁的重复经颅磁刺激（rTMS）疗程约36次，每次选刺激类型、强度和单双侧，临床缺少逐次调整的循证依据。研究用一家行为健康网络2023年1月至2025年6月、19个诊所组1609名成人的电子病历训练强化学习策略，在未参与训练的6个诊所370名患者上，医生选择与推荐一致的场次，下一次PHQ-9改善比不一致场次多0.788分（95%置信区间0.634–0.940）。若每次都按推荐执行，首个疗程被推算可多改善3.22分，但这是回顾性关联，尚未做前瞻验证。

难治性抑郁的重复经颅磁刺激（rTMS）疗程约36次，每次选刺激类型、强度和单双侧，临床缺少逐次调整的循证依据。研究用一家行为健康网络2023年1月至2025年6月、19个诊所组1609名成人的电子病历训练强化学习策略，在未参与训练的6个诊所370名患者上，医生选择与推荐一致的场次，下一次PHQ-9改善比不一致场次多0.788分（95%置信区间0.634–0.940）。若每次都按推荐执行，首个疗程被推算可多改善3.22分，但这是回顾性关联，尚未做前瞻验证。

递归QAOA每消去一个变量都要重新测量，采样总量随递归层数累积，而各步难度并不相同。研究把深度1递归QAOA的逐步采样量当作序贯决策问题，用基于局部难度指标的启发式规则给出基线，再让表格型Double Q学习智能体在拉格朗日约束下学习对基线的残差修正，消去规则保持不变。在固定每步预算上限的公平协议下，留出操作子集130对策略—实例上，启发式相对均匀分配减少约23%总采样，强化学习策略减少36.1%，有效每次成功采样比为0.676，并在训练未见的规模上保持约36.6%的降幅。

递归QAOA每消去一个变量都要重新测量，采样总量随递归层数累积，而各步难度并不相同。研究把深度1递归QAOA的逐步采样量当作序贯决策问题，用基于局部难度指标的启发式规则给出基线，再让表格型Double Q学习智能体在拉格朗日约束下学习对基线的残差修正，消去规则保持不变。在固定每步预算上限的公平协议下，留出操作子集130对策略—实例上，启发式相对均匀分配减少约23%总采样，强化学习策略减少36.1%，有效每次成功采样比为0.676，并在训练未见的规模上保持约36.6%的降幅。

该工作提出 UniIntervene++，把在线强化学习策略、轨迹纠正与任务结构化 CodePolicy 建模为半马尔可夫决策过程中的 Option 并在线学习其相对价值，配合周期性无辅助探测与耦合经验学习，在五项真实机器人操作任务上取得 89.67% 平均成功率，比最佳基线高至少 6 个百分点，并把人工干预率降至 0.77%。

该工作提出 UniIntervene++，把在线强化学习策略、轨迹纠正与任务结构化 CodePolicy 建模为半马尔可夫决策过程中的 Option 并在线学习其相对价值，配合周期性无辅助探测与耦合经验学习，在五项真实机器人操作任务上取得 89.67% 平均成功率，比最佳基线高至少 6 个百分点，并把人工干预率降至 0.77%。