临床多轮智能体的奖励设计：只奖励最终结果会缩短问诊，给提问密集记分才稳住高危病例

临床多轮智能体的训练目标从只看最终动作，扩展到同时约束它如何收集证据。 此前的医学强化学习评估多强调最终答案是否正确，而临床决策往往是一串提问、解读与行动。 在急性诊断任务中，只按结果给分的GRPO把整体价值从基线的水平抬高，但高危价值与高危支持同时下降，平均提问数也降到远低于精确自适应参考策略的水平。

给能降低隐藏临床状态不确定性的提问额外记分，可以改变学到的问诊过程。 只按结果给分时，一条轨迹里哪个提问起了作用、哪个多余，模型得不到区分。 在诊断任务三个训练种子下，这种密集记分把整体价值提高到高于只按结果给分的水平，中等病例支持上升，高危支持在三个种子里都保持住，而只按结果给分有一个种子丢掉了该病例。

把探索与利用拆成两个阶段，能把高危覆盖推到更高，代价是低急症病例被过度问诊。 密集记分仍要求同一条轨迹同时平衡多问与早决。 在诊断任务中，拆分方法在最佳检查点把高危价值和高危支持都推高到高于密集记分的水平，但平均提问数升到高于基线、密集记分策略和参考策略，良性病例支持下降。

结论建立在三个合成、风格化、由确定性规则标注的模拟环境上，患者回答确定、发现项为二值，作者明确说明这些环境不是临床验证基准，训练出的策略不应被视为适用于患者照护。

作者指出高危病例在主要留出集中数量很少，诊断任务只有两例，拆分方法的结果依赖在留出集上挑选的检查点；除主诊断对比外，拆分方法、滴定的信息记分系数扫描、续方实验和偏置监督修复实验都只用一个训练种子，属于探索性结果。作者还说明信息记分作为辅助过程奖励使用，并不声称在所有任务和训练配置下保持策略不变。