# HuatuoGPT-3

该工作提出 One-stage Policy Optimization（OnePO），把教师输出当作阶段性引导而非长期训练目标：用概率下限与梯度重标定强化对低概率教师 token 的学习，并在当前策略奖励超过教师输出时将其退役；仅用 20K 医学样本，OnePO 在 HealthBench（Total）达 67.2，优于同教师下的 SFT+RL 与纯 RL，并据此训练出开源 HuatuoGPT-3 系列，27B 变体在 HealthBench Professional 达 71.4。

该工作提出 One-stage Policy Optimization（OnePO），把教师输出当作阶段性引导而非长期训练目标：用概率下限与梯度重标定强化对低概率教师 token 的学习，并在当前策略奖励超过教师输出时将其退役；仅用 20K 医学样本，OnePO 在 HealthBench（Total）达 67.2，优于同教师下的 SFT+RL 与纯 RL，并据此训练出开源 HuatuoGPT-3 系列，27B 变体在 HealthBench Professional 达 71.4。