# 在线规则自蒸馏

在线评分细则自蒸馏（ORSD）让当前策略从同一组同策略轨迹的差异中自行生成自然语言过程评分细则，再由冻结验证器按细则满足度与任务成功的相关性选出一份，作为特权信息比较同一批词元在有无细则下的对数似然差，把轨迹级GRPO优势细化为词元级信用。在ALFWorld与WebShop上，Qwen3-1.7B和Qwen3-4B在相同环境交互预算下均取得所比较方法中最好的总体结果。

在线评分细则自蒸馏（ORSD）让当前策略从同一组同策略轨迹的差异中自行生成自然语言过程评分细则，再由冻结验证器按细则满足度与任务成功的相关性选出一份，作为特权信息比较同一批词元在有无细则下的对数似然差，把轨迹级GRPO优势细化为词元级信用。在ALFWorld与WebShop上，Qwen3-1.7B和Qwen3-4B在相同环境交互预算下均取得所比较方法中最好的总体结果。