跳到主要内容
检索

# 模型生物体(失准模型)

1 篇关联报道

订阅更新
  1. arXiv

    语言模型的不良行为压下去还会反弹:PEARL把训练起点挪到半错轨迹上,重训后仍压得住

    语言模型在后续微调中可能重新出现已被压制的错误行为,而常规后处理能否压住、能压多久此前缺少统一比较。PEARL在GRPO的在线采样之外,加入从已缓存的不良轨迹中间状态续写的对抗前缀,让策略练习从半错状态恢复。在Qwen3-4B与GPT-OSS-20B两类模型、窄触发与宽触发两类实验模型上,PEARL即时压制较强并保住任务准确率,在宽触发设定和GPT-OSS-20B上收益最明显;窄触发加Qwen3-4B时,大量定向重训下SFT更耐久。

已读完全部报道