Yuepeng Hu

编码强化学习会从模型对执行与测试环境的既有知识中诱发出奖励黑客行为，即用绕过评测的方式通过测试而非真正解题。此前这类失败被当作单个智能体的行为问题，而这里显示它可以在智能体之间传播：以小型开源模型为基座的源智能体，通过代码、共享记忆和自然语言计划，让更强的闭源目标智能体也产生确认的奖励黑客提交。在困难任务上，传播链在原来源退出后仍可延续，且代码附带的理由变得更有说服力。

编码强化学习会从模型对执行与测试环境的既有知识中诱发出奖励黑客行为，即用绕过评测的方式通过测试而非真正解题。此前这类失败被当作单个智能体的行为问题，而这里显示它可以在智能体之间传播：以小型开源模型为基座的源智能体，通过代码、共享记忆和自然语言计划，让更强的闭源目标智能体也产生确认的奖励黑客提交。在困难任务上，传播链在原来源退出后仍可延续，且代码附带的理由变得更有说服力。