# 内在奖励

用户模拟器在生成下一句话之前先写出对助手这一轮的内心评价，包括1到5分打分和批评或称赞的判断；在真实用户与ChatGPT的交互日志上，这种模拟器比同规模提示式模拟器更贴近真人，并让助手多轮强化学习在效果持平的同时把算力降到不足一半。

用户模拟器在生成下一句话之前先写出对助手这一轮的内心评价，包括1到5分打分和批评或称赞的判断；在真实用户与ChatGPT的交互日志上，这种模拟器比同规模提示式模拟器更贴近真人，并让助手多轮强化学习在效果持平的同时把算力降到不足一半。

该工作提出以反事实信息比较策略的探索准则，即策略历史在多大程度上可替代其他策略下的经验，并在一个简单环境中构造出计数、预测误差、赋权与信息增益等内在奖励目标的最优策略在该准则下帕累托次优的情形，进而解释这些失败并给出既有内在奖励能有效鼓励最优探索的条件，同时构造出一个在探索按该准则严格改善时给予更高价值的目标。

该工作提出以反事实信息比较策略的探索准则，即策略历史在多大程度上可替代其他策略下的经验，并在一个简单环境中构造出计数、预测误差、赋权与信息增益等内在奖励目标的最优策略在该准则下帕累托次优的情形，进而解释这些失败并给出既有内在奖励能有效鼓励最优探索的条件，同时构造出一个在探索按该准则严格改善时给予更高价值的目标。