用户模拟器不再只学说话：每轮多写一段内心评价，助手强化学习算力省下一半以上
核心概要
用户模拟器在生成下一句话之前先写出对助手这一轮的内心评价，包括1到5分打分和批评或称赞的判断；在真实用户与ChatGPT的交互日志上，这种模拟器比同规模提示式模拟器更贴近真人，并让助手多轮强化学习在效果持平的同时把算力降到不足一半。
深度剖析
用户模拟器现在不只生成用户下一句话，还从第二轮用户话轮起先给出对助手回答的第一人称评价，包括内心想法、1到5分打分、指令是否被遵循、批评或称赞的反应，以及2到5个词的反馈摘要。 此前的模拟器主要被训练成话语生成器，要判断助手是否让用户满意，只能再调用一个外部评委模型从对话里估计这个信号。 在WildChat真实用户与ChatGPT的交互日志上，Gemma3-12B的统计对齐分从提示式基线的0.5135升到0.8635，困惑度从13.41降到3.13。
这些评价可以直接当作助手多轮强化学习的奖励信号，不再需要外部评委模型。 此前用外部评委的做法要额外跑一次大模型推理，而且评委与用户第一人称的主观判断未必一致。 用Gemma3-4B模拟器的内在奖励训练Qwen2.5-1.5B助手，在WildBenchV2的1024条多轮任务清单上满足率与外部评委方案相当或略好，而估计总算力只有后者的约2.24分之一。
模拟器打出的分数与真人判断的相关性也更高。 提示式模拟器虽然可控，但此前已被指出不够真实、会偏离真实用户行为。 在SimulatorArena的909段人类与助手对话上，Gemma3-12B-LES与真人评分的相关性为0.401，同规模提示式基线为0.295。
启示与展望
这套模拟器面向用真实用户交互日志训练的多轮对话环境，用于评估助手和做离线强化学习。训练数据来自WildChat-1M中经审核、去重并剔除WildBench重叠后的135901段英文对话，评价标注由Gemini3.1-Pro生成；助手侧实验用Qwen2.5-1.5B，模拟器侧覆盖Gemma3的4B、12B、27B以及Qwen2.5的3B、7B、14B。
内在奖励相对外部评委的性能优势被描述为不大，且依赖当前数据集；评委模型太小时强化学习几乎不涨，实验里Qwen2.5-3B评委只带来很小改进。带潜在状态的模拟器在批评行为上的召回率低于纯话语生成的SFT模拟器，作者解释为它们发起批评时更谨慎；训练数据中批评占14.15%、称赞仅1.26%，其余84.59%为中性。