用户模拟器不再只学说话:每轮多写一段内心评价,助手强化学习算力省下一半以上
用户模拟器在生成下一句话之前先写出对助手这一轮的内心评价,包括1到5分打分和批评或称赞的判断;在真实用户与ChatGPT的交互日志上,这种模拟器比同规模提示式模拟器更贴近真人,并让助手多轮强化学习在效果持平的同时把算力降到不足一半。
用户模拟器在生成下一句话之前先写出对助手这一轮的内心评价,包括1到5分打分和批评或称赞的判断;在真实用户与ChatGPT的交互日志上,这种模拟器比同规模提示式模拟器更贴近真人,并让助手多轮强化学习在效果持平的同时把算力降到不足一半。
面向仓库级软件开发,研究者构建了 ReqClarifyBench,用341个任务把模糊的用户意图、人工校验的详细需求文档和代码评测产物配成一套,并让带三种真实用户画像的模拟用户参与多轮澄清。六个大模型的对比显示,问得有效不等于文档写得好:澄清有效性最高的模型需求对齐反而偏低;但加入交互澄清后,平均需求对齐从0.212升到0.494,相对提升133.1%,代码生成得分也随之提高。
一个语言模型改从预测市场的价格变动里学行为推理,在 Polymarket 上方向准确率做到 0.674,并且不接触任何个人标注就零样本迁移到四个用户模拟基准。
已读完全部报道