语言模型学会给语言模型开药方：只跑200次真实训练，27B模型在留出任务上压过GPT-6-sol
核心概要
语言模型改进语言模型时，判断哪条改动值得试一直靠昂贵训练实验来验证。LM2LM把冻结的大模型当作“研究世界模型”，用真实实验记录在上下文中预测改动收益，作为强化学习奖励，并定期执行当前策略高分提案、把实测结果补回记录。在八个自回归与扩散语言模型开发环境上，Qwen3.8-27B经此训练后在留出任务上超过GPT-6-sol，即使后者上下文中带有300条真实实验记录，且数据生成成本低约33%。
深度剖析
语言模型现在可以通过强化学习获得“提出有效模型改进”的能力，而不必对每条提案都跑一次完整训练。 此前这类能力主要靠上下文学习，把历史实验记录塞进提示词；直接对几百条历史提案做监督微调或拒绝采样微调，并未稳定提升提案质量。 在留出研究状态上做真实执行评估，LM2LM在自回归任务上Avg@4为17.06、扩散任务上为7.10，均为对比方法中最高，并在93.3%和100%的状态上优于基座模型。
训练信号来自一个冻结的大模型，它只读上下文里的真实实验记录就预测某条提案能带来多少验证损失改善。 若用真实执行给强化学习打分，按每次训练约45个B200 GPU小时估算，一轮GRPO式设置约需2.56万次提案评估、逾115万GPU小时。 该研究世界模型以GPT-6-sol实例化，提案骨干为Qwen3.8-27B，构建器为GPT-6-astra，在40个训练任务、10个留出任务上评估，默认使用200次真实运行。
为防预测奖励随策略漂移而失真，训练中分三次挑出当前策略里被世界模型打高分的提案去真实执行，把实测收益写回上下文。 固定记录的静态版本在训练后期预测优势与真实优势的相关性转负，成对排序准确率从0.72跌到0.37，低于随机水平。 同样200次真实运行预算下，按高分挑选的校准在自回归Avg@4上为17.06，而随机补充记录为14.76；随机校准则把该指标拉低到10.84。
启示与展望
评估覆盖四个自回归家族（OLMo-3、Qwen3、NanoChat、Marin）和四个扩散家族（E2D2、E2D2-SW、MDM、BD3LM），共40个训练任务与10个留出任务，留出状态全部用真实实验历史构造，且不参与训练、世界模型接地或校准。结果针对提案层面的改进，而非端到端的完整研究流程。作者提出可把框架扩展到语言模型后训练等更广的研究环境，并在更长程的端到端研究中检验效果。
世界模型的预测仍不完美，在策略校准依然需要少量额外的模型训练运行。分家族结果显示收益并不均匀：在Marin和E2D2-SW上Avg@4落后于带上下文记录的GPT-6-sol，在NanoChat上各方法提升空间有限。作者也指出，预测奖励与实验收益不能保证所提模型改动的安全性或更广泛的实用性。