自生成监督不再只靠整题猜答案：把子问题预测拼成更难样本的标签，组合式自改进能越过初始能力边界
核心概要
模型对更难、分布外样本难以给出可靠自生成监督，组合式自改进改为先预测较简单的子问题，再按组合规则拼成整题标签并反复训练。在三个可控算法任务上，这种组合标签把可靠预测推到初始范围之外，而直接自改进在加法与网格导航上几乎没有扩展；程序生成与多跳推理也显示组合标签比直接自标签更准确，但子问题不可靠、组合规则失效和监督覆盖不足会限制收益。
深度剖析
组合式自改进让模型在初始可靠范围之外继续提升，做法是用较简单子问题的预测拼出更难整题的训练标签。 同一扩展日程下，直接自改进把模型对整道难题的预测当作伪标签，在加法与网格导航上几乎没有带来这种扩展。 三个可控算法任务（网格导航、加法、最长连续段）中，组合监督都扩展了可靠预测范围；在程序生成与多跳推理上，组合标签也比直接自标签更准确。
组合标签的可靠性取决于子问题预测、组合规则和覆盖范围三件事，而不只是标签平均准确率。 此前把组合结构用于构造训练数据的工作，通常关注对新组合的泛化，没有系统区分这三类误差来源。 网格导航中初始单房间准确率较低的模型更早停滞；加法中跨块进位使未过滤的组合标签出错，过滤后自改进恢复；最长连续段中跨越拼接边界的连续段超出组合标签能表达的范围，准确率随超出长度增加而急剧下降。
即使组合监督不完美，它也能为强化学习提供一个有用的起点。 直接强化学习在正确样本稀少时采样效率很低，甚至拿不到奖励。 五步字符串变换上，直接强化学习即使把生成预算翻倍也从未采到正确组合，而先做短程组合式监督微调再强化学习则稳步提升；带类型 Python 任务上，预热后的强化学习用一半生成预算达到直接强化学习用满预算的水平。
启示与展望
讨论范围限于已给定分解方案和组合规则的任务：三个可控算法任务、Bash 管道生成、MuSiQue 多跳问答，以及字符串变换和带类型 Python 的强化学习预热实验。读者对象是研究自训练、伪标签与强化学习数据构造的人员。
作者明确指出，研究聚焦于已提供分解方案与组合规则的任务，如何在更不受控的环境中自动发现并验证这类结构仍是开放问题；另一个方向是在不引入额外组合误差的前提下扩大监督覆盖。多跳推理中组合标签的准确率随模型规模上升（首轮从 2B 的 45% 到 9B 的 65%），组件可靠性仍限制收益。