冻结模型不改参数也能进步:TextualRL把同题多次尝试写成上下文补丁,六个基准平均最高提升24.4个百分点
TextualRL把同一任务、同一上下文下的多次执行作为一个整体来批评,而不是只看单条轨迹,再把评审后的文本补丁写回共享上下文,模型参数始终冻结。在五个目标模型、六个基准上,它取得每个目标的六基准平均最高分,相对无技能基线提升11.4至24.4个百分点,相对最强基线SkillOpt提升0.9至3.2个百分点。
TextualRL把同一任务、同一上下文下的多次执行作为一个整体来批评,而不是只看单条轨迹,再把评审后的文本补丁写回共享上下文,模型参数始终冻结。在五个目标模型、六个基准上,它取得每个目标的六基准平均最高分,相对无技能基线提升11.4至24.4个百分点,相对最强基线SkillOpt提升0.9至3.2个百分点。
已读完全部报道