跳到主要内容
检索

# 仅偏置引导

1 篇关联报道

订阅更新
  1. arXiv

    冻结7B主干、只训10万偏置参数:无标签TTRL在MATH-500达76.67%,并迁移到4500道未参与优化的问题

    该工作提出无标签的偏置-only测试时强化学习:冻结预训练主干,仅用多数投票伪标签作为奖励、只优化约10万个偏置参数(28层MLP的down_proj.bias),在MATH-500上Qwen2.5-7B达76.67%、Qwen2.5-Math-7B达79.50%,同一流程还改善视觉语言与音频推理,冻结后的偏置向量在4500道验证互斥MATH题上把Qwen2.5-7B从46.3%提升到70.9%、Qwen2.5-Math-7B从52.5%提升到75.4%,并从伪标签可靠性与可及梯度能量两方面解释受限子空间为何仍能有效适配。

已读完全部报道