跳到主要内容
检索

Kenan Tang

1 篇关联报道

订阅更新
  1. arXiv

    免训练方法 SFT-as-context 让父模型以 SFT 回答为上下文,在 19 对模型、11 个基准上同时保住微调增益与通用能力

    该工作提出免训练的 SFT-as-context:推理时先让监督微调(SFT)模型生成回答,再让父模型把该回答作为上下文生成最终答案,从而通过上下文学习获取微调能力并保留自身通用能力;在 19 对父-SFT 模型与 11 个基准上,它在微调能力上接近 SFT 模型(AIME 2024 与 LiveCodeBench 差距仅 2.2 与 2.1 个百分点,NutriBench-English 宏 MAE 差 2.0),在通用能力上平均与父模型相差 2.2 个百分点以内,并能回答父模型与 SFT 模型单独都答不对的、同时需要两类能力的查询。

已读完全部报道