跳到主要内容

Changdae Oh

2 篇关联报道

arXiv 2026年10月1日
预训练模型配轻量推理框架在智能体任务中覆盖更多解，后训练带来可量化的锐化税
该工作发现，配备轻量推理框架的预训练大模型虽单次准确率（pass@1）远低于后训练版本，但在充足测试时预算下常以更高解覆盖率（pass@K）胜出；作者据此提出锐化税指标量化后训练导致的测试时可扩展性损失，并在四个家族14对模型、三个智能体基准共42个案例中显示该税普遍存在、可由少量采样估计，且提出按提示难度自适应温度的PTGS采样器以降低该税。
该工作发现，配备轻量推理框架的预训练大模型虽单次准确率（pass@1）远低于后训练版本，但在充足测试时预算下常以更高解覆盖率（pass@K）胜出；作者据此提出锐化税指标量化后训练导致的测试时可扩展性损失，并在四个家族14对模型、三个智能体基准共42个案例中显示该税普遍存在、可由少量采样估计，且提出按提示难度自适应温度的PTGS采样器以降低该税。
Stanford University New York University University of Wisconsin–Madison
Changdae Oh（第一作者）
锐化税后验温度组采样后训练大语言模型智能体基准测试
arXiv 2026年10月2日
后训练把任务推向“必解或必不解”两端：14对基座/后训练模型在三个智能体基准上普遍被征收“锐化税”，PTGS采样器把税降下来
该工作系统比较了14对开源基座与后训练模型（Gemma-4、Ministral-3、Qwen2.5、Qwen3.5，3B至35B）在BFCL v4多轮、WebShop、ACEBench三个多轮工具调用基准上的pass@1与pass@K，发现配备轻量harness的基座模型单次准确率远低，但在足够测试时预算下解覆盖常超过后训练版本；作者把这一覆盖损失定义为“Sharpening Tax”，并证明后训练把每个任务的成败概率推向“总是解出”或“总是解不出”两端，最后提出按提示难度自适应调温的PTGS采样器，在两个智能体环境中同时提升单次准确率与覆盖并降低该税。
该工作系统比较了14对开源基座与后训练模型（Gemma-4、Ministral-3、Qwen2.5、Qwen3.5，3B至35B）在BFCL v4多轮、WebShop、ACEBench三个多轮工具调用基准上的pass@1与pass@K，发现配备轻量harness的基座模型单次准确率远低，但在足够测试时预算下解覆盖常超过后训练版本；作者把这一覆盖损失定义为“Sharpening Tax”，并证明后训练把每个任务的成败概率推向“总是解出”或“总是解不出”两端，最后提出按提示难度自适应调温的PTGS采样器，在两个智能体环境中同时提升单次准确率与覆盖并降低该税。
Stanford University New York University University of Wisconsin–Madison
Changdae Oh（第一作者）
锐化税后验温度组采样后训练

已读完全部报道