# Taste-Bench基准

该工作把智能体在长程任务中“在结果可见之前选对方向”的能力定义为品味，用已有智能体轨迹中的分叉点自动构建了502道题的Taste-Bench基准，发现最强模型仅答对59.7%，且分叉的决定性证据出现越晚越难、增加推理预算无改善，同时通过把“已知答案的教师”的推理蒸馏进学生模型，使学生在未见任务上的判断提升17.9个百分点，并在留出的SWE-bench Pro任务上把执行成功率从14.6%提升到33.7%。

该工作把智能体在长程任务中“在结果可见之前选对方向”的能力定义为品味，用已有智能体轨迹中的分叉点自动构建了502道题的Taste-Bench基准，发现最强模型仅答对59.7%，且分叉的决定性证据出现越晚越难、增加推理预算无改善，同时通过把“已知答案的教师”的推理蒸馏进学生模型，使学生在未见任务上的判断提升17.9个百分点，并在留出的SWE-bench Pro任务上把执行成功率从14.6%提升到33.7%。