机器学习智能体不必每次都真跑:4B世界模型预测程序结局,17项任务命中77.9%
核心概要
AI研究智能体每试一个候选程序都要训练和评估模型,执行成本限制了每步能比较的候选数量。MLE-World 由 Qwen3.5-4B 微调而来,只读代码与数据说明就预测程序的终端输出、异常类型和验证分数,并给出置信度。在17项 MLE-bench Lite 任务的留出程序上,其预测终端输出与真实运行一致的比例为77.9%,提示模型基线为41.1%;以它指导的测试时扩展策略最高比无世界模型的智能体高出22.1%的观测平均表现,同时减少真实执行。
深度剖析
机器学习工程智能体在搜索时可以先比较多个候选程序,再只真正运行其中一个。 此前的剪枝和排序方法能降低总执行量,但单次执行成本不变,也不返回错误轨迹和训练日志供后续调试。 在17项 MLE-bench Lite 任务的1,700个留出程序上,MLE-World 预测的终端输出与真实运行一致的比例为77.9%,而最强的提示模型基线 DeepSeek 为41.1%。
预测来自一次推理调用,而不是一次训练运行,因此智能体可以在固定时间预算内多比较几个候选。 MLE-World 以 Qwen3.5-4B 为基座做全参数监督微调,训练数据是约49.7万条代码与执行输出的配对记录。 输入包含程序、已安装包及版本、数据概览和时间限制,输出按异常类别、终端输出、验证分数等字段依次解码,异常类别作为单个新增词元先解码。
预测附带的置信度决定哪些候选需要真实执行。 预测并非总对:留出程序上22%的预测终端输出和14%的预测异常类别与真实运行不符。 置信度门控在预测成功与预测失败时使用不同阈值,预测超时的程序从不运行;在五种策略上,门控把真实执行时间降低30%至40%,同时大体维持表现。
启示与展望
主要评估在分布内进行:留出程序是新的,但17项任务都出现在微调数据中。预测准确率、五种策略的搜索对比和门控节省都在这一设定下测得;三项未参与微调任务上的执行预测另有单独报告。
预测错误仍可能误导搜索,超时是最难预测的结果,漏掉的超时仍要付出一次完整运行。门控在 UCB 策略上使平均百分位下降0.9,作者称门控大体维持表现。未参与微调任务上的迁移证据主要涉及识别执行失败,成功训练结果与超时的预测仍较不确定。
