大模型写优化模型会悄悄改错约束:不重训上游,事后修复把零样本准确率从44.8%提到64.9%
导语
OPT-Kraken 把大模型生成的优化模型与求解代码当作冻结产物做事后修复,在六个基准上把零样本准确率从 44.8% 提到 64.9%,同时只让 0.6% 原本正确的输出变错。
正文
大模型把自然语言运筹问题翻译成数学模型和求解代码时,产物常与原问题不一致,这类错误被定义为优化建模幻觉,包括无依据的添加、遗漏的要求、错误的数学表述、模型与代码不一致、数据绑定错误和结果提取错误。 此前的通用幻觉方法只检查生成语句是否有依据,或只依赖代码能否成功执行;但语句有依据不等于所有问题要求都被表达,代码能跑也不能排除数学模型本身出错。 在 MAMO Complex、IndustryOR、ComplexOR、OptMATH、NLP4LP 和 BWOR 六个基准上,对四个生成流程和四个微调生成器的冻结产物做前后配对比较,零样本准确率从 44.8% 升到 64.9%,Rescue 为 36.9%,Regression 为 0.6%,Error Coverage 为 94.1%。
修复不是重新生成一份模型和代码,而是从原问题中抽取要求与实例数据,定位错误后按受影响范围选择最小充分修复粒度,再用契约约束局部改动,最后经产物级审计才提交。 生成式方法把建模错误当作生成阶段要避免的失败,或在细化流程里顺带纠正;这里把修复当作对冻结产物的独立事后变换,对原本正确的模型与代码做多余修改本身也算失败。 在 339 个被选中的 DeepSeek V4 Flash 零样本产物上做盲法配对人工评审,330 个可裁决配对中源级保真度从 2.7% 升到 51.8%,Artifact Rescue 为 50.8%;在 140 个冻结产物上,证据约束的局部修复救回 11/40,而 SAC-Opt 语义锚点纠正只救回 1/40,且前者 Regression 为 0.0%。
接下来
这套修复面向自然语言优化问题及其上游生成器产出的数学模型与求解代码,作为即插即用的后处理器运行,不重训也不改动上游生成器。评估覆盖 MAMO Complex、IndustryOR、ComplexOR、OptMATH、NLP4LP 和 BWOR 六个基准,以及四个生成流程、四个微调生成器和三个修复骨干,求解器为 Gurobi。检测只读取原问题与实例数据,不使用上游求解状态、报错信息、目标值或参考答案;执行检查在候选生成之后进行,参考答案只用于离线评估。
准确率按目标值或所需求解状态判定,与建模产物对原问题的完整保真并不等价:在 359 个数值正确的 DeepSeek V4 Flash 零样本结果中,人工复核发现 4 个(1.1%)产物存在未被结果层评估暴露的建模幻觉。Error Coverage 衡量的是潜在修复机会的覆盖,Regression 也不是检测器的假阳性率,两者都不构成校准过的二分类幻觉检测。最小充分范围是相对于有支持的路径和有证据的依赖而言,并非全局编辑最小性或完整语义依赖发现的证明;证据不足时框架返回 Unresolved 并保留原产物,而不是扩大修复范围。
