大模型直接写权重,真能让精确求解器更快吗:独立集上0.37倍,公交排班上增益却来自现成规则
核心概要
一项实证研究检验大语言模型能否不经梯度训练、只靠读前向输出直接写出小型评分网络的权重,用来加速列生成与分支定界这类精确算法。在独立集合成算例上,写出的分支规则用时为SCIP默认规则的0.37倍,并追平或超过同特征下模仿强分支训练的网络;但在亚特兰大公交司机排班的真实数据模型上,0.63倍的时间增益被SCIP自带的纯伪代价规则以0.99的比值完全复现。
深度剖析
大语言模型可以不经任何梯度步骤,直接写出小型多层感知机的权重,把它插进精确求解器的评分环节,而求解结果不变,网络只影响耗时和搜索树大小。 此前把学习引入分支与列生成,需要训练数据和训练流程,例如按排序学习分支、回归强分支得分或用图神经网络模仿强分支。 在独立集合成算例上,写出的规则在全部18个配对实例上更快,几何平均时间比为0.37,中等规模算例的树为1426个节点对2786个节点;两种规则都解出的实例最优值完全相同。
写出的网络是一个以JSON保存的多层感知机,多数只有一层线性层或一层宽度为6的ReLU层,按节点上已有的量算出每个候选变量的特征向量,再对网络输出取最大者作为分支变量。 权重由模型读取各特征与强分支的一致率、以及v0与强分支选择不一致的位置后逐项改写,例如把伪代价权重从0.7降到0.2,每个权重都附有文字说明。 练习集与测试集用不同随机种子生成,权重只在练习集上写定并在测试前冻结;所有规则在同一批实例上配对运行,时间只在批内比较。
在由亚特兰大公共交通局公开GTFS数据构建的司机排班集合划分模型上,写出的规则在32个留出车库实例上用时为SCIP默认的0.63倍,解出的实例数不少于默认。 该模型以原生C插件接入SCIP并使用出厂设置,C移植复现了Python版本的节点数。 决定性对照是SCIP自带的纯伪代价规则,它完全不做强分支,速度与写出的规则相当,时间比为0.99;针对该问题族专门写的网络也不优于通用版本,比值为1.00。
启示与展望
结论覆盖列生成(XTW算例,最多256个客户,另测10个最大算例)、四类合成MILP、39个可读的MIPLIB 2017实例,以及由MARTA真实GTFS数据构建的司机排班模型;该模型的劳动规则与车库分组为合成设定。
作者列出多项限定:运行并发进行,绝对时间跨批次有波动;合成研究在Python中计算特征;使用了两个SCIP版本,结论只在同一构建内成立;每组比较的实例数为8至40;练习实例按对默认规则非平凡来挑选;训练基线规模较小。作者还指出,写权重、跑分析和写论文的是同一个模型,因此全部数字由脚本从公开日志重新生成。
