跳到主要内容
返回时间线
arXiv来源发表:

优化算法不再逐次重写:把迭代轨迹当经验训练,模型可跨问题迁移到更大维度

核心概要

迭代优化算法可以不再作为程序反复重写,而是被转成可训练的模型。做法是把算法执行轨迹视为计算经验,用自回归方式让前一代种群构成生成下一代的计算上下文,并用与维度无关的种群—时间架构同时刻画种群交互与迭代动态。模型先通过模仿从多种异构教师算法中获取搜索知识,再借助优化反馈直接改进自身,从而把异构搜索知识整合进单一模型,并在未见过的更大维度问题上迁移所学。

Source-provided article image: Algorithm Modelization: Transforming Optimization Algorithms into Evolvable Intelligence
arXiv

深度剖析

迭代优化算法被当作可训练对象处理,算法执行轨迹成为训练数据,模型学习算法状态如何随迭代演化,从而复现已有算法的计算行为。 此前算法以程序形式由人反复设计,每次面对新问题都要重新构造求解流程。 这一转变以迭代优化作为该范式的首个实现来展示:优化过程被写成自回归过程,前一代种群构成生成下一代的计算上下文。

模型采用与维度无关的种群—时间架构,在同一结构中同时表达种群内部交互和跨迭代的动态。 该架构与一套“先模仿、后超越”的学习流程配套,而不是只做单一算法的行为复制。 学习流程先从多种异构教师算法中获取算法知识,再通过优化反馈直接改进得到的优化器。

训练后的优化器把来自不同教师算法的搜索知识整合进一个模型,并在后续改进中获得更强的优化能力。 它不再局限于复现某一个具体算法,而是把异构搜索知识汇入同一可训练模型。 所学知识可跨问题迁移,并能在明显更大的、训练时未见的维度上泛化。

启示与展望

目前展示的范围是把迭代优化作为该范式的首个实现,验证集中在优化任务上的跨问题迁移与更大未见维度泛化。适合关注优化求解器设计与学习型算法的研究人员阅读。

材料把这一方向表述为一条有前景的路径,而非已经确立的通用算法模型;算法能力通过学习累积这一判断也以该首个实现为依据。