跳到主要内容
返回时间线
researchsquare.com来源发表:

递归量子优化不再每步等量采样:强化学习按步调预算,加权Max-Cut总采样降36%

核心概要

递归QAOA每消去一个变量都要重新测量,采样总量随递归层数累积,而各步难度并不相同。研究把深度1递归QAOA的逐步采样量当作序贯决策问题,用基于局部难度指标的启发式规则给出基线,再让表格型Double Q学习智能体在拉格朗日约束下学习对基线的残差修正,消去规则保持不变。在固定每步预算上限的公平协议下,留出操作子集130对策略—实例上,启发式相对均匀分配减少约23%总采样,强化学习策略减少36.1%,有效每次成功采样比为0.676,并在训练未见的规模上保持约36.6%的降幅。

Source-provided article image: Adaptive Shot Allocation for Recursive QAOA via Reinforcement Learning
Fig. 1 · researchsquare.com · 第 4 页

深度剖析

递归量子近似优化算法(RQAOA)的采样开销可以按消去步骤逐级调节,而不必每一步都用同样的测量次数。 此前的采样削减工作多集中在变分本征求解器和梯度式参数更新循环里,递归消去链内部的逐步测量预算控制很少被讨论。 在固定每步采样上限、消去规则不变的公平协议下,留出操作子集130对策略—实例上,强化学习策略相对均匀分配的平均成对采样降幅为36.1%,启发式为23.0%。

控制器先由一条手工规则判断当前消去步骤的难易,再由学习到的策略在此基础上加减采样量。 这条启发式规则读取四个量:剩余变量数、前两个最大关联强度的比值、前三个候选边的端点冲突比例、以及两条最强关联边之间的图距离,据此在采样上限的20%到80%之间选档。 表格型Double Q学习智能体输出相对该基线的档位偏移,训练在无噪声模拟器上、以单个指定加权Max-Cut实例为基座,每步先做16或32次探测采样,这些探测计入总采样数。

学习到的修正能迁移到训练时没见过的节点规模,而不只是记住训练规模下的阈值。 跨规模子集覆盖n从15到25、排除训练用的14和20,共98对策略—实例,是迁移要求最高的测试。 该子集上强化学习的平均采样降幅为36.6%,与整体留出平均值基本持平;同一子集上启发式降幅为22.2%。

启示与展望

结果的范围限于无噪声模拟器上的深度1递归QAOA、d正则高斯加权Max-Cut实例,消去规则与电路构造均未改动;留出操作子集为130对策略—实例、覆盖81个唯一实例,跨规模子集为98对。

训练时的成功率约束目标为0.95,而留出操作子集上观测到的成功率约为0.91;作者说明约束是在指定训练实例上通过自适应乘子施加的,测试则汇总了难度各异的多个实例。所有实验都在无噪声模拟器上完成,深度1之外的设置与真实硬件上的表现尚未评估。