共享策略理论上可达到任意多策略解的性能，但相时长、相异质性与各相数据量决定实践中该选单策略还是多策略
相关研究与后续进展
核心概要
该工作针对可分解为多个相的非平稳强化学习问题，先证明共享的单策略在理论上可以达到任意多策略解的性能，再提出一种基于瞬态动力学时长与准平稳期时长之比的 regime-based 相分解方法来判断哪种策略更优，并用多个非平稳 RL 问题的数值实验验证四个假设：相时长越长越有利于多策略、相间异质性越大单策略负担越重、多策略需要每个相有足够数据、相间转移动力学因环境而异会影响策略选择。
Figure 3 : Geometric intuition of policy class equivalence and local specialist learning. (a) The common achievable policy space Π sh \Pi^{\mathrm{sh}} encompasses both shared and multi-policy solutions, as established by Proposition 2 . Depending on the alignment of phase-local entry distributions with deployment handoffs, exact multi-policy assembly yields either a specialization gain ( Δ J ¯ > 0 \Delta\bar{J}>0 ) or a handoff mismatch penalty ( Δ J ¯ < 0 \Delta\bar{J}<0 ). (b) Individual phase specialists π ^ m sp \widehat{\pi}_{m}^{\mathrm{sp}} are trained independently within local policy spaces Π m sp \Pi_{m}^{\mathrm{sp}} under phase-local entry distributions. The tuple 𝝅 ^ sp \widehat{\boldsymbol{\pi}}^{\mathrm{sp}} is assembled via the exact gating map Γ \Gamma with zero projection loss.
arXiv深度剖析
论文给出一个理论结论：在相序列已知、状态经增广以满足马尔可夫性的设定下，共享的单策略在理论上可以达到任意多策略解的性能。 此前工作观察到多策略方法在不同相上可以优于单一状态增广策略，但原因不明；该工作把这一经验观察与理论可达性区分开来，指出差距并非来自表达能力本身。 属于理论论证，摘要中陈述为“we first show that the shared policy can theoretically achieve performance of any multi-policy solution”，未在给定文本中给出证明细节或定理编号。
论文提出一种 regime-based 相分解方法，用瞬态系统动力学的时长相对于准平稳期时长的关系来判断哪种策略能提供更好性能。 把“单策略还是多策略”的选择从经验试错转为可依据相结构时间尺度做出的判断准则。 方法描述基于“the duration of transient system dynamics relative to the duration of the quasi-stationary period”，具体算法与阈值未在给定文本中展开。
论文通过不同非平稳 RL 问题的数值实验验证四个假设：相时长越长越有利于多策略；相间异质性增加单策略负担；多策略需要每个相有足够数据；相间转移动力学因环境而异会影响哪种策略更可取。 把实践中单策略与多策略的优劣归因于相时长、相间异质性、各相样本量与相间转移动力学这几类可辨识因素。 证据来自“numerical experiments ... with different non-stationary RL problems”，摘要未给出具体环境、样本量或效应大小。
论文指出多策略解在实践中能否优于对应的单一共享策略，取决于函数逼近、学习与优化过程，以及多策略方案中从一个策略到另一个策略的样本效率与连续性损失。 把理论等价性与实践差异的来源明确归到逼近、优化、样本效率与策略切换连续性上，而非策略数量本身。 为概念性归因陈述，摘要中未提供分离各因素的消融实验数据。
启示与展望
该结果面向相序列已知、可分解为相且各相有自身转移概率与奖励函数的非平稳强化学习设定，适用于需要决定采用单一状态增广策略还是按相多策略的训练场景。方法给出的判据基于瞬态动力学时长与准平稳期时长的相对关系，因此使用者需要能够刻画相的时长与相间异质性。对每个相数据充足的多策略方案，以及相间转移动力学因环境而异的情形，论文的四个假设给出了方向性指引。
给定文本仅为摘要，未包含定理陈述与证明、实验环境清单、样本量、效应大小与消融结果，因此无法判断理论可达性结论的假设强度，也无法评估四个假设在各环境中的稳健程度。regime-based 相分解方法的具体算法、瞬态与准平稳时长的估计方式、以及相间异质性的度量方式均未在文本中说明，这些是读者需要从正文确认的开放问题。此外，多策略的样本效率与策略切换连续性损失如何量化，以及这些因素在何种条件下会逆转理论等价性，仍有待正文给出。