RIDGE让单个智能体在一局内切换玩法：木镐与木剑不再分属两个专家
核心概要
在 Crafter 生存环境中，固定奖励训练出的深度强化学习智能体只会按一种风格行动，而按人格分别训练又要在部署时合并多个智能体。RIDGE 用随游戏状态平滑变化的权重混合四种人格奖励，并为每个人格保留一个价值头，使单个 PPO 智能体在一局内切换玩法。四种人格条件下，一个 RIDGE 智能体同时解锁木镐与木剑，而工匠与战士基线各自只擅长其中一支；锐度消融显示状态条件化本身带来增益。
深度剖析
RIDGE 让一个智能体在一次训练中同时覆盖木级制作与战斗两条分支，而按人格分别训练的智能体各自只走一条。 此前自动玩法测试为每种风格配一套固定奖励、各训一个智能体，再在部署时取行为并集，代价随人格数线性增长，也丢掉了促使设计人格的局内动态。 在 Crafter 上，三种条件都到达 Place Table 这一共同前置；此后工匠做出木镐而木剑几乎为零，战士正好相反，RIDGE 则在同一个训练好的智能体内跨过分支，同时拿到木镐与木剑，并在各自分支上低于对应专家，呈现覆盖与专精的权衡。
混合权重由游戏状态算出，而不是由外部给定，因此奖励构成随行为需要变化。 此前的多模态模仿与多目标强化学习把混合系数当作外部配置，RIDGE 则从生命、饥饿、制作进度和敌人距离等慢变状态变量内部计算权重。 每个人格先由一个以人格偏置为中心的 sigmoid 给出原始权重，再经 softmax 归一化到和为 1 的单纯形；全局锐度参数控制切换的陡峭程度，锐度趋于零时退化为等权混合，趋于无穷时逼近硬切换。
多价值头把价值函数学习与不断变化的奖励混合隔离开。 PPO 的价值函数需要准平稳信号，局内硬切换奖励会破坏收敛，这是此前回避局内换奖励的原因。 共享编码器之上每个人格一个价值头，各自用广义优势估计对固定的人格回报训练；RIDGE 的价值损失全程与仅训练探索者相当，低于工匠与战士，而仅训练幸存者的价值损失高出一个数量级。
锐度消融把状态条件化的作用与人格集合本身分开。 等权混合使用同样的四种人格奖励，只是不做状态条件化，对应线性标量化多目标强化学习的均匀权重情形。 锐度为零的等权条件在整个训练过程中明显低于所有状态条件化变体；在条件化范围内，更锐利的设置略优于默认值，但差异落在各种子的波动带内。
启示与展望
结果来自 Crafter 标准环境步训练预算下的实验，四种人格对应收集、制作、战斗、生存四类成就，所有条件共享编码器、优化器、rollout 长度、批大小、广义优势估计系数、PPO 裁剪与熵奖励，仅奖励信号、混合锐度和评论家头数不同。作者把当前结果定位为混合机制动态的演示，并计划在扩展版本中做更大规模的多随机种子扫描。
作者说明 PPO 结果存在明显的种子方差，当前用最小/最大波动带而非置信区间呈现，更多种子才能给出置信区间。硬切换运行尚未进行，锐度只是逼近而未达到李所描述的切换稳定性困境；单头版本的 RIDGE 也尚未测试，因此多价值头与平滑混合各自的贡献尚未分离。Crafter 目前是唯一测试环境。