不用逐条偏好标签也能对齐：三元可行性对齐在受控环境守住任务，却输给风险敏感控制与多步规划
核心概要
一种名为三元可行性对齐（TVA）的决策方法在受控多智能体环境 Triadic Commons Environment 中不使用任何实例级规范性标签，任务成功率相对偏好监督基线只低 3.06 个百分点，仍在预设的 10 个百分点非劣界内，联合可行性提高 83.68 个百分点。它把行动主体、受影响他者与共享条件三类角色和不可补偿的硬底线放在效用比较之前，先剔除会突破底线的动作。但风险敏感控制与多步模型预测控制在该环境中的联合可行性分别高出 10.42 和 8.68 个百分点，结构化数据选择也未减少所需数据。
深度剖析
对齐训练可以不再依赖逐条标注的偏好标签，而是把行动主体、受影响他者和共享条件这三类角色连同各自的硬底线写进决策过程，在比较任务收益之前先排除会突破底线的动作。 此前的偏好对齐方法，包括人类反馈强化学习、奖励建模和直接偏好优化，都依赖逐条标明哪种输出更可取的示范或比较；这类标签被指出会带来迎合、代理过度优化、表面特征偏好和价值分歧被压缩等问题。 在 Triadic Commons Environment 的 21,600 个回合中，零实例标签的 TVA 任务成功率为 96.94%，比使用 4,000 个模拟偏好状态、36,000 行动行的偏好监督基线低 3.06 个百分点，差值区间为 −3.82 至 −2.36，仍在 −10 个百分点的非劣界内；联合可行性从 0.00% 升到 83.68%。
决策时先做可行性筛选、再在可行集合内按任务收益、三类角色状态变化、损害变化和不确定性代价打分，是这套方法的核心结构。 与它共享同一套角色表示和四条底线的连续惩罚版本 B5，只是把可行性门槛换成加权惩罚，用来检验结果是否仅来自多给了规范性信息。 B5 的联合可行性只有 16.88%，TVA 比它高 66.81 个百分点，区间为 64.65 至 68.82；消融中移除共享条件使联合可行性下降 51.94 个百分点，移除硬底线下降 83.54 个百分点，是影响最大的两个部件。
这套方法在计算开销上并不吃亏：在同一 Python 参考实现、同一硬件下，TVA 的端到端延迟为 21.65 秒，低于风险敏感控制的 65.93 秒和多步模型预测控制的 120.34 秒。 风险敏感控制每步做 1,244,160 次代理评估，多步模型预测控制做 3,839,175 次，而 TVA 只做 148,329 次，并最多进行 36 次底线比较。 这一比较只覆盖本次参考实现内的墙钟时间和评估次数，峰值内存差异很小，作者明确说明它不构成训练成本、部署延迟或能耗方面的结论。
启示与展望
结论建立在 Triadic Commons Environment 这一受控离散时间多智能体测试台上，角色、底线和场景动态均由研究者定义，评估器可见而策略只能部分观测；作者把外部有效性留给后续的开放世界系统研究。
作者报告 TVA 在风险敏感控制和多步模型预测控制面前分别落后 10.42 和 8.68 个百分点，并把缺失的多步规划列为主要失败来源；结构化数据选择在 60% 才通过等价检验，晚于随机选择的 40%，因此最小充分数据假设被拒绝。由于环境没有为每个应触发升级的状态提供独立标签，Open-Gap 的触发精确率与召回率无法报告。