多模态协同在缺模态时会反噬：Lluna把私有预测留在直连路径，八个数据集平均提升4.26%
多模态协同在模态缺失时可能不如单个存活模型准确，Lluna把每个单模态模型的直接预测保留为私有路径，再用图上的公共分支做残差修正，并沿单模态移除链让信息更全的状态指导更少的状态。在情感计算、场景理解和医学预测的八个数据集上，非完整输入状态的平均表现比最强基线平均相对提升4.26%，最小输入下八个任务的协同增益均为正。
MO-IKE 用多目标强化学习把提示构建建模为约束马尔可夫决策过程，在 Llama-3.2 上将编辑成功率从 85.0% 提升到 92.0%，改写一致性从 77% 提升到 79%，并将保留率提高 23.0%
该工作提出 MO-IKE，一种多目标强化学习算法，将上下文知识编辑中的提示构建形式化为约束马尔可夫决策过程，训练动态检索器以在可靠性、通用性和特异性等相互竞争的目标之间进行优化，在 Llama-3.2 上把编辑成功率从 85.0% 提升到 92.0%、改写一致性从 77% 提升到 79%，并将保留率较此前基于强化学习的方法提高 23.0%。
已读完全部报道