ECHO-k 用基础模型内部表征作自监督代理目标，在未知下游任务下按预算顺序选取模态并提升下游性能
相关研究与后续进展
核心概要
该工作提出 ECHO-k，一种任务无关、自监督的模态获取原则：以深度模型（如基础模型）的内部预训练表征作为汇总跨模态信息的代理目标，并在一个简化线性设定下给出理论保证，据此导出用于顺序模态选择的强化学习策略；在与任务无关且无标签的获取基线对比中，ECHO-k 在多种基础模型后端上持续提升受预算约束的下游性能。
Figure 1 : echo - k \textsc{echo}\textrm{-}k learns an RL policy to iteratively selects views to approximate the full latent representation learned by any pretrained model, without any knowledge of downstream tasks. Once learned, the policy can be deployed for budgeted feature acquisition.
arXiv深度剖析
提出 ECHO-k：一种任务无关、自监督的模态获取原则，用深度模型内部预训练表征作为代理目标来汇总跨模态信息，从而在不知道下游任务或预测目标的情况下判断哪些模态值得获取。 此前的模态选择通常依赖下游任务或标签信息，而该工作把选择信号改为模型自身的内部表征，使获取决策在任务与标签均未知时仍可进行。 摘要说明该原则以基础模型的内部预训练表征为代理目标，并在任务无关、无标签的获取基线上进行评估；具体数据集、模态数量与实验规模未在给定文本中列出。
在简化线性设定下给出理论保证，并以此动机化一个用于顺序模态选择的强化学习策略。 把顺序模态获取问题与可分析的理论设定相连接，使 RL 策略的引入有形式化依据，而非仅凭经验设计。 摘要明确说明理论保证是在“stylized linear setting”下给出的，属于简化设定下的分析，而非对一般情形的完整刻画。
在与任务无关且无标签的获取基线对比中，ECHO-k 在多种基础模型后端上持续提升受预算约束的下游性能。 表明该自监督代理目标带来的收益不局限于单一模型后端，而是在不同基础模型上均可复现。 摘要报告“consistently improves budgeted downstream performance across diverse foundation-model backends”，属于跨后端的对比结果；具体提升幅度与统计细节未在给定文本中给出。
启示与展望
该工作面向的是测试时测量昂贵或时间受限、且下游任务事先未知的多模态系统，其获取决策在任务无关、无标签的条件下进行，并以基础模型的内部预训练表征作为代理目标。理论保证限定在简化线性设定中，用于动机化顺序选择的强化学习策略。方法被设计为可跨不同基础模型后端使用，因此其适用范围是那些已经拥有可提供内部表征的深度模型、并需要在预算约束下顺序获取模态的部署场景。
给定文本为摘要级内容，未列出具体数据集、模态数量、预算设定、基线细节与提升幅度，因此无法判断收益在不同模态组合与预算水平下的稳健程度。理论保证限于简化线性设定，其在更复杂非线性与真实多模态分布下的适用性仍是开放问题。此外，代理目标依赖基础模型内部表征的质量，当后端模型表征与目标域不匹配时表现如何，尚待进一步观察。