OmniSeek 让 Omni-LLM 在多轮推理中自主决定看或听，并在多模态基准上稳定提升音视频推理表现
作者提出 OmniSeek 智能体框架，把证据获取纳入推理过程：模型在多轮协议中动态决定看或听以及时间窗口，将检索到的原始音频或视觉片段追加回上下文，并用合成的 OmniTraj-170K 多跳思维链轨迹做冷启动监督，再经两阶段可验证奖励强化学习优化，同时引入音视频必要性目标奖励真正依赖双模态的成功轨迹，实验显示其学到自适应跨模态证据搜寻并稳定提升音视频推理表现。
OmniSeek 让 30B 全模态模型自己决定看还是听：在 10 个音视频基准上超过同规模开源模型，VideoHolmes 达 74.6%
研究者提出 OmniSeek，把全模态大模型改造成可多轮调用工具（get_audio_clip、get_video_clip）的主动取证智能体，并用自建数据引擎合成 169,725 条交错音视频证据的思维链轨迹 OmniTraj-170K，配合三阶段训练与 Audio-Visual Necessity 奖励，在 10 个全模态基准和 4 个通用视频基准上取得领先或具竞争力的成绩。
已读完全部报道