跳到主要内容
检索

# 在线策略自蒸馏

25 篇关联报道

订阅更新
  1. arXiv

    视频模型学物理不再靠猜:PhysOPSD把可执行代码当老师,3K样本超过80K监督微调

    PhysOPSD把可执行仿真代码作为特权上下文,用于视频生成的在策略自蒸馏:同一模型的学生只看到文本,教师额外看到仿真渲染出的物理草稿,从而在不改变推理接口的前提下学会物理上合理的运动。在UniVideo(13B)与OmniWeaving(8.3B)两个骨干上,它用3K样本训练,在VideoPhy-2总体分和PhyGround上均高于用80K数据的监督微调与用21K数据的离线强化学习基线,同时VBench通用质量保持或略有提升。

  2. arXiv

    视频推理模型学会审计自己的视觉依赖:VIOS在12项基准上把三个骨干平均提升3.60至4.63分

    视频推理的正确答案常取决于少数几个视觉关键位置,而GRPO一类后训练方法给整条推理轨迹打一个粗粒度分数,还要多次采样或外部裁判。VIOS改为让模型自己审计视觉依赖:比较带视频与不带视频时下一词分布的差异,得到学生与答案特权教师之间的逐词依赖差,把监督集中到学生低估视觉证据的位置。在12项视频理解基准上,Qwen2.5-VL-7B-SFT平均分从46.35升到49.95,InternVL2.5-4B与InternVL2.5-8B分别提升4.63和3.93分,且只需单次在线采样、无外部奖励或裁判。

  3. arXiv

    自蒸馏的教师也要学会教:TeachBack 双向偏好让 Qwen3 数学均分最高涨 4.3 分

    在线自蒸馏让同一个模型在只给题目时当学生、在附上参考解答时当教师,但参考解答会让教师给出又短又依赖答案的推理,学生学不到探索与自我纠错。TeachBack 把参考推理的末尾一段当作可选工作笔记注入教师提示,并同时优化两个方向的偏好:教师轨迹在只给题目的条件下应优于学生轨迹,学生轨迹在带特权信息的条件下反过来塑造教师。在 Qwen3-1.7B、4B、8B 上,数学平均分相对基座分别提高 4.3、2.2、2.5 分,骑士与无赖逻辑题平均分分别提高 6.1、3.9、7.5 分。

  4. arXiv

    过程奖励不是越细越好:预告片剪辑里,衰减权重让长任务得分涨45.4%,固定权重却让44.1%的回合被截断

    在49部真实电影及其预告片构建的四类剪辑任务上,同一套GRPO训练里,把LLM评判的回合级过程奖励权重衰减到零,使Fine Cut任务相对仅用结果奖励的GRPO取得45.4%的相对提升,而固定权重版本在三个较短任务上低于仅结果奖励,并出现44.1%的回合被截断。过程奖励早期确实鼓励了看图与推理,但持续优化会让智能体反复调用工具而不提交成品;令牌级的在线自蒸馏则对教师可见的特权信息高度敏感。

  5. arXiv

    图像真假之外还有一问:EviScene让智能体查证画面情境,证据充分率52.26%

    图像事实性评估不再只问画面是否由AI生成,EviScene让多模态智能体边查边改问题,在1527张测试图上把平衡准确率提到79.05%,证据充分率52.26%。

  6. arXiv

    自蒸馏的推理增益经不起换题:代码题上只在训练过的题目里有效,梯度方向还常与策略梯度相反

    两项自蒸馏方法在代码、科学推理、工具使用和数学任务上的增益,换到没见过的题目就消失或转为下降,数学上的提升主要来自把思考模式搬进非思考模式,而不是用了参考答案这类特权信息。

  7. arXiv

    不改一个权重,只把中间层跑两遍:Qwen3-1.7B 在 GSM8K 上从 42.30% 升到 79.61%

    LoOPSD 不改权重、只让同一模型重复执行一段中间层来造出更强的自教师,再把它的预测蒸馏回标准路径的学生;GSM8K 上 Qwen3-1.7B 在 400 token 思考预算下从 42.30% 升到 79.61%。

  8. arXiv

    空间推理不再靠猜深度:训练时喂3D线索,推理时只留RGB,四榜均值37.6

    视觉语言模型的空间推理弱在输入:RGB图像不直接给出几何证据,而现有做法要么在推理时接入3D、付出架构与延迟代价,要么只用最终答案做奖励,无法纠正推理链中判错的深度或方向。GPD把深度、语义分割和鸟瞰布局渲染成紧凑文本,按问题路由后只交给教师模型,配合参考答案对错误轨迹施加特权KL,与GRPO联合训练,部署模型仍只吃RGB。在4B骨干上,VSI-Bench达到57.1,MindCube、SPAR-Bench、MMSI-Bench与ViewSpatial四榜均值37.6,高于GRPO与仅用答案作特权的OPSD。

  9. arXiv

    人眯眼能读的字,多模态模型却说没有:训练后原图直读从26.50升到88.61

    多模态大模型常把藏在图像粗结构里的文字读成“图中无文字”,而人眯眼就能认出;一种只用原图推理的训练方法把这类文字的读取分数从26.50提高到88.61。

  10. arXiv

    SpatialOPSD 把空间编码智能体的验证轨迹蒸馏进 9B 多模态模型,无工具推理达 51.9 平均准确率

    作者提出 SpatialOPSD,一种在线策略自蒸馏框架,把空间编码智能体经真值验证的执行轨迹作为特权信息,让同一初始化的教师模型在训练时看到轨迹、学生只看到原始图像,并用重复感知蒸馏(重复掩码加不可似然正则)抑制逐字复制;在 MindCube-Tiny 与 ViewSpatial 上,9B 学生平均准确率从 45.9 提升到 51.9,高于 SFT 的 47.6 与 GRPO 的 48.2,并在无工具单次前向中保留其工具教师 SpatialClaw 57.3 的约 91%。