跳到主要内容
检索

Korea Advanced Institute of Science and Technology

31 篇关联报道

订阅更新
  1. arXiv

    组合图像检索不再一步压成单向量:FactEmbed先拆解修改意图,再对候选重排

    组合图像检索要按“参考图加一句修改文字”找回目标图,常见做法是把多模态查询直接压成一个检索向量,模型没有显式机会先想清楚文字改了什么。FactEmbed在Qwen2.5-VL-7B的输入中插入一组可学习的因子化潜变量,用重建目标图细节的“目标想象”目标让它们各自对应目标中的语义区域,再用因子级对比损失和注意力蒸馏把这些分解带入检索。在精化后的CIRR与FashionIQ基准上,其Recall@1与平均Recall@10均高于CSMCIR与ReCALL,但正文所述提升幅度与表格数值不一致。

  2. arXiv

    搜索界面不再由人手工固定:SearchWeaver按语料自动改写工具与说明,答案准确率从71.6%升到78.4%

    语言模型智能体的检索效果取决于它拿到的搜索界面,而现有界面多由人预先设定、对所有语料一视同仁。SearchWeaver把语料预处理产物、可执行工具和使用说明放在一起,用智能体的执行轨迹与任务奖励反复改写,再按下游搜索表现挑选。在GPT-5.4-nano上,优化后的界面把BrowseComp-Plus答案准确率从71.6%提到78.4%,把四个BRIGHT子集的平均nDCG@10从45.7提到55.0,同时缩短了工具执行时间。

  3. arXiv

    VLA动作块执行不再只看生成是否稳定:PAV先预测前缀后果,LIBERO平均成功率94.65%

    视觉-语言-动作(VLA)策略一次查询生成一串动作,但执行多长才安全此前只能靠生成稳定性或预测一致性间接判断。PAV改为在策略自身的任务条件表示空间里预测候选前缀执行后的未来状态,并用轨迹级成败结果训练一个验证器,给出该前缀能否继续完成任务的概率。在LIBERO四个套件上,PAV平均成功率94.65%、平均每回合14.0次策略查询,高于不做未来预测的直接验证(84.55%、22.3次)和改用DINOv2特征预测的版本(87.00%、22.2次)。

  4. arXiv

    长尾识别的尾部类别不再压向统一目标:留出类内差异后,四个长尾基准整体精度领先此前方法

    长尾识别不再把所有类别都对齐到同一个等角紧框架——一个各类共用、两两方向等夹角的目标:头类继续坍缩到框架上,尾部类别保留类内差异。此前的做法把等角紧框架当作所有类别统一的目标,强制尾部完全坍缩会把它们的样本压得过紧,削弱泛化。分类器一侧用特征条件门控做类别相关的节点专门化,让尾部类别占住自己的特征方向,损失一侧按类别频次给头部小间隔、尾部大间隔。在 CIFAR100-LT、ImageNet-LT、Places-LT 和 iNaturalist-2018 四个长尾基准上,整体精度优于此前方法,类内离散度从头部到尾部单调增大。

  5. arXiv

    大模型查表记忆压到两比特:DeepSeek表从203GB降到51GB,预填提速近五倍

    条件记忆让语言模型靠查表扩充容量,但整张嵌入表必须常驻,DeepSeek的表就有203 GB。Conditional Program把每行压成短码加局部尺度,用全表共享的高斯网格重建,只解码当前输入请求的行;两比特下存储缩小约四到八倍,多数任务分数接近原值,输出KL比两比特最近舍入低41–63%。

  6. arXiv

    GUI智能体不再重建未来屏幕:把预测搬进潜空间,成功率最高提升四成、延迟降98.9%

    GUI智能体的世界模型不再逐像素重建下一屏,而是让共享潜表示同时承担动作打分与动作条件未来预测,在离线与在线基准上成功率最高相对提升31.9%和40.6%,世界模型推理延迟最多降低98.9%。

  7. arXiv

    故事还没写,事件类型已可解码:四个开源模型能提前四个事件,但只有下一个事件胜过纯文本预测

    四个24–32B开源模型在事件结束时,隐藏状态能解码至少四个后续事件的状态变化类型,但只有下一个事件显著优于纯文本预测;在OLMo上沿该方向持续干预可双向改变后续事件构成。

  8. arXiv

    一步生成不再被小批量比例拖偏:把硬性边缘约束换成软惩罚,CIFAR-10 的 FID 从 8.10 降到 4.51

    UW-Flow 把 W-Flow 的平衡 Sinkhorn 能量换成去偏非平衡 Sinkhorn 散度,在有限小批量下降低速度场误差,并在 MNIST、CIFAR-10 与 ImageNet-100 的匹配训练预算下改善生成质量。

  9. arXiv

    推理纠错不必重训模型:把指令放进新一轮用户话轮,四个推理器平均准确率从37.1%升到55.3%

    在四个推理器和六个数学基准上,把纠错指令作为新一轮用户话轮注入到学习选出的切点,平均准确率从37.1%升到55.3%,而推理器本身保持冻结。

  10. arXiv

    CRD 用多教师互评与步骤级拼接蒸馏推理能力,4B 学生模型在 MATH-500 达 97.3%、AIME'25 达 70.3%,仅用 50K 训练样本

    该工作提出协同推理蒸馏(CRD)框架,让 DeepSeek-R1 与 Gemini 2.5 Flash Thinking 两名教师迭代互评彼此推理、由双评判模型对每一步给出与最终答案无关的质量分,再用 Viterbi 式连贯性感知算法跨教师拼接高质量步骤,并以推理质量优化(RQO)配合课程式长度约束训练学生;CRD-4B 在 MATH-500 达 97.3%、AIME'25 达 70.3%,仅用 50K 训练样本。