跳到主要内容
检索

# Qwen2.5

4 篇关联报道

订阅更新
  1. arXiv

    没有标准答案也能学会守住边界:奖励训练把自发正确拒答从25%拉到100%

    在证据是否足以支持因果主张这类没有可判定正确答案的判断任务上,一套先监督微调、再用大模型评审奖励做GRPO的边界保持配方,把行动压力下无评估提示时的自发正确拒答从基线的25%提高到100%(每臂40条,Wilson 95%置信区间下界91.2%,与基线区间[14.2%, 40.2%]不重叠),而打乱配对的安慰剂跌到5%。同一配方在281条结构良好的主张上自动误拒率为1.1%(Wilson上界3.09%),说明效果针对边界而非一律拒答;但监督微调已在该面上饱和,GRPO的增量无法单独识别,且评分来自模型会话而非人类专家。

  2. arXiv

    Jev 在 Amazon 三域重排中保持高 NDCG@10,延迟随候选集增大增长远慢于点式 Qwen

    该研究在 Amazon Reviews 2023 的 Movies and TV、Video Games、Books 三个域上,用 SASRec 检索出的高排名负例构造受控困难候选集(候选规模从 10 到 100),把被 TypeSafe AI 称为“System One Model”的决策导向模型 Jev 与 SASRec、DCNv2 以及 Qwen2.5 7B Instruct 的点式与列表式重排器对比,发现 Jev 在保持较强推荐效果(NDCG@10、Hit Rate@10、MRR)的同时,其观测服务延迟随候选集增大的增长明显比点式 Qwen 更平缓,但仍远高于推荐专用模型。

  3. arXiv

    浙大团队用Qwen2.5从0.5B到14B做25组同族在线蒸馏,发现峰值能力可由学生规模与教师得分提前预测,弱教师反而教出更强的学生

    该研究在Qwen2.5(0.5B–14B)数学推理上系统刻画同族在线策略蒸馏(OPD)的缩放性质,发现训练初期存在“有效迁移区”,其中留出准确率随学生初始化的token级反向KL平方根近似线性上升,并拟合出以学生规模、教师规模与教师得分为自变量的幂律,可预测峰值准确率与迁移速率,且每个弱到强配对中学生的峰值都超过其教师本身。

  4. arXiv

    面向耦合语义例程生成的LLM上下文动态适配

    该工作提出“动态上下文适配”:一个由验证智能体从执行轨迹中提取结构化诊断反馈、生成智能体每轮提出多个候选、并以知识图谱提供语义约束、以模拟退火进行非贪心选择的验证—生成循环,用于缓解其称为“静态绑定”的LLM代码生成局限;在八个问题中,该方法在300与600次评估时于七个问题上优于零样本、Reflexion与OpenEvolve(p<0.01),在1000次评估时于主要动机问题(跨耦合优化)取得最佳分数(0.694 对 0.681,p=0.019,d=0.52),消融显示结构化执行反馈是主要驱动因素。

已读完全部报道