扩散语言模型学会数字符:不微调也能把摘要卡在目标长度,误差降到3.1字符以内
面向标题、预览等必须卡准字符数的摘要场景,Delta 在掩码扩散语言模型的去噪循环里估计当前输出的期望字符长度,并动态增删掩码位置把生成引向目标长度。它不需要微调,直接用于现成的 LLaDA 与 Dream。在 XSum、CNN/DailyMail、arXiv 三个摘要基准上,字符长度误差比各基线低一个数量级,同时自动与人工评价下的摘要质量保持可比。
面向标题、预览等必须卡准字符数的摘要场景,Delta 在掩码扩散语言模型的去噪循环里估计当前输出的期望字符长度,并动态增删掩码位置把生成引向目标长度。它不需要微调,直接用于现成的 LLaDA 与 Dream。在 XSum、CNN/DailyMail、arXiv 三个摘要基准上,字符长度误差比各基线低一个数量级,同时自动与人工评价下的摘要质量保持可比。
科研智能体集群的自我改进不再只靠单个智能体反复试错。此前,失败的实验无法说明是假设错了还是实现错了,整体得分不高的程序里也可能藏着别的智能体需要的组件。SwarmRSI把假设、程序和实验证据作为可继承的研究状态放进共享图,用其他智能体的反馈决定改假设还是修程序,并让保留的假设在别的程序上重测、把互补组件组合起来。在OpenProblems上平均分达76.2,在NatureBench上44.4%的任务追平已发表SOTA,为对比方法中最高;MLE-Bench Lite上81.8%的任务获奖。
该研究在运动想象脑机接口中采用留一类别的分布外检测设置,先在某些类别上训练模型,再观察未见过的新运动类别能否通过不确定性升高被识别;结果显示,由于脑电信号固有的高变异性,许多受试者对熟悉类别的预测不确定性反而高于分布外类别,导致在其他机器学习领域表现良好的多种分布外检测方法在此失效,但分布外检测性能与在任务上的表现相关,深度集成模型和MC-Dropout模型在任务表现高的模型与受试者上可取得在任务AUROC大于0.9、分布外检测能力最高约0.7,说明当任务表现足够高时拒绝陌生认知状态是可行的。
已读完全部报道