扩散语言模型智能体不再先解码再传话:一条隐藏消息在QASC上比四轮往返高7.0分
扩散语言模型智能体之间可以不经文字、直接传递压缩后的去噪状态。发送方把隐藏状态压成四个带符号的稠密向量,接收方保留自己的上下文与轨迹继续去噪。在QASC上,配对消息把准确率从72.6%提到80.8%,换成别题的消息则降到46.8%;而一次临近决策的传递达到87.8%,比四轮往返高7.0分。
扩散语言模型智能体之间可以不经文字、直接传递压缩后的去噪状态。发送方把隐藏状态压成四个带符号的稠密向量,接收方保留自己的上下文与轨迹继续去噪。在QASC上,配对消息把准确率从72.6%提到80.8%,换成别题的消息则降到46.8%;而一次临近决策的传递达到87.8%,比四轮往返高7.0分。
事件序列预测长期只按预测精度排名,而生成模型本可给出多条可能未来。一项面向银行卡交易等异构事件序列的基准同时衡量预测精度与分布真实性,发现没有方法能同时占优:扩散模型在真实性上领先,专用预测器在精度上领先。名为 Wasserstein BaryBooster 的事后聚合把扩散模型的多条采样收敛成单条轨迹,在三个数据集上取得最高 TMS,同时保留非平凡的 cDFS。
已读完全部报道