扩散语言模型智能体不再先解码再传话:一条隐藏消息在QASC上比四轮往返高7.0分
扩散语言模型智能体之间可以不经文字、直接传递压缩后的去噪状态。发送方把隐藏状态压成四个带符号的稠密向量,接收方保留自己的上下文与轨迹继续去噪。在QASC上,配对消息把准确率从72.6%提到80.8%,换成别题的消息则降到46.8%;而一次临近决策的传递达到87.8%,比四轮往返高7.0分。
扩散语言模型智能体之间可以不经文字、直接传递压缩后的去噪状态。发送方把隐藏状态压成四个带符号的稠密向量,接收方保留自己的上下文与轨迹继续去噪。在QASC上,配对消息把准确率从72.6%提到80.8%,换成别题的消息则降到46.8%;而一次临近决策的传递达到87.8%,比四轮往返高7.0分。
已读完全部报道