扩散语言模型智能体不再先解码再传话:一条隐藏消息在QASC上比四轮往返高7.0分
扩散语言模型智能体之间可以不经文字、直接传递压缩后的去噪状态。发送方把隐藏状态压成四个带符号的稠密向量,接收方保留自己的上下文与轨迹继续去噪。在QASC上,配对消息把准确率从72.6%提到80.8%,换成别题的消息则降到46.8%;而一次临近决策的传递达到87.8%,比四轮往返高7.0分。
扩散语言模型智能体之间可以不经文字、直接传递压缩后的去噪状态。发送方把隐藏状态压成四个带符号的稠密向量,接收方保留自己的上下文与轨迹继续去噪。在QASC上,配对消息把准确率从72.6%提到80.8%,换成别题的消息则降到46.8%;而一次临近决策的传递达到87.8%,比四轮往返高7.0分。
对某些可计算模式,通用序列预测的逐位误差之和并不有界,但误差平方和随模式程序长度指数有界;若这些位由可计算分类函数固定,平方和只随程序长度多项式增长。
在41个表格数据集上按统一协议重评回归目标后,分位数损失在MLP、TabPack、RealMLP和TabM上比调好的均方误差给出更一致的测试RMSE改善,并暴露出不同噪声区域最优停止轮次不一致的问题。
该工作提出 Tactile-JEPA,一种面向分布式触觉传感器(电子皮肤)的自监督预训练方法,它在触觉单元(taxel)连通图上按局部与全局两种尺度采样掩码,预测被遮挡 taxel 的嵌入表示,在磁性与压阻两类传感器、三种数据集(Sparsh-skin、Tactile socks、DECO-50)上,相比此前最强基线把力估计 RMSE 降低 6.3%、手内姿态估计 RMSE 降低 20.8%,并在动作分类、物体分类与触觉条件策略学习上取得一致增益。
已读完全部报道