低比特智能体不再丢任务:SteerDistill用教师闭环纠错,W4A16平均分距BF16不到1分
低比特量化能压低大模型智能体的推理成本,却常让智能体漏看任务要求或环境条件,在工具调用中走错步骤。SteerDistill 让全精度教师定位学生第一次行为偏离,给出结构化纠错提示,学生执行后由环境反馈验证,教师据此反复修正提示,直到修正被局部验证。随后学生不带提示地学习这些修正,在五个智能体基准、三个模型上,W4A16 平均分比最强量化基线高 1.67–2.18 分,距 BF16 不到 1 分。
低比特量化能压低大模型智能体的推理成本,却常让智能体漏看任务要求或环境条件,在工具调用中走错步骤。SteerDistill 让全精度教师定位学生第一次行为偏离,给出结构化纠错提示,学生执行后由环境反馈验证,教师据此反复修正提示,直到修正被局部验证。随后学生不带提示地学习这些修正,在五个智能体基准、三个模型上,W4A16 平均分比最强量化基线高 1.67–2.18 分,距 BF16 不到 1 分。
在由大语言模型驱动的智能体构成的社交网络上,一条帖子能否扩散取决于每个智能体看到多少关注对象已经转发。此前预测集体行为时,通常只测一条与关注人数无关的响应曲线,或在一个所有人彼此可见的大群体里测一次。把响应按关注人数分别测量后,再代入网络级联的平均场理论,就能复现完整大语言模型模拟的级联规模与引爆种子比例;忽略关注人数的响应则在度分布越不均匀的网络上错得越多。
长期运行的LLM智能体常把每个回合总结出的经验直接写进记忆,但局部成功并不等于可复用、安全的知识。FGSE把每条候选经验写成带前置条件、行为改变、预期效果和验证器的结构化假设,先在临时状态里做目标迁移、证伪和归档回归三类探针测试,再决定提交、收窄或拒绝。在WebArena、AppWorld与τ-bench等验证器可用的基准上,以DeepSeek-V3.1为骨干的FGSE取得39.8的WebArena成功率、78.8的AppWorld平均完成度,并把证伪失败率、回归损伤和有害提交更新分别压到5.0%、1.3%和3.6%。
公开技能注册表里的第三方技能,正被一种只改判定规则、不改任务和接口的投毒方式利用。StealthyPoison 在拿不到真实用户请求和标准答案的情况下,用合成请求和替身智能体的干净执行结果作参照,迭代改写公式、阈值和分支等关键规则。在 566 个合格技能、5,244 条请求、超过 26,000 条注册表条目的评测中,冻结后的投毒技能在三个留出模型上取得 31.0%–31.9% 的微平均攻击成功率,与替身模型的 32.9% 接近。
多轮智能体强化学习常被用来提升大语言模型智能体的长程能力,但轨迹级成功率掩盖了它对单步决策的实际影响。研究在DeepCoder-MT、BFCL、InterCode-SQL与FrozenLake四个交互任务上,用采样广度与交互深度两个维度评估GRPO训练后的模型:采样轨迹越多,强化学习模型越稳定地超过基座模型;但把每条轨迹的交互轮数压紧,这一优势会缩小、消失,在部分任务上甚至反转。逐状态比较显示,强化学习模型只在46.8%的DeepCoder-MT状态和42.8%的FrozenLake状态上给出更优的下一步动作,其增益主要来自错误恢复与轨迹后段。
在修正版CIC-IDS2017上,四个异构检测器给出的标签与置信度被按威胁模型污染后,未经核验的开源LLM调查员在四个检测器坏掉一个时准确率降到0.50–0.72,坏掉三个时全部跌到0.13以下。冲突感知证据核验(CAV)把上报置信度排除在投票之外,只在工具之间出现冲突时,用基于原始流量特征的最近邻信任分数检验候选家族。冻结提示词后,CAV-LLM在三个检测器被污染的持久与偶发两种情形下达到0.84–0.88,而朴素调查员至多0.08,同时只在0.4%的干净流量上调用LLM。
多智能体系统里,置信度一旦决定谁获得下游算力与决策权重,智能体就有动机虚报。审计枢轴计分机制(APSM)把平台控制的分配收益从转移中抵消,用逆倾向加权的稀疏审计核验结果,再收取 Clarke 枢轴外部性并叠加严格适当评分,使真实报告成为唯一期望效用最优回应。在无计算器实验中,Top-K 激励下智能体确实抬高置信度;在智能体本地效用接口辅助下,APSM 相对补偿式适当评分(CPS)取得更低的 Brier 损失和更少的截断越界,但 CPS 的精确分配匹配率更高。
从采样解数据反推偏微分方程,需要专家完成方程发现、系数估计和数值求解器配置。RSI-PDEbench 把这一流程做成 1001 个案例、42 个方程模板的基准,分无噪声、50% 高斯噪声和未见模板加偏移系数三种设定;配套的 RSI-PDE 智能体用残差筛出候选方程、用相对反馈修正系数与求解器,并以验证门保留改进。四个前沿模型上,其平均通过率相对单次运行基线提升 106.5%–181.9%,相对原生智能体框架提升 3.0%–19.6%。
网页搜索智能体每调用一次工具,返回的长文本都会原样追加进上下文,多步之后上下文迅速膨胀并稀释注意力。Coca-Cola 改把这些观察压成少量连续隐向量,直接嵌入智能体的输入嵌入空间,并用动作保持训练让压缩前后下一步动作分布对齐。在四个问答基准和两组模型上,总 token 消耗降低 70.01%–89.24%,端到端运行时间降低 24.45%–55.97%,EM 与 F1 在各设置下均高于未压缩智能体。
长时运行的LLM智能体在上下文压缩时,会写一份交接摘要供下一个实例继续任务,而摘要里可能写出记录并不支持的权限或要求。研究用带真实权限账本的合成工具任务和同快照重放来测量这类句子:两个开放权重模型在留出实例上,经两名AI读者确认的无据限制占可读摘要的1.2%和2.4%,无据授权占0.1%和1.3%。把系统提示中“有些操作需要审批”换成说明审批要求来源的句子后,开发集摘要中的无据限制从5.0%降到1.8%,留出模板上从1.8%降到0.3%,而对账本确实要求审批的操作,请求量基本不变。