扩散模型走向泛化前先长出“伪态”：训练集里没有，合成集里却反复出现
扩散模型随训练集增大从记忆训练样本转向泛化，而在这两个阶段之间，能量景观上会出现一类既不在训练集中、又在合成样本中反复出现的吸引子。把扩散模型的生成过程看作稠密联想记忆的取回，可以预测这类“伪态”在记忆容量被超过时出现；在MNIST、FASHION-MNIST、CIFAR-10与LSUN-CHURCH上，伪态样本的比例在记忆向泛化过渡的边界处先升后降，其吸引域体积介于记忆样本与泛化样本之间。
MaskCoFT 用可学习掩码联合微调路由器与专家，使 Mixtral-8x7B 每 token 专家取数减少 23.7%、DeepSeek-V2-Lite 减少 10.1%
该工作提出 MaskCoFT，一种仅用交叉熵损失同时训练路由器与专家的掩码协同自适应微调方法：微调时用可学习二值掩码把每层 Top-K 路由限制到专家子集，使专家适应被重定向的 token，推理时该掩码作为软先验对专家重排序且所有专家仍可被选中；在模拟每层 4 个专家缓存的 Mixtral-8x7B 与 12 个的 DeepSeek-V2-Lite 上，每 token 专家取数相对基座模型分别减少 23.7% 与 10.1%，真实卸载系统服务中每输出 token 时间最多降低 16.4% 与 5.5%，九个基准上的平均准确率分别高出基座模型 0.92 与 0.53 分。
TokenCast 用可组合分段成本在智能体运行中预测 token 消耗，96 组对比平均降低 MAE 14.5%
TokenCast 为 LLM 智能体的每个执行分段学习一个可组合的成本三元组（调用次数、净输入长度变化、成本残差），通过精确的组合恒等式把早期上下文被后续每次调用重复计费的成本纳入累计预测，并在执行过程中用新观测刷新预测而无需额外 LLM 调用；在 SWE-bench Verified 上平均累计预测耗时 32.8 ms 每次运行，在 4 个任务套件与 6 个智能体模型共 96 组评估中相对最强对比方法的平均绝对误差平均降低 14.5%，离线预算控制回放中在相同轨迹完成率下比固定预算策略平均少用 21.3% 的 token。
已读完全部报道