图神经网络优化器换几何:GraphMuon按传播后特征定步长,三个OGB基准比AdamW快1.32至2.42倍
图神经网络的权重矩阵作用在经图传播的特征上,因此一个在参数空间里归一化良好的更新,仍可能被图结构放大成很大的表示层扰动。GraphMuon把Muon的矩阵正交化改到由图传播输入协方差定义的度量下进行,并按更新对层表示的实际影响缩放步长。在三个大规模OGB基准上,它达到AdamW验证损失目标所需的实际耗时缩短为原来的1/2.32至1/1.32,即1.32至2.42倍加速。
图神经网络的权重矩阵作用在经图传播的特征上,因此一个在参数空间里归一化良好的更新,仍可能被图结构放大成很大的表示层扰动。GraphMuon把Muon的矩阵正交化改到由图传播输入协方差定义的度量下进行,并按更新对层表示的实际影响缩放步长。在三个大规模OGB基准上,它达到AdamW验证损失目标所需的实际耗时缩短为原来的1/2.32至1/1.32,即1.32至2.42倍加速。
回归模型在高风险决策中需要同时给出点估计、风险区间和弃权选项,而此前区间方法与选择性预测各自只提供其中一部分。SelPI把区间头、取值头和两个弃权门放在同一个损失下联合训练,并用Fréchet惩罚把两个门的预算与联合接受率绑定。在18个表格基准上,区间宽度能较好预测大的点误差,却与区间未命中呈负相关,因此按宽度弃权会丢掉区间本来正确的输入;固定基础预测器后,学到的门在全部18个表格数据集上按区间评分优于宽度阈值,并随任务异方差性增强而扩大优势。
量子低密度奇偶校验码的距离决定其纠错能力,但精确求解是NP难问题,启发式搜索又耗时,使大规模码空间筛选受限。BB-Net 把双变量自行车(BB)码的距离估计转成学习任务:用约5.87万个由高预算启发式搜索标注上界的码样本训练注意力网络,直接从稀疏多项式结构预测距离。在测试集上,BB-Net 对参考距离的准确率为96.39%,高于同一张表中最好的启发式方法 QDistEvol 的94.86%,单码推理耗时0.005秒。
概率时间序列预测既要刻画时间结构,又要给出不确定性,还要推理够快;扩散与流匹配类方法靠多步迭代采样换取灵活性,代价是推理开销随步数增长。KGO把预测看成结构化不确定性在Koopman潜空间中的演化:KoPE用学习到的线性算子外推潜轨迹,KoFM用矩阵指数把噪声一步搬运到未来,AUG按变量与预测步自适应分配确定性与随机分支。在ProbTS的17个设置上,KGO在13项取得最低CRPS、16项最低NMAE,并报告相对迭代生成模型至少25倍的推理加速。
企业要检查大模型回复是否违反内部政策,此前主要靠微调检测器或让另一个大模型逐条评判,训练和推理开销都不小。新做法把违规判定改写成激活空间里的分布外检测:只用政策文本和少量示例估计一个白化变换,把合规回复的隐状态标准化,再用其欧氏范数对照校准阈值。在 DynaBench 测试集上,以 Qwen2.5-7B-Instruct 为骨干时 F1 达到 86.0%,高于表中所列微调检测器与 LLM-as-a-judge 基线。
在相同架构与数据下,仅凭训练好的检查点重建训练图像时,Muon 训练的模型泄露最多,Adam 训练的模型在评测攻击下最抗重建,优化器选择因此成为训练数据隐私的一个控制轴。
并行扩散草稿器一次前向就给出整块候选,但块内各位置互不知情;一种只读草稿器已有隐状态与logits的轻量校正器在相邻候选间并行打分、再从左到右贪心重选,在四个验证模型和十个基准上取得最高平均吞吐,并发32路时仍快于未校正草稿。
已读完全部报道