AdamW的收敛性被拆开看:不动点相同,稳定性却要看曲率、权重衰减与动量
AdamW 的固定点恰好是一个带约束与正则项的隐式目标的驻点,但这些驻点未必在 AdamW 自身动力学下稳定。分析在连续时间极限下给出一维精确稳定性条件与高维充分条件,并构造出即使强凸目标也可能失稳、常见动量设置下轨迹持续振荡而不收敛的例子。把权重衰减按梯度更新强度重新缩放得到的 AdamMe 保留同一组固定点,并具备保证有界轨迹收敛的 Lyapunov 函数。
AdamW 的固定点恰好是一个带约束与正则项的隐式目标的驻点,但这些驻点未必在 AdamW 自身动力学下稳定。分析在连续时间极限下给出一维精确稳定性条件与高维充分条件,并构造出即使强凸目标也可能失稳、常见动量设置下轨迹持续振荡而不收敛的例子。把权重衰减按梯度更新强度重新缩放得到的 AdamMe 保留同一组固定点,并具备保证有界轨迹收敛的 Lyapunov 函数。
随机扩散采样器一直比确定性采样器慢,提高近似阶数也未必能改善其强收敛阶。F-DDPM把数据预测模型改在由前一步预测和已注入噪声构造的更干净前瞻点上评估,每步仍只做一次模型评估,并具有一阶强收敛保证。在CIFAR-10、ImageNet、FFHQ和LSUN上,它在相同NFE预算下的FID低于所比较的随机基线;用1.5倍NFE时,在许多设置中接近或优于确定性基线。
本文为无界空间域上Hamilton–Jacobi–Bellman方程的两类非单调无网格近似——Wendland核配点(在native space范数约束下)与光滑激活物理信息神经网络(在Sobolev范数约束下)——从可计算的经验平方残差导出误差界:通过范数约束、插值不等式与受控扩散截断估计,把经验损失转化为粘性解误差估计所需的逐点残差控制,并分别给出紧集上的一致收敛与后验/高概率定量误差界,误差由核的填充距离以及网络与样本规模控制。
该工作先建立数据增强与联邦学习收敛行为的关系,指出降低标签比例不平衡可加速收敛,进而提出 DAFL:服务器在已知各客户端类别计数的条件下,以最小化增强与训练时间并约束全局类别不平衡为目标,为每个客户端-类别对分配最小增强量;在 CIFAR-10 八类、八个客户端的六种不平衡配置上,DAFL 在 D2、D4、D5、D6 取得更高少数类 F1 且训练时间更短,在 D2 上少数类 F1 为 0.183±0.055、收敛时间 188.119±86.344 秒,优于 FedProx 与 Focal Loss。
该工作针对现代选择性状态空间模型(如 Mamba2)在分布式学习中行为不明的问题,推导了单层与多层选择性 SSM 的架构感知梯度界与光滑性界,以及 FedAvg 与 FedProx 的收敛界,刻画循环稳定性、输入依赖离散化和状态投影范数如何影响联邦优化;随后用教师 SSM 生成序列对单层界做数值验证,并据此形成关于本地训练与客户端异质性的预期,再通过在六个文本域上比较九种联邦学习算法进行 Mamba2 语言建模来检验这些预期。
已读完全部报道