跳到主要内容
检索

# 神经正切核

6 篇关联报道

订阅更新
  1. researchsquare.com

    谱偏差不在波数基里:算子学习的误差由训练核特征方向决定,稠密网络各波数误差几乎一样大

    在一维离散泊松算子上训练五类算子模型后,误差并不按波数依次被学会,而是滞留在驱动训练更新的核的小特征值方向上。正弦基对齐的谱算子与线性傅里叶神经算子每个波数各有学习速率,误差堆在高波数;稠密网络的特征方向在正弦基里接近随机,误差在各波数几乎等幅,相对误差随波数上升只因真实解谱在衰减。去掉小批量带来的样本间耦合项后,GELU 稠密网络在两种强迫下低于 ηλ≈8×10⁻⁵ 的平方误差份额都不到 0.1%。

  2. arXiv

    多数投票测试时强化学习锁定哪个答案,训练前用核探针就能算出概率,无需拟合常数

    多数投票测试时强化学习会让每道题在训练中锁定到一个答案,难题上常锁到错误答案,而此前只能训练结束后才知道锁到哪一个。该工作把这一过程看成开局接近的两个答案之间由采样噪声驱动的短程竞赛,并给出网络核如何通过尾部答案的更新改变领先两者差距的闭式概率。在MMLU-Pro多选题上对两个模型家族的三个模型做LoRA训练,训练前用冻结核链算出的预测比用结果重新拟合的逻辑模型更准地判断每题锁定哪个答案,且不使用拟合常数。

  3. arXiv

    高压相识别换用高斯核网络:预测时间从5-6小时缩到20-30分钟,精度与DGCNN相当

    高压相识别此前多依赖动态图卷积网络(DGCNN)逐原子分类局部环境,计算开销大。高斯核模型改为在原点周围布置一组“原子探测器”,在每个探测器处累加各原子贡献的各向同性高斯密度,把这一组数值直接送入普通神经网络。在16、32、64个近邻的测试集上,它分别取得78%、86%、90%的准确率,与DGCNN的75%、85%、92%相近;同一高性能计算环境下,整段模拟的预测耗时约20-30分钟,而对比模型约需5-6小时。

  4. researchsquare.com

    纯噪声蒸馏不再等于消毒:共享初始化让学生模型继承教师记忆的标签与后门

    只用高斯噪声查询教师模型做蒸馏,学生模型仍会继承教师对训练样本的记忆和植入的后门,前提是师生共享同一个公开初始化。MNIST 上,仅通过从未训练过的辅助输出蒸馏,成员推断 AUC 达 0.86、后门攻击成功率提升 93%;独立初始化的学生则接近随机。在公开基座微调的现实威胁下,攻击者不持有任何训练数据,仅用噪声查询即可恢复 93% 私有金丝雀的记忆标签。

  5. arXiv

    Muon 有限步 Newton–Schulz 正交化首次获得训练损失保证:达到任意目标损失 ε 的命中时间为 O((1-μ)-1ε-1/2)

    该工作针对 Muon 优化器在动量累积与调优有限步 Newton–Schulz 正交化下的收敛问题,证明在足够宽的两层 ReLU 网络全批量训练中,只要学习率与 (1-μ)√ε 成正比,Muon 即可以高概率达到任意目标经验平方损失 ε,命中时间上界为 O((1-μ)-1ε-1/2),且所需宽度与目标精度和动量无关。

  6. arXiv

    Lu与Tsai提出多层随机梯度神经求解器MLSG,用神经网络表示边界密度并在百万级离散上求解第二类边界积分方程

    Lu与Tsai提出多层随机梯度神经求解器(MLSG),用神经网络表示未知边界密度,在一系列逐级细化的Nyström离散上做随机残差最小化,并把上一层的网络参数作为下一层的初始化;该方法避免网格传递算子和分层快速求和机制,转而依赖批量核计算与标准网络前向/反向传播,在Laplace/Poisson与Helmholtz问题(二维、三维)以及R4中超曲面上的外部Robin问题上,以参数化与符号距离两类曲面表示、最高百万级离散规模进行了实验。

已读完全部报道