跳到主要内容
检索

# 梯度下降

2 篇关联报道

订阅更新
  1. arXiv

    梯度下降的隐式偏好不再只由初始化决定：步长把极限解推向带扰动的加权L1极小点

    深层线性对角网络的训练极限此前只在梯度流（步长趋于零的连续版本）下被刻画，隐式偏好完全由初始化决定。该分析把离散的梯度下降与随机梯度下降本身写成受扰动的镜像梯度下降，在任意层数下证明迭代点收敛，并把极限解刻画为一个以扰动后初始化为参数的凸极小问题。扰动幅度随步长线性缩小，极限因此对应加权L1极小化，权重同时依赖初始化、步长与整条迭代轨迹。

    Ludwig-Maximilians-Universität München
    Wiebke Bartolomaeus（第一作者）
    隐式偏置线性对角网络梯度下降随机梯度下降镜像梯度下降
  2. arXiv

    BLS 在测试时精炼任务向量，使零样本策略在 OGBench、DMC 与 HumEnv 上超越 OLS 与在线自适应基线

    作者提出 BLS：一种面向行为基础模型（BFM）的离线零样本任务推断方法，它先用最小二乘（OLS）得到任务向量，再用软间隔对比损失与信赖域损失联合优化该向量，以同时降低奖励重建误差与后继测度偏差；理论上给出由后继测度残差与奖励残差共同刻画的次优性上界，实验在 OGBench 的 5 种特征表示（本体感知与像素观测）、DMC 的 20 个任务与 HumEnv 的 45 个人形控制任务上平均优于 OLS、ZOL、ReLA 与 LoLA，且推理开销可忽略。

    National Yang Ming Chiao Tung UniversityNational Taiwan University
    Kuan Tu（第一作者）
    梯度下降对比学习基础模型强化学习

已读完全部报道