跳到主要内容
检索

M. Berk Sahin

1 篇关联报道

订阅更新
  1. arXiv

    LLM贝叶斯微调里梯度噪声呈状态依赖重尾:几何中位数中心化加残差裁剪,非对数凹采样仍拿到Fisher信息保证

    在LLM与视觉语言模型的贝叶斯LoRA微调中,小批量梯度误差呈重尾且随离最终迭代的距离增大,几何中位数中心化加残差裁剪的稳健估计器与自适应步长结合后,在非对数凹目标上仍给出非渐近的Fisher信息收敛保证。

已读完全部报道