LLM贝叶斯微调里梯度噪声呈状态依赖重尾：几何中位数中心化加残差裁剪，非对数凹采样仍拿到Fisher信息保证

非对数凹采样此前通常要求梯度全局Lipschitz且噪声方差一致有界，这两条假设在二次势甚至贝叶斯线性回归的小批量梯度中就会失效。 此前的SG-LMC收敛保证依赖全局光滑与一致二阶矩，扩展工作也未同时处理BG-噪声与梯度依赖曲率。 在合成高斯混合目标上，R-LMC的Fisher信息下降紧贴精确梯度LMC，而SG-LMC发散；在径向四次势上A-LMC在观测时域内达到比固定步长LMC更低的Fisher信息，在径向三次势上RA-LMC紧贴精确梯度A-LMC。

方法用几何中位数中心化与残差裁剪控制估计误差，并用随梯度范数缩短的自适应步长控制离散化误差。 稳健估计器对四次独立梯度求值取三点的几何中位数作中心，再裁剪第四点的残差；自适应步长按梯度范数的幂次缩放，噪声感知项在噪声大的区域进一步缩短步长。 在OpenBookQA与SLAKE上对Qwen3-4B与Qwen3-VL-4B-Instruct做LoRA微调，RA-LMC在准确率与Brier分数上优于SG-LMC及九个贝叶斯适配基线。

该工作面向研究非对数凹采样与贝叶斯微调的研究人员，理论保证针对时间平均律的Fisher信息，不假设耗散性或函数不等式。合成实验覆盖状态依赖重尾噪声、广义光滑以及两者联合三种设置；LLM与VLM实验在OpenBookQA与SLAKE上验证了预言机模型并比较了预测指标。

理论步长规则需要光滑参数与局部噪声尺度，这些量在大模型上难以指定，因此实际实现改用AdamW加高斯扰动。复杂度界中的常数依赖问题参数，小精度阈值可能依赖这些参数。