仅用输入查询条件化的分布型超网络预测 LoRA 权重更新，均值即超越确定性超网络，采样权重更新实现新的测试时扩展
该工作研究仅以 LLM 输入查询为条件信号的超网络来估计 LoRA，并提出分布型超网络，通过可微蒙特卡洛近似的端到端损失输出 LoRA 上的分布；结果显示即使只用所学分布的均值也能超越确定性超网络，且对权重更新采样可形成不同于 token 采样的测试时扩展，样本越多性能越好并强于对应的 token 采样基线，生成的更新还能跨查询迁移。
该工作研究仅以 LLM 输入查询为条件信号的超网络来估计 LoRA，并提出分布型超网络，通过可微蒙特卡洛近似的端到端损失输出 LoRA 上的分布；结果显示即使只用所学分布的均值也能超越确定性超网络，且对权重更新采样可形成不同于 token 采样的测试时扩展，样本越多性能越好并强于对应的 token 采样基线，生成的更新还能跨查询迁移。
已读完全部报道