Azal Ahmad Khan

该工作研究仅以 LLM 输入查询为条件信号的超网络来估计 LoRA，并提出分布型超网络，通过可微蒙特卡洛近似的端到端损失输出 LoRA 上的分布；结果显示即使只用所学分布的均值也能超越确定性超网络，且对权重更新采样可形成不同于 token 采样的测试时扩展，样本越多性能越好并强于对应的 token 采样基线，生成的更新还能跨查询迁移。

该工作研究仅以 LLM 输入查询为条件信号的超网络来估计 LoRA，并提出分布型超网络，通过可微蒙特卡洛近似的端到端损失输出 LoRA 上的分布；结果显示即使只用所学分布的均值也能超越确定性超网络，且对权重更新采样可形成不同于 token 采样的测试时扩展，样本越多性能越好并强于对应的 token 采样基线，生成的更新还能跨查询迁移。