# 超网络

双保真建模常用低保真模拟补足稀缺的高保真实验，但常规做法只给出一个确定性拟合，难以说明预测有多可信。这项工作把单保真的朗之万采样超网络扩展到双保真数据，用共享潜空间的数据模型同时预测低保真响应与高保真修正，并由一个学习后验分数的漂移网络生成参数样本。在合成超弹性算例中，条件分阶段训练把SPD漂移的均方根误差从0.075降到0.024，凸势漂移从0.081降到0.017；在实验与DNS数据上，直接以高保真响应为输出比用加性偏差误差更低。

双保真建模常用低保真模拟补足稀缺的高保真实验，但常规做法只给出一个确定性拟合，难以说明预测有多可信。这项工作把单保真的朗之万采样超网络扩展到双保真数据，用共享潜空间的数据模型同时预测低保真响应与高保真修正，并由一个学习后验分数的漂移网络生成参数样本。在合成超弹性算例中，条件分阶段训练把SPD漂移的均方根误差从0.075降到0.024，凸势漂移从0.081降到0.017；在实验与DNS数据上，直接以高保真响应为输出比用加性偏差误差更低。

该工作研究仅以 LLM 输入查询为条件信号的超网络来估计 LoRA，并提出分布型超网络，通过可微蒙特卡洛近似的端到端损失输出 LoRA 上的分布；结果显示即使只用所学分布的均值也能超越确定性超网络，且对权重更新采样可形成不同于 token 采样的测试时扩展，样本越多性能越好并强于对应的 token 采样基线，生成的更新还能跨查询迁移。

该工作研究仅以 LLM 输入查询为条件信号的超网络来估计 LoRA，并提出分布型超网络，通过可微蒙特卡洛近似的端到端损失输出 LoRA 上的分布；结果显示即使只用所学分布的均值也能超越确定性超网络，且对权重更新采样可形成不同于 token 采样的测试时扩展，样本越多性能越好并强于对应的 token 采样基线，生成的更新还能跨查询迁移。

HyperThink 提出一种文本到参数的方法：轻量超网络读取问题并预测基础大模型一小部分参数的更新，向量量化解码器把这些更新约束为有限的可复用模式，端到端在基础模型自身输出上训练；测试时一次超网络前向即可让适配后的模型直接生成简洁的分步解答与最终答案，不再产生中间思维链，用更少 token 保持较强推理性能，并在数学与通用推理任务的准确率—延迟权衡中改善低延迟区间，在接近非思考的区间增益最强。

HyperThink 提出一种文本到参数的方法：轻量超网络读取问题并预测基础大模型一小部分参数的更新，向量量化解码器把这些更新约束为有限的可复用模式，端到端在基础模型自身输出上训练；测试时一次超网络前向即可让适配后的模型直接生成简洁的分步解答与最终答案，不再产生中间思维链，用更少 token 保持较强推理性能，并在数学与通用推理任务的准确率—延迟权衡中改善低延迟区间，在接近非思考的区间增益最强。

作者提出HyperNSDE，一个连续时间生成模型：用HI-VAE编码异质静态协变量，再通过超网络把静态潜表示映射为个体化漂移参数，驱动一个潜神经SDE，并用潜状态依赖强度过程联合建模观测时间，训练上采用确定性—随机路径分解与签名核目标；在模拟数据和VELOUR、PPMI两个真实队列上，它取得更好的观测时间保真度与若干分布和隐私指标，而预测与相关性指标表现不一，受观测网格规则性和轨迹平滑度影响。

作者提出HyperNSDE，一个连续时间生成模型：用HI-VAE编码异质静态协变量，再通过超网络把静态潜表示映射为个体化漂移参数，驱动一个潜神经SDE，并用潜状态依赖强度过程联合建模观测时间，训练上采用确定性—随机路径分解与签名核目标；在模拟数据和VELOUR、PPMI两个真实队列上，它取得更好的观测时间保真度与若干分布和隐私指标，而预测与相关性指标表现不一，受观测网格规则性和轨迹平滑度影响。

该工作提出“无限参数 LLM”架构：用一个紧凑超网络把运行时提供的数据（事实、指令、示例）编码为低维隐码，再由该隐码生成对共享基础前馈网络的低秩加性调制，从而在不存储专家库的前提下按 token 生成“专家”，并进一步对隐码维持一个贝叶斯信念、随会话在线更新，使有效权重在会话中持续演化；作者同时给出评估协议，把“把知识放进权重”与“把知识放进提示”在同等预算下直接对比。

该工作提出“无限参数 LLM”架构：用一个紧凑超网络把运行时提供的数据（事实、指令、示例）编码为低维隐码，再由该隐码生成对共享基础前馈网络的低秩加性调制，从而在不存储专家库的前提下按 token 生成“专家”，并进一步对隐码维持一个贝叶斯信念、随会话在线更新，使有效权重在会话中持续演化；作者同时给出评估协议，把“把知识放进权重”与“把知识放进提示”在同等预算下直接对比。