跳到主要内容

# 注意力残差

2 篇关联报道

arXiv 2026年10月8日
Retro 通过回溯推理让表格基础模型提前并分散预测修正，在 TabArena、TALENT、RelArena 上进入前三
作者逐查询追踪 TabICLv2、TabPFN-3 与 EXAONE-Tabular 的逐层预测变化，发现预测修正高度不均且常集中在后段；据此提出回溯推理并构建 Retro，用 Attention Residuals 自适应重加权不同深度的中间贡献、用查询条件门控注意力逐维调制上下文更新，使修正提前且更分散，在 TabArena、TALENT、RelArena 上总体 Elo 进入前三并位于性能—成本帕累托前沿。
作者逐查询追踪 TabICLv2、TabPFN-3 与 EXAONE-Tabular 的逐层预测变化，发现预测修正高度不均且常集中在后段；据此提出回溯推理并构建 Retro，用 Attention Residuals 自适应重加权不同深度的中间贡献、用查询条件门控注意力逐维调制上下文更新，使修正提前且更分散，在 TabArena、TALENT、RelArena 上总体 Elo 进入前三并位于性能—成本帕累托前沿。
Nanjing University
Hao-Run Cai（第一作者）
Retro 回溯推理注意力残差门控注意力表格基础模型
arXiv 2026年9月29日
DepthBench 在 10 种架构上固定参数量扫描宽深比：HC 与 Full AttnRes 在极深窄形状下仍持续降低验证损失，Pre-LN 反而变差
该工作提出 DepthBench 受控基准，在固定参数量与预训练配方下把宽深比（d_model/n_layer）从浅宽扫到深窄，比较 10 种代表性残差与归一化架构，发现深度带来的收益强烈依赖架构：Pre-LN 及其多数归一化/缩放变体在更深更窄时验证损失上升（Pre-LN 从 2.759 升至 2.782），而 HC 与 Full AttnRes 持续改善（HC 从 2.729 降至 2.699，Full AttnRes 从 2.751 降至 2.718），并伴随更强的层间因果依赖与顺序敏感性，但深模型也带来算力与显存开销。
该工作提出 DepthBench 受控基准，在固定参数量与预训练配方下把宽深比（d_model/n_layer）从浅宽扫到深窄，比较 10 种代表性残差与归一化架构，发现深度带来的收益强烈依赖架构：Pre-LN 及其多数归一化/缩放变体在更深更窄时验证损失上升（Pre-LN 从 2.759 升至 2.782），而 HC 与 Full AttnRes 持续改善（HC 从 2.729 降至 2.699，Full AttnRes 从 2.751 降至 2.718），并伴随更强的层间因果依赖与顺序敏感性，但深模型也带来算力与显存开销。
Chinese University of Hong Kong
Keyu Wang（第一作者）
DepthBench 计算深度残差连接超连接注意力残差

已读完全部报道