跳到主要内容
检索

# 隐藏状态轨迹特征

1 篇关联报道

订阅更新
  1. arXiv

    轨迹特征未能提升末层注意力路由:六项预注册比较在 SmolLM3 与 Qwen3.5 上均无正向增益

    该研究在冻结的 SmolLM3-3B-Base 与 Qwen3.5-4B-Base 上,用成对的末层注意力启用/旁路执行产生带符号的下一词损失差,检验隐藏态外推误差、曲率和误差变化能否在不确定性、一步位移、位置与状态投影之外改进注意力路由;在 PG-19 的 100 本留出书籍、固定 20% 因果调用配额下,六项预注册比较经 Holm 校正后均无正向增益,Qwen3.5 中参数匹配的固定投影对照反而比轨迹路由器降低 NLL 0.00356 nats/token。

已读完全部报道