跳到主要内容
检索

Tuc Nguyen

1 篇关联报道

订阅更新
  1. arXiv

    激活引导该插在哪一层:TopoSteer用位移点云的连通长度排序,免去留出集试跑

    激活引导在推理时向大模型内部表示加一个向量,但插在哪一层长期靠试:已有选择器只看两类激活是否可分、单条位移是否与均值同向,从不真正引导模型验证。TopoSteer改为给每层算一个分数,即该层逐样本位移点云的欧氏最小生成树总长,用连通长度衡量均值差向量能否代表这些位移。在五个指令微调模型、六个二元人格引导任务上,它在多数模型—层预算组合中优于LayerNavigator,但优势随模型和层预算变化,Qwen-7B与Qwen-32B上更小且更混杂。

已读完全部报道