跳到主要内容
检索

Hirofumi Morise

1 篇关联报道

订阅更新
  1. arXiv

    稀疏自编码器引导改用信息论设计:DESSIRT在Llama与Gemma多数提问模式上胜过对比式基线

    稀疏自编码器(SAE)引导此前多靠对比激活统计挑选特征,而特征可解释性与引导效用并不必然一致。DESSIRT把每个数据集表示为SAE特征点火概率向量,用Jensen–Shannon散度衡量干预后分布与目标分布的偏离,并据此解析地构造引导向量。在七类提问模式生成任务中,Llama 3.1-8B-Instruct上DESSIRT-2在除M2外的模式上优于SDCV基线,Gemma-2-9B-IT上多数模式也更好。

已读完全部报道