IWIBench 让大模型直接改小模型权重：结构化输出十种配置全部零分，别名改写却能拿满
核心概要
IWIBench 把“不改梯度、只改权重”的行为编辑变成可评分的受控任务：编辑模型只能用读写权重、运行目标、检查目标四个工具，在 Gemma 3 4B IT 上完成十类语义改写，再由干净进程对比改前改后的目标成功率与对照保持率。十个配置在同一批三十个片段上排名，6.1-sol 中等推理以 0.4601 的宏平均奖励居首，Astra 为 0.4356；结构化响应默认无人得分，答案长度控制只有 5.6-terra 取得正奖励。
深度剖析
模型现在可以在没有梯度的情况下，直接改写另一个模型的权重来改变其行为，而 IWIBench 第一次把这件事放进统一的评分框架里比较。 此前 ROME、MEMIT、MEND 一类方法针对特定事实关联做编辑，权重空间编程的讨论则缺少衡量整次尝试的受控评测。 十个编辑配置在同一个 Gemma 3 4B IT 目标、同一批三十个片段上各跑一次，共 300 条记录；原始目标在 551 个目标项中答对 104 个，基线正确的对照共 2288 个。
编辑模型拿到目标模型、四个工具和固定预算，必须提交一个权重补丁，而不能在推理时反复下指令。 工具只覆盖张量元数据与有界切片读取、替换填充缩放复制与低秩加法写入、生成回复和教师强制数值检查，不提供梯度、shell 或代码执行。 每个片段允许 64 轮、128 次被接收的工具调用和 262144 个目标前向 token；补丁提交后在独立的新进程中加载原始与修改后的检查点，用相同分词器、对话模板和推理设置比较。
能力差异同时出现在模型之间和任务之间，且与推理投入不成正比。 6.1-sol 的宏平均奖励从低推理的 0.4250 升到中等的 0.4601，再回落到高推理的 0.4551，而推理 token 消耗从 13631 升到 48456 再到 174770。 逐片段比较中，6.1-sol 中等对低推理为六胜六负十八平，高推理对中等为四胜六负二十平；选择性事实保留则从低推理 2/9 升到中等 6/9、高推理 9/9。
启示与展望
评测固定在 google/gemma-3-4b-it 的一个修订版本上，使用纯文本输入和 BF16 原生权重，十个编辑配置共享同一批三十个片段、探针种子与测试种子。读者对象是关心模型行为改写与权重级干预的研究者和工程师；材料提出的下一步是研究强化学习如何培养这种基于实验的自适应策略，并设计能区分局部与全局成功调整的奖励。
材料把前沿模型的能力差距描述为“很可能是近期被教出来的能力”，并明确这是推测而非定论；结构化响应任务上所有编辑模型都为零，与原始目标在该 JSON 约定下的零表现一致。作者也指出，恶意模型通过权重向小模型传播影响仍是假设性威胁，未在任何被观察模型上得到证实。