GrayShield 用格雷码引导的低翻转序列覆写 Transformer 权重尾数最低位，在四个模型预设与两种真实恶意载荷上把攻击者恢复率降低约 50 个百分点且精度影响低于 1%
相关研究与后续进展
核心概要
该工作提出 GrayShield，一种训练后、零数据的轻量净化方法，用格雷码引导的低翻转序列完全覆写 Transformer 32 位浮点权重中被声明为隐蔽信道的尾数最低位，使该信道容量归零；在四个 Transformer 模型预设、两种真实恶意载荷和五种攻击者变体下，相对七种训练后防御，它保持低于 1% 的精度影响并取得 49.96±0.66 个百分点的恢复率降低，且权重分布偏移明显小于 PatternMask 与训练后量化。
Figure 1: GrayShield evaluation pipeline. (A) Inputs define the empirical study space: pretrained models, evaluation datasets, and malware payloads from MalwareBazaar. (B) LSB injection overwrites the lowest x x mantissa bits at depths x ∈ { 4 , 8 , 16 , 19 , 21 , 23 } x\in\{4,8,16,19,21,23\} to produce (C) poisoned models. (D) Seven sanitization strategies transform poisoned checkpoints into defended models. (E) Payload recovery is assessed by LSB extraction, and (F) security, fidelity, and utility metrics are computed. All four research questions are answered from the complete pipeline: RQ1 characterises the capacity boundary of injection; RQ2 compares defense effectiveness against the Tier-1 naive attacker; RQ3 evaluates adaptive robustness under five Tier-2 attacker variants (re-running stages B–F with varied attacker encodings); and RQ4 synthesises the Pareto trade-off from RQ2–RQ3 results. Dashed arrows denote analytical dependencies across research questions.
arXiv深度剖析
GrayShield 通过完全、与载荷无关的覆写，把被声明的尾数最低位信道容量降为零，使净化后的目标位不再依赖嵌入载荷。 与以往依赖检测或部分扰动的训练后防御不同，该方法对声明信道做整体替换，无论使用密钥还是公开模式都保持载荷无关性。 摘要报告在四个 Transformer 模型预设与两种真实恶意载荷上，相对七种训练后防御进行基准测试，并在五种攻击者变体下取得 49.96±0.66 个百分点的恢复率降低。
格雷码提供覆写结构，按张量的密钥相位提供模式多样性，从而在保持低翻转的同时避免单一固定模式。 把编码结构（格雷码）与密钥化相位结合用于最低位覆写，是相对既有净化策略的方法学差异。 摘要将该机制描述为方法设计，并报告其带来稳定接近随机的净化效果，且权重分布偏移明显小于 PatternMask 与训练后量化。
在保持模型可用性的同时实现接近随机的净化：精度影响低于 1%，恢复率降低接近 50 个百分点。 由于防御前恢复率实际上为 100%，约 50 个百分点的恢复率降低对应净化后比特准确率处于二元随机水平，说明信道被有效清零而非仅被削弱。 摘要给出低于 1% 的精度影响与 49.96±0.66 个百分点的恢复率降低，并说明该数值对应二元随机水平的比特准确率。
启示与展望
该结果面向训练后、零数据的模型净化场景，适用于以 32 位浮点权重中尾数最低位作为声明隐蔽信道的 Transformer 模型，如 BERT 与 Vision Transformer。它使模型分发方或部署方在无需原始训练数据的情况下，对权重做一次轻量覆写即可让该声明信道容量归零，并保持低于 1% 的精度影响；对使用密钥或公开模式的场景均适用。其直接价值在于为模型供应链提供一种可叠加在现有流程上的净化步骤，而非替代检测、签名或访问控制。
当前可见文本为摘要，未包含图表、消融与统计检验细节，因此无法从现有材料判断格雷码序列与密钥相位各自贡献多少、不同模型规模或量化格式下是否同样接近随机、以及五种攻击者变体的具体能力边界。防御前恢复率被描述为实际上 100%，但摘要未说明该数值的测量方式。这些属于后续阅读与验证中值得关注的问题，而非对工作的否定。