SAM 3 压到 4 比特后不再认错目标：SPQ 把 RefCOCO 命中率从 42.1 拉回 72.5
核心概要
把 SAM 3 的图像编码器权重量化到 4 比特、激活保持 8 比特后，模型常出现“提示对齐漂移”：掩码看着合理，却圈错目标或在视频中丢失同一对象。SPQ 在离线校准阶段给影响文本概念分数的参数更高权重、约束低方差残差方向上的特征误差，并用成对视频推演估计记忆接口的均值偏移后折入已有偏置。在 W4A8 设置下，RefCOCO Pr@0.5 由 PTQ4SAM 的 42.1 升到 72.5，同时保留 54.8 COCO mask AP，推理图不增加算子。
深度剖析
低比特 SAM 3 的问题不只是掩码质量下降，而是文本提示与目标对象之间的对应关系会断掉，量化后模型可能圈住一个看起来合理但并非提示所指的对象，或在视频推进中切换身份。 此前的量化方法主要压低特征重建误差，在 COCO、LVIS 这类结构指标上能保住大部分精度，但在指代表达和长视频序列上明显失准。 在 W4A8 图像编码器下，PTQ4SAM 的 COCO mask AP 为 54.1，而 RefCOCO Pr@0.5 只有 42.1，结构分数与提示对齐分数之间出现明显落差。
SPQ 把校准的重点从“整体特征误差最小”转向“保住决定提示选中哪个对象的那些特征方向”。 标准训练后量化对各个特征方向一视同仁地最小化重建误差，而受控扰动实验显示，扰动低方差残差方向对目标选择的影响远大于对掩码 AP 的影响。 在 W4A8 下，SPQ 取得 54.8 COCO mask AP 与 72.5 RefCOCO Pr@0.5，对照 PTQ4SAM 的 54.1 与 42.1；LVIS、RefCOCO 各变体和 SA-V 上也报告了一致增益。
三个校准部件各自负责一类误差，并且全部在离线阶段完成，导出后的推理图与普通量化模型相同。 语义锚定校准用固定的概念词表给影响文本概念分数的参数加权，正交子空间校正约束残差方向上的特征误差，时序分布对齐则估计视频记忆接口的均值偏移并折入已有偏置。 在统一的 W4A8 协议下，单独加入语义锚定校准把 COCO AP 从 45.2 提到 52.5，单独加入正交子空间校正把 RefCOCO Pr@0.5 从 31.1 提到 65.9，单独加入时序分布对齐把 SA-V J&F 从 56.5 提到 75.6，三者合用达到 54.8/72.5/81.2。
启示与展望
演示范围是 SAM 3 的 W4A8 混合精度设置：图像编码器权重 4 比特、激活 8 比特，多模态解码器、检测查询和视频记忆保持 W8A8，文本编码器与预测头保持 FP16；评测覆盖 COCO 2017、LVIS、RefCOCO/+/g 与 SA-V，另有一次 CLIP 迁移检查。作者把扩展到更多架构和更低激活位宽列为后续工作。
作者指出，SPQ 依赖有代表性的校准图像与文本提示，部署提示发生较大偏移时可能需要重新校准；功能干预测量的是特征的选择性敏感度，时序诊断跟踪的是特征变化与精度之间的相关性，二者的因果关系仍需进一步研究。更激进的 W6A6 或 W4A4 解码器与记忆设置也尚待评估。