MSU团队在可解释深度伪造检测挑战赛2026中提出伪掩码与局部对比学习方案，测试集检测准确率达0.9349、最终挑战分0.7456
核心概要
该工作面向XPlainVerse可解释深度伪造检测挑战，提出模块化检测与解释系统：检测端融合多个DINOv3骨干与Mesorch取证特征，并用Grounding-DINO将解释中的局部伪影描述转为弱块级伪掩码监督Artifact Evidence Map，再以局部块级对比目标分离伪影与真实证据；解释端用按类别条件选择的Qwen3-VL生成复杂解释并经GRPO优化简化模型，在完整测试集上取得0.9349检测准确率、0.5571解释分与0.7456最终挑战分。
Figure 1. Overview of the proposed system, including offline pseudo-mask generation, multi-backbone forensic detection, and class-conditional explanation generation. A three-part pipeline: explanation-grounded pseudo-mask generation, a multi-backbone detector with image and patch losses, and class-conditional complex and simple explanation generation.
arXiv深度剖析
提出将伪造图像解释中的局部伪影线索转化为块级弱监督的伪掩码流水线：先用Qwen3-VL-32B-Instruct从复杂解释中抽取伪影短语并构建词汇表，区分可定位的局部属性与图像级全局属性，仅对局部属性用Grounding DINO做开放词汇定位，再把保留框的并集映射到检测器块网格，得到每块被覆盖比例作为Artifact Evidence Map的弱目标。 与依赖像素级篡改标注或纯图像级标签的检测器不同，该流水线把自然语言解释中的取证线索转成可用的空间监督，且明确说明伪掩码并非像素级精确标注，只是文本证据与开放词汇定位一致的区域。 在公开验证集消融中，仅图像级检测器AUC为0.8975，加入伪掩码伪影监督后升至0.9139，说明该弱监督对图像级判定有增益。
提出局部块级对比目标（LCL），在统一取证特征图的块嵌入上按图像级标签与当前Artifact Evidence Map预测为每块赋予一致、不确定或对立状态，并通过双向余弦匹配在同类与跨类图像对之间选择拉近、推开或忽略，且使用stop-gradient避免不确定匹配同时移动两侧嵌入。 该目标不需要配对图像或像素级篡改掩码，把对比学习从图像级推进到块级，并显式处理伪掩码可能不完整带来的不确定性。 消融中在伪掩码监督基础上加入LCL后验证AUC从0.9139升至0.9417，是三项损失配置中最大的单项增益。
构建多骨干取证检测器：融合三个Transformer型DINOv3、三个CNN型DINOv3与Mesorch篡改定位骨干，将DINO空间图与Mesorch空间表示对齐到同一块网格并融合为统一取证特征图，图像级分支用最大池化让局部证据影响判定，块级分支输出Artifact Evidence Map。 相对单一骨干或纯图像级分类方案，该设计同时引入预训练视觉表示、DCT感知线索与多尺度取证信息，并把定位导向的频率感知表示作为DINOv3的补充。 最终测试集上检测准确率0.9349、宏F1 0.9340，伪造与真实F1分别为0.9418与0.9261。
解释生成采用按类别条件分离的Qwen3-VL-8B-Instruct复杂解释模型，由检测器预测结果路由到伪造或真实分支，再经纯文本简化模型生成面向普通用户的简单解释，简化模型在监督微调后用GRPO按官方简单解释分数优化。 与让单一多模态模型同时承担判定与解释的做法不同，该系统把分类交给专用检测器、把语言输出交给类别条件生成器，以降低类别泄漏，尤其是真实图像上的幻觉伪影。 在1万例内部留出集（5千真实、5千伪造）且仅统计最终答案正确的生成上，类别条件生成器把实体F1从组织方基线的0.5536提升到0.6235、证据F1从0.4620提升到0.5447，归一化SLE从0.4264提升到0.9703。
启示与展望
该结果面向XPlainVerse挑战子集这一设定：76万张图像、含图像级标签与复杂/简单解释，检测器与解释模型均在该数据上训练与评估，最终提交的检测器使用了全部公开标注数据。伪掩码流水线只在训练与验证划分上离线运行，且只对伪造图像生成伪影区域，真实图像目标置零。方法适用于需要同时输出真伪判定与可见取证解释的场景，例如内容审核与取证分析中对判定依据的审计；解释生成按检测器预测路由，因此其输出与检测器判定绑定。
作者在讨论中指出系统计算开销大，组合了多个DINOv3骨干、Mesorch特征与多个Qwen3-VL模型，对实际部署不够友好；同时VLM基本作为检测器的附属，不参与真伪判定、不比较替代假设、也不验证检测器证据。作者还指出GRPO虽提升官方简单解释指标（尤其归一化SLE），但这不必然意味着解释对普通用户更有用或更易理解。此外，解释生成评估在内部留出集上只统计最终答案正确的生成，以隔离检测误差，因此该组指标反映的是给定正确判定下的解释质量；伪掩码被明确描述为非像素级精确标注，其覆盖范围受文本证据与开放词汇定位一致性的限制。