跳到主要内容
返回时间线
aclanthology.org来源发表:

黑盒大模型后门改看推理图:GCoTD在GPT-4o上把TPR提高3.44个百分点

核心概要

GCoTD把黑盒大模型的推理过程转成图结构,再用轻量检测器判断回答是否被后门触发,而不依赖权重、梯度或训练数据。此前后门检测多依赖白盒信号、带标签的投毒数据或输出层特征,在闭源API上容易失效。在四种攻击类型、六个模型上,GCoTD在多数设置中取得最高或接近最高的TPR,并在GPT-4o与LLaMA-3-8B上分别比此前最优方法高3.44和3.75个百分点的TPR。

AI-generated editorial illustration: GCoTD: A Non-Intrusive Diagnostic Pipeline for Black-Box LLM

深度剖析

后门检测不再只看模型的最终输出,而是看它把推理拆成步骤后形成的依赖结构。 此前后门检测方法多依赖模型内部激活、触发器反演或输出层签名,需要白盒访问或对攻击机制的先验知识,难以用于只能通过API查询的闭源模型。 在四种攻击类型、六个模型(含LLaMA-3、DeepSeek-V3、Qwen-3与GPT系列)上的实验中,GCoTD在多数设置下TPR最高或接近最高,并在GPT-4o和LLaMA-3-8B上分别比此前最优方法高3.44和3.75个百分点的TPR。

做法是先用少量示例模板引导目标模型把回答改写成图,每个推理步骤是一个节点,步骤之间的依赖是有向边。 检测器是一个以MiniLM-L6-v2为编码器、接二分类头的轻量语言模型,用LoRA微调,训练数据是标注好的干净与后门推理图。 训练集覆盖DPA、WPA、HSA、CoTA四类攻击下的六种攻击方法,每种攻击收集500条投毒样本和500条干净样本,共6000张带标签推理图。

检测器判断的是图层面的异常,包括异常密集的簇、沿边出现的逻辑断裂,以及推理轨迹与初始问题约束相矛盾。 消融显示,图结构输入比线性思维链输入高11.5个百分点的TPR,说明提升不能只归因于提示方式。 该消融在MMLU、LLaMA-3-8B与BadChain攻击的组合上进行,图结构输入TPR为82.3%、FPR为26.6%,线性思维链输入TPR为70.8%、FPR为33.1%。

启示与展望

演示范围是仅能查询的目标模型:防御方不接触参数、训练数据或隐藏状态,检测器本身则用标注的干净与后门推理图训练。评估覆盖11个基准数据集、6个目标模型和6种攻击方法,其中包括训练时未见的留出攻击。

留出攻击上的TPR保持在72%以上,但相对分布内性能下降7至9个百分点。MATH基准上FPR偏高,作者归因于数学推理本身难度大、有效解法路径多样。模板质量与领域相关性会影响效果,目标模型拒答、回答过短或无法给出结构化推理时缺少兜底机制;截断或不完整推理轨迹下的稳健性尚未系统评估。