四个检测器坏一个，LLM调查员准确率跌到0.50–0.72：CAV改用工具碰不到的证据复核
核心概要
在修正版CIC-IDS2017上，四个异构检测器给出的标签与置信度被按威胁模型污染后，未经核验的开源LLM调查员在四个检测器坏掉一个时准确率降到0.50–0.72，坏掉三个时全部跌到0.13以下。冲突感知证据核验（CAV）把上报置信度排除在投票之外，只在工具之间出现冲突时，用基于原始流量特征的最近邻信任分数检验候选家族。冻结提示词后，CAV-LLM在三个检测器被污染的持久与偶发两种情形下达到0.84–0.88，而朴素调查员至多0.08，同时只在0.4%的干净流量上调用LLM。
深度剖析
安全运营中心把LLM智能体放进告警分诊流程后，智能体并不直接看原始流量，而是对入侵检测系统、分类器和异常检测器输出的标签与置信度做推理，这等于默认这些工具可信。 已有关于LLM证据冲突的工作关注模型自身知识与所读上下文之间的矛盾，或来源可靠性未知的检索文档之间的矛盾；这里处理的是工具与工具之间的冲突，智能体对单条流量几乎没有先验，判决完全取决于它如何调和各工具。 在修正版CIC-IDS2017的测试划分上，四个检测器的测试准确率分别为0.99997、0.99998、0.813和0.993，家族级判决在0.67%的测试流量上不一致。
工具被污染时，未经核验的LLM调查员会跟着被污染的多数走，也会因为工具之间诚实的分歧而弃权。 四个检测器中污染一个，朴素调查员的准确率降到0.64–0.72（Qwen-7B）和0.50–0.54（Llama-8B）；污染三个时，所有未经核验的LLM都跌到0.13或以下。 在300条诚实检测器彼此不一致的测试流量上，可靠性加权投票、Dawid–Skene和CAV-rule的准确率至少0.99，而朴素Llama-8B在其中63%的流量上弃权，准确率0.37。
CAV把核验放在检测器与调查员之间：忽略工具上报的置信度，用变异比对冲突程度做量化，只对冲突流量做核验，核验依据是工具无法影响的原始特征。 朴素调查员把工具数量当作证据，弃权理由中94%提到工具冲突，跟随污染时95%提到同意工具的数量；CAV改为用最近邻信任分数检验领先候选，该分数不参与投票。 提示词在测试前冻结，CAV-LLM在全部12组模型与污染条件的配对上，用共享的210条流量做精确McNemar检验，均优于同模型的朴素调查员；三个检测器被污染时，Qwen-7B达到0.87–0.88，Llama-8B达到0.84。
核验把信任从工具转移到核验通道本身，因此这条通道的准确性也需要被测量。 把信任分数参考标签的5–30%改到随机其他家族后，kNN单独的准确率降到0.90–0.59；至多一个工具被污染时，CAV继承通道的错误，而把该通道作为第五个投票者反而更好。 污染更多时次序反转：四个工具被污染时，CAV在每个噪声水平上都领先，CAV-LLM达到0.81–0.52，而加kNN投票为0.27–0.07。
启示与展望
结论建立在修正版CIC-IDS2017这一2017年实验室数据集上，随机划分会高估实际部署中的检测器准确率，三个稀有家族被排除，也未评估未见过的家族。污染是合成的且非自适应的，只改变工具输出，不模拟扰动原始流量的流量级规避；评估的是4比特量化的14B以内开源模型。
当独立通道本身有噪声且被污染工具很少时，CAV会继承通道的错误，此时把通道作为额外投票者更好；面对新型攻击，信任分数最多只能表示不支持任何已知家族，CAV-rule会因此弃权。参考标签的随机噪声只是走向定向投毒的第一步，更大模型可能以不同方式权衡证据，信任相关分数在同一模型系列的不同版本间也会漂移。