跳到主要内容
返回时间线
arXiv来源发表:

小模型不再靠猜流量:把误判写成带数值条件的规则,宏F1从个位数升到八成以上

核心概要

网络入侵检测里,小语言模型直接读数值流量记录往往分不清类别。SERA-IDS 让一个 8B 模型只分析被误判的流量,把每次混淆写成含行为描述、特征条件、类别混淆信息、工具置信度和来源的结构化规则,经置信度门控后存入经验库。测试时经验库冻结,检索至多五条类别多样的规则并逐条核对条件,Llama 3.1、Phi-4:14B、Qwen2.5:7B 在 NF-BoT-IoT 与 NF-ToN-IoT 上的宏F1由 1.94%–11.66% 升至 69.50%–87.66%,全程不微调、不用付费托管推理。

Source-provided article image: SERA-IDS: Structured Experience Retrieval-Augmented Intrusion Detection with Small Language Models
Fig. 1 · arXiv

深度剖析

小语言模型做网络流量分类时,不再只靠自身参数去猜数值特征的决策边界,而是从一份外部经验库里取回带明确数值条件的规则作为判据。 此前的做法是把自由文本形式的经验交给模型,模型需要自己从文字里推断区分流量类别的数值条件;对照的 MA-IDS 配置正是自由文本经验加单条检索。 在 NF-BoT-IoT 上,Llama 3.1、Phi-4:14B、Qwen2.5:7B 的宏F1从零样本的 11.66%、9.26%、7.83% 升到 86.46%、69.50%、83.51%;在 NF-ToN-IoT 上从 3.82%、6.17%、1.94% 升到 84.16%、87.66%、83.37%,每个对比都固定同一个决策模型。

经验库的构建只发生在训练阶段的误判流量上,正确分类的流量不产生任何规则。 规则由 Llama 3.1 分类器在训练流量上运行后,仅对分类错误的样本触发一个误差分析智能体,把观察到的混淆转成候选规则。 构建结束时,NF-BoT-IoT 的活跃库有 7,326 条规则、56 条低置信候选进入管理队列,NF-ToN-IoT 则有 10,664 条规则和 3,043 条候选;规则生成速率在后期阶段总体下降。

推理时经验库保持冻结,每条待测流量先做语义检索,再对检索到的规则逐条核对数值与类别条件。 检索先取最近邻候选池,再为每个类别保留相似度最高的一条,取相似度最高的若干类别组成类别多样的规则集,最多五条。 规则描述与查询流量用 all-MiniLM-L6-v2 嵌入,原始数值与类别特征值保留下来用于条件核对;条件证据作为上下文支持而非确定性投票,最终类别仍由所选小模型给出。

启示与展望

评估限定在 NF-BoT-IoT-v3 与 NF-ToN-IoT-v3 两个 NetFlow 数据集上,分别使用五类和十类任务,稀有类别保留在任务中。决策模型是三个可本地部署的开源小模型,参数量在 7B 到 14B 之间,全部实验在单块 NVIDIA T4 GPU 上完成,温度设为零,不做参数微调。经验库由 Llama 3.1 构建后冻结,测试标签只用于计算指标。延迟是端到端本地推理的每流耗时,不是线速入侵检测吞吐,因此更适合分析经轻量检测器预筛后的流量。后续工作将考察组件消融、未见过的攻击以及经验库的稳健性。

相对 MA-IDS,SERA-IDS 在 Llama 3.1 与 Qwen2.5 上把宏精确率降低了 1.12 到 6.62 个百分点,同时把宏召回提高 17.22 到 34.87 个百分点,作者把这一取舍归因于类别多样的规则让模型接触到更多候选类别,但未把检索宽度与规则表示分开检验。Phi-4 在 NF-ToN-IoT 上取得最高的 87.66% 宏F1,在 NF-BoT-IoT 上却最低,且每流耗时 3.05 到 3.45 秒,比另两个模型慢约一个数量级。入库置信度所用的外部信号来自离线合成测试床,而非实时威胁情报源。与早先 GPT-4o 的 85.22% 相比,本次 87.66% 是在十类而非九类任务上得到的。