AI 与科学前沿 · 2026-10-26

多轮越狱攻击靠逐轮升级和跨轮配合绕过安全对齐，而现有防御要么依赖代价高昂的重训练，要么逐轮独立判断，抓不住风险在对话中的累积。THRD把当前轮风险、历史意图升级和上一轮回复的助推程度合成一个随时间演化的风险分数，无需训练即可在推理时决定正常回答、受控回答或拒绝。在Qwen2.5-7B与Llama3-8B上对X-Teaming和Tempest两类多轮攻击，THRD把攻击成功率降到0.2%–4.0%，MMLU与GSM8K的效用损失在1.5%以内。

多轮越狱攻击靠逐轮升级和跨轮配合绕过安全对齐，而现有防御要么依赖代价高昂的重训练，要么逐轮独立判断，抓不住风险在对话中的累积。THRD把当前轮风险、历史意图升级和上一轮回复的助推程度合成一个随时间演化的风险分数，无需训练即可在推理时决定正常回答、受控回答或拒绝。在Qwen2.5-7B与Llama3-8B上对X-Teaming和Tempest两类多轮攻击，THRD把攻击成功率降到0.2%–4.0%，MMLU与GSM8K的效用损失在1.5%以内。

企业要检查大模型回复是否违反内部政策，此前主要靠微调检测器或让另一个大模型逐条评判，训练和推理开销都不小。新做法把违规判定改写成激活空间里的分布外检测：只用政策文本和少量示例估计一个白化变换，把合规回复的隐状态标准化，再用其欧氏范数对照校准阈值。在 DynaBench 测试集上，以 Qwen2.5-7B-Instruct 为骨干时 F1 达到 86.0%，高于表中所列微调检测器与 LLM-as-a-judge 基线。

企业要检查大模型回复是否违反内部政策，此前主要靠微调检测器或让另一个大模型逐条评判，训练和推理开销都不小。新做法把违规判定改写成激活空间里的分布外检测：只用政策文本和少量示例估计一个白化变换，把合规回复的隐状态标准化，再用其欧氏范数对照校准阈值。在 DynaBench 测试集上，以 Qwen2.5-7B-Instruct 为骨干时 F1 达到 86.0%，高于表中所列微调检测器与 LLM-as-a-judge 基线。

大模型二值化后训练量化长期存在隐性开销：缩放因子、分组参数和离群索引让标称1比特的权重实际落在2到4比特。AF1用双因子二值分解配合零空间补偿压低离散投影误差，再用分层Shapley分配结构预算，在目标线性权重严格1.0有效BPW下完成量化。LLaMA-3-70B上它取得61.80的七任务零样本平均准确率和8.91的WikiText2困惑度，高于3.25比特的HBLLM基线。

大模型二值化后训练量化长期存在隐性开销：缩放因子、分组参数和离群索引让标称1比特的权重实际落在2到4比特。AF1用双因子二值分解配合零空间补偿压低离散投影误差，再用分层Shapley分配结构预算，在目标线性权重严格1.0有效BPW下完成量化。LLaMA-3-70B上它取得61.80的七任务零样本平均准确率和8.91的WikiText2困惑度，高于3.25比特的HBLLM基线。

自动ICD编码要把标准诊断码贴到出院小结上，而小结里“住院经过”“出院诊断”等段落高度模板化，预训练容易学到这些表面结构而非病人特异的临床语义。SARL-ICD把对比预训练限制在主诉、现病史、既往史等叙述段，用扩充ICD码层级后的Jaccard相似度挑选正样本对，再把大模型扩写的ICD码描述以轻量标签-文本交互注入文档表示，并用专家混合模块融合PLM-CA与PLM-ICD的预测。在MIMIC-IV ICD-10上，完整系统取得28.6%宏F1和61.1%微F1，高于PLM-CA的26.1%与59.6%。

自动ICD编码要把标准诊断码贴到出院小结上，而小结里“住院经过”“出院诊断”等段落高度模板化，预训练容易学到这些表面结构而非病人特异的临床语义。SARL-ICD把对比预训练限制在主诉、现病史、既往史等叙述段，用扩充ICD码层级后的Jaccard相似度挑选正样本对，再把大模型扩写的ICD码描述以轻量标签-文本交互注入文档表示，并用专家混合模块融合PLM-CA与PLM-ICD的预测。在MIMIC-IV ICD-10上，完整系统取得28.6%宏F1和61.1%微F1，高于PLM-CA的26.1%与59.6%。

视觉语言模型常描述图中不存在的物体，以往抑制手段多在输出层或整层注意力上做干预，难以区分哪些注意力头对应忠实描述、哪些对应幻觉。HACP在推理时先用InfoSpectralScore按语义谱变化给每个注意力头打分，再在解码中抑制幻觉头、增强忠实头，无需训练。在1000张多标签COCO子集上，它把CHAIR-s/i从66.7/18.0降到43.4/8.6，F1从73.0升到77.0。

视觉语言模型常描述图中不存在的物体，以往抑制手段多在输出层或整层注意力上做干预，难以区分哪些注意力头对应忠实描述、哪些对应幻觉。HACP在推理时先用InfoSpectralScore按语义谱变化给每个注意力头打分，再在解码中抑制幻觉头、增强忠实头，无需训练。在1000张多标签COCO子集上，它把CHAIR-s/i从66.7/18.0降到43.4/8.6，F1从73.0升到77.0。

大模型蒸馏长期沿用温度τ=1，并据此认为反向KL优于正向KL。该研究从梯度上说明，温度主要改变正向KL学到的教师分布、对反向KL则主要是缩放梯度；在GPT-2与OPT的指令跟随基准上，τ=1时反向KL领先，调高温度后正向KL稳定反超，在策略内蒸馏中GPT-2 Base的正向KL平均ROUGE-L从16.95升到21.24。

大模型蒸馏长期沿用温度τ=1，并据此认为反向KL优于正向KL。该研究从梯度上说明，温度主要改变正向KL学到的教师分布、对反向KL则主要是缩放梯度；在GPT-2与OPT的指令跟随基准上，τ=1时反向KL领先，调高温度后正向KL稳定反超，在策略内蒸馏中GPT-2 Base的正向KL平均ROUGE-L从16.95升到21.24。