跨语言越狱有了共同靶点:安全内核只占0.12%神经元,掩码微调压低多语攻击成功率
大模型的安全能力在不同语言间并不一致,同一有害请求换一种语言就可能绕过拒答。研究者先在每种语言内部独立找出与安全行为相关的神经元,再取六种语言候选集合的交集,得到跨语言共享的“安全内核”,并用激活抑制和激活状态迁移验证其功能作用。在此基础上提出的SK-Masked LoRA只把微调更新限制在安全内核对应的前馈网络输出维度上,在多个模型和多语言安全基准上降低攻击成功率,对未参与内核发现的语言也有一定效果。
大模型的安全能力在不同语言间并不一致,同一有害请求换一种语言就可能绕过拒答。研究者先在每种语言内部独立找出与安全行为相关的神经元,再取六种语言候选集合的交集,得到跨语言共享的“安全内核”,并用激活抑制和激活状态迁移验证其功能作用。在此基础上提出的SK-Masked LoRA只把微调更新限制在安全内核对应的前馈网络输出维度上,在多个模型和多语言安全基准上降低攻击成功率,对未参与内核发现的语言也有一定效果。
病理诊断的一个病例往往横跨数十张来自不同取材部位的切片,而此前的病理智能体一次只分析一张切片、只描述形态而不做测量。PlanPath把诊断问题转成一份探查计划,先路由到可能携带证据的切片,再从组织架构逐级放大到细胞做计数与比例测量,并把跨切片证据汇总成可追溯的答案。在肾癌与胃癌两个患者级数据集上,PlanPath的总准确率分别为72.71%和60.24%,比最强基线高12.14和9.43个百分点。
遥感图像融合与语义理解长期分开优化,融合指标好并不保证下游检索和检测能用。Lance把每幅输入映射成由场景、物体、布局组成的封闭词表文本记录,用这段语言条件引导融合,再把融合结果重新描述成文本,以文本一致性和带负查询的文本—掩码对比损失回传梯度。在GF2、QuickBird、WorldView-III、WorldView-II四个传感器七个测试集上,降尺度参考指标相对最强学习基线最高提升11.7%、中位2.1%;用训练时未见的RemoteCLIP和DOTA监督检测器评估,检测mAP@0.5比最接近的对比方法高6.4。
机器学习预测 Kohn–Sham 哈密顿量时,只按矩阵元素误差训练会让下游电子性质误差偏大,因为从算符到电子态的映射高度各向异性。DSHam 在原有哈密顿量损失之外,同时约束预测哈密顿量解出的密度矩阵、实空间电子密度和占据轨道能量。在 ∇2DFT 基准上,电子密度与总能量误差分别比最强对比方法降低 40 倍和 500 倍,并能在训练规模两倍重原子的分子上外推。
大推理模型常在信息已经足够后继续长篇推理,推高解码延迟与显存开销。LoCo把压缩决策放到单个推理状态上:从模型自身轨迹中找出过度思考的候选状态,冻结该前缀,重新生成更短且答案验证正确的续写,再用DPO学习“继续还是收尾”的偏好。在五个数学基准上,补全长度减少41.7%–45.4%,准确率保持或提升;仅用数学数据训练后,同一模型在三个代码基准上长度减少23.4%–36.3%。
流数据实时预测中,研究者往往同时手握多个广义线性模型,而模型平均通常要对全部历史数据做凸优化。ReMAQ用二次近似改写这一过程,使新一批数据到达时只需解一个二次规划即可顺序更新预测,无需访问全部历史数据。在正则条件下,其权重与基于不可得全数据的oracle模型平均渐近等价,由此得到渐近最优性;模拟研究以及在Airline On-Time Performance数据集上的应用用于评估该方法。
作者提出 Ego2World 基准,把带标注的烹饪活动编译成部分可观测下的可执行规划环境,将源步骤与物体链接到符号动作规则、持久世界状态和显式任务条件,并分开维护世界状态与智能体信念;在 105 项任务上评估六种规划器发现被接受的操作常未达成任务目标,执行轨迹与条件检查可区分中断、部分达成与执行完成但未达成目标;另一项配对 Qwen-Plus 研究中,持久信念使动作有效性提高 4.15 个百分点、视觉查询尝试减少 90.27%,但 token 用量更高且未检测到完成度提升。
该工作对稀疏注意力做统一理论分析:证明全注意力与稀疏注意力之间的Jensen–Shannon散度仅由被丢弃的截断质量决定并给出闭式表达,在注意力分数为独立同分布次高斯假设下用次序统计量证明截断质量的高概率下界随序列长度增长而增大,同时用Rademacher复杂度与Xu–Raginsky互信息加熵和覆盖数分析给出随稀疏度收紧的泛化界,并在GPT-2(124M)与WikiText-103上验证闭式散度与信息损失随序列增长的趋势。
研究者构建了 EngiWorld 基准,围绕完整工程设计闭环,在 CAD、CAE、CAM、BIM、EDA 与 3D 可视化 6 个领域、26 个专业软件平台上设置 1301 个专家策展任务,并用统一的领域验证器套件对最终与中间产物做几何有效性、物理可行性与规则合规检查;对 7 个前沿模型的评测显示最强模型 EngiScore 仅 44.3,多软件尝试成功率仅 3.6%。
该工作提出 LT-OPD,让只保留 5% 视觉 token 的学生模型在自己的生成轨迹上接受冻结全 token 自身教师的分布监督,并配合逐步降低 token 预算的课程,在 Qwen3.5-4B 九个基准上把平均保留性能从 68.6% 提升到 82.3%,同时把 KV 缓存降低 85.2%、prefill FLOPs 降低 85.4%,且不增加推理开销。