同架构同数据,换优化器就换泄露量:Muon 重建最强,Adam 最抗重建
在相同架构与数据下,仅凭训练好的检查点重建训练图像时,Muon 训练的模型泄露最多,Adam 训练的模型在评测攻击下最抗重建,优化器选择因此成为训练数据隐私的一个控制轴。
在相同架构与数据下,仅凭训练好的检查点重建训练图像时,Muon 训练的模型泄露最多,Adam 训练的模型在评测攻击下最抗重建,优化器选择因此成为训练数据隐私的一个控制轴。
并行扩散草稿器一次前向就给出整块候选,但块内各位置互不知情;一种只读草稿器已有隐状态与logits的轻量校正器在相邻候选间并行打分、再从左到右贪心重选,在四个验证模型和十个基准上取得最高平均吞吐,并发32路时仍快于未校正草稿。
Mallows模型下的选品优化此前只有依赖结构简化或限制性参数假设的近似方案,否则就要用高度复杂的准多项式时间方案。这里的关键变化是:Mallows选择概率可以被一组相互独立的效用同时复现,对所有可选集合都成立。借助这一精确等价和有限支撑归约,得到运行时间为 的近似方案,并允许任意商品价格、集中参数和众数排序。
该工作提出 TellTail,一种仅通过查询来识别黑盒检索系统背后嵌入模型的指纹攻击:当系统暴露完整排序结果时可完美识别,暴露无序 top-3 结果时成功率为 94.3%,仅暴露语言模型生成答案时成功率为 92.5%,并在 OpenWebUI 端到端部署中仍能识别 53 个检索器中的 44 个。
该工作提出 cordial(相关且分布式)学习,用于智能体数据相关的分布式学习场景:每个智能体的标签依赖于其他智能体对同一样本的输入,且这些输入彼此相关;方法仅在智能体之间共享低维输出、各自训练本地模型以从同伴中提取有用信号,从而形成一个每个智能体损失依赖他人模型的博弈,作者在假设线性模型下证明该过程以概率一收敛到全局最优解(尽管全局目标非凸),并在结构化多位 MNIST 任务上显示该方法在高度非线性情形下依然有效。
作者提出Local Support Learning(LSL),把灾难性遗忘视为每个权重矩阵输入空间的几何问题,用一个基于高斯混合模型的门控函数只在该阶段训练分布的支持域上启用权重适配器,从而在无法访问先前数据的情况下,对最多70亿参数的LLM进行多阶段微调,既充分学习新任务又保留预训练与先前微调能力。
该工作提出「零数据自博弈预训练」的概念验证:从随机初始化开始,一个生成器提出由通用图灵机解释的程序以产生字节序列,一个学习器以标准交叉熵自回归预测这些字节序列,生成器则用强化学习被训练去产出处于学习器能力前沿的序列,从而形成自适应课程;由于生成器与学习器都未在自然数据上训练,作者用自然数据上的零样本表现作为迁移的干净检验,结果在多个自然数据集上零样本损失随自博弈算力呈现可预测的缩放,模型还表现出上下文学习,并在训练中发现可识别的数学序列。
该研究回顾性分析了1,754张带标签的公开膀胱镜图像,测试Direct、Book-based与Optimized三种提示词在GPT-5.2、GPT-5、GPT-5-Mini与GPT-5-Nano上的良恶性分类表现,发现GPT-5与GPT-5-Mini在优化提示词下准确率分别达86.7%与89.2%,GPT-5在优化提示词下高置信度分诊在62.0%图像覆盖率下达到98.1%准确率、94.6%特异度与99.1%敏感度,提示工程虽未带来统计显著的性能提升,但改善了置信度校准与分诊表现。
该研究在一个常规运行的手术人工智能平台上,对249例连续腹腔镜胆囊切除术自动赋予Parkland分级评分,并按低危(PGS 1-2,n=78)与高危(PGS 3-5,n=171)分组比较手术结局,同时以两名外科医生对75例视频样本的独立双次复核作为真值,评估模型的F1分数、区分度(AUC 0.932与0.896)与校准度,结果显示高危组在年龄、ASA评分、胆囊炎比例、急诊手术比例、手术时长、术中事件、中转补救、住院天数及90天主要并发症与再入院方面均更高,且在病例对照匹配(n=84)后手术时长与出血相关事件仍保持显著差异。
已读完全部报道