跳到主要内容
检索

# 可复现性

10 篇关联报道

订阅更新
  1. bioRxiv

    古微生物组分析有了带边界的智能体:24次冻结测试通过23次,每次运行都能回放

    古微生物组数据稀缺、易污染,让语言模型直接规划分析时,它可能引用不存在的文件、套用格式不允许的操作,或回答数据无法支撑的问题。PaleoRigor把语言模型规划器限制在预定义本地模块内,运行前校验文件引用、格式与步骤依赖,并对越界请求给出具名理由码,同时保存计划、中间文件、校验和与决策记录。在预先注册的冻结留出评测中,它通过24次运行中的23次(95.8%),其中12次边界决策全部正确;同一模型去掉规划契约后通过19次。

  2. 训练结果为何总也复现不了:吸引域像“千层酥”一样互相穿插,精度再高也换不来可预测

    深度学习训练结果难以复现,常被归因于随机种子、批次顺序等外部噪声。该研究把训练看作参数空间中的动力系统,提出不同解对应的吸引域彼此任意接近地交织,形成“千疮百孔的吸引域”几何。在一个两层网络的最小模型中,据此推出的不确定性指数接近零:初始精度提高近24个数量级,结果不一致的比例才减半;在约50万个深度网络训练中,参数空间与函数空间的同类指数也接近零。

  3. arXiv

    两个SAE潜变量何时算同一特征:一张能量加权传输计划同时给出字典差异与逐潜变量分摊

    比较两个稀疏自编码器(SAE,把模型激活拆成稀疏学习分量的字典)时,需要同时回答整本字典差多少、差在哪些潜变量、以及多少来自有限文档的抽样波动。这套方法用一张能量加权的最优传输计划把三者连起来:计划的总代价是字典级差异,代价可按潜变量精确分解,传输比例描述每个潜变量的激活能量如何分配到对方潜变量上,并给出联合渐近置信区间。在四个语言模型上,它定位了同数据不同随机种子训练出的SAE之间的差异,并把主题相关的改变拆成权重项与代价矩阵项。

  4. bioRxiv

    稀疏自编码器特征换个尺子量:跨种子可复现不等于对应真实概念,五种子共识把可复现率提到78–98%

    稀疏自编码器(SAE)常被用来从生物基础模型嵌入中提取可解释特征,而跨随机种子可复现一直被当作特征可信的标志。研究在概念已知的嵌入上同时测量可复现性、概念覆盖与纯度:单次SAE拟合只复现27–46%的特征,却覆盖多数概念;对五个种子拟合做共识后,可复现率升到78–98%,纯度与单次拟合相当。代价是共识覆盖的谱系少于单次拟合,且所有SAE都漏掉弱细胞状态。

  5. arXiv

    高分之下藏着标签级失败:四个数据集、五个模型检验LLM编码本分析

    用编码本(把理论概念映射为标签的标注指南)驱动大模型做内容分析时,聚合指标的高分可能掩盖标签级失败。研究在四个数据集、五个模型上系统扰动提示、重复运行并做跨领域迁移,发现最差标签F1与micro-F1相差约26至30个百分点,且模型更依赖标签名称而非定义。这些失败在准确率和micro-F1上看不出来,在提示优化后依然存在。

  6. researchsquare.com

    量子启发入侵检测没有通吃冠军:五个数据集上,第一名随流量环境换人

    量子启发的入侵检测常以单个高分示人,但换一个数据划分、预处理流程或部署预算,结论是否还成立并不清楚。Q-IDS Bench 在五个网络与物联网数据集上,用同一套防泄漏流程和五个随机种子评测九种量子启发配置,全部在经典硬件上运行。最佳加权 F1 落在 98.86% 至 99.95% 之间,但领先架构随数据集变化,按五数据集平均,第一名与第九名只差约 1.13 个百分点。

  7. NVIDIA Technical Blog

    万亿参数预训练也能逐位复现:NVIDIA把确定性开销从两位数压到约2%

    NVIDIA在Megatron Core上把逐位确定性预训练的开销压到可接受范围:同一初始状态下的两次独立运行、以及从检查点恢复的运行,都要在每一步保持数值完全一致。此前这类确定性配方开销常达两位数百分比,Nemotron 3 Ultra经缓冲区填充优化后从约17%降到2%,再降到1.5%(3,072块GPU);大规模Nemotron配方在2,432块GPU上测得约2%稳态开销,并在800步内保持逐位一致。

  8. arXiv

    同一条语义查询重跑会换答案:温度0下最多24%的行改变输出,计划把变化放大到多数结果

    在温度0下重跑语义查询,0.07%到10.2%的行会改变算子输出,单个任务最高24.0%,而计划会把这种变化放大到多数答案上。

  9. arXiv

    系统提示中隐藏的当前日期让9个模型成绩波动,最高达14%并重排榜单

    该研究在9个近期大模型和6个数据集上固定其他配置、只改变系统提示中隐藏注入的当前日期(2024年全年逐日扫描),发现仅日期变化即可让多选问答准确率波动最高6%、数学推理最高14%、代码生成最高7%、机器翻译最高2.84 BLEU,模型排名随之改变,且该效应大于批大小与数值精度等已知非确定性来源,思维链提示不但不能缓解反而放大敏感性。

  10. WiFi CSI 无法替代可穿戴 IMU:27 类活动识别中 WiFi 加权准确率仅 6-11%,IMU 达 73-80%

    该研究以 Multimodal Activity Sensing Dataset(MASD,27 类活动、20 名参与者)为对象,检验环境 WiFi 信道状态信息(CSI)能否替代体戴惯性测量单元(IMU)做人体活动识别;作者发现数据集发布的机器学习就绪文件实际暴露的是退化的有符号 CSI 表示而非文档所述的幅度,于是从原始复数 CSI 重建幅度与天线比多普勒、恢复被省略的参与者标识,并在受控多种子、主体独立评估下重新评测,结果显示 WiFi 系统性偏弱:所试每种骨干网络在 27 类上加权准确率仅 6-11%,而 IMU 为 73-80%,27 类活动中 0 类达到可用准确率;修正表示确有作用(在简单子集上提升 14 个百分点),但 WiFi 仍

已读完全部报道