SO3LR Tauri 把力场扩到85种元素:一套权重同时跑蛋白、核酸、膜与含铂DNA
SO3LR Tauri 把此前覆盖8种元素、400万结构的 SO3LR 力场扩展到85种元素、约1.48亿结构,并改写了短程排斥、静电与色散三个物理模块。它保留快速的 SO3krates 消息传递主干,在耦合簇参考上复现核碱基配对、蛋白–配体相互作用与糖构象排序,并在无体系专属拟合的动力学中给出水与有机溶剂密度、离子水合和多种生物分子结构。模型分 S/M/L 三档发布,单张 GPU 上可扩展到百万原子量级。
SO3LR Tauri 把此前覆盖8种元素、400万结构的 SO3LR 力场扩展到85种元素、约1.48亿结构,并改写了短程排斥、静电与色散三个物理模块。它保留快速的 SO3krates 消息传递主干,在耦合簇参考上复现核碱基配对、蛋白–配体相互作用与糖构象排序,并在无体系专属拟合的动力学中给出水与有机溶剂密度、离子水合和多种生物分子结构。模型分 S/M/L 三档发布,单张 GPU 上可扩展到百万原子量级。
该工作提出 GREQ 两阶段混合模型-学习框架:第一阶段用基于信道统计的贪心算法以最少子信道确定性满足用户 QoS,第二阶段利用 OFDM 子信道间干扰仅来自同子信道这一结构,将大规模 MARL 问题分解为按子信道独立的 QMIX 子问题,从而避免动作空间指数爆炸;在 50MHz 带宽、多种 numerology 的仿真中,GREQ 相比优化与学习基线吞吐提升最高 40%,实现 100% 约束满足,且仅激活 20–80% 的可用子信道。
该研究在不重训模型的前提下,在每个头、层和查询处只保留注意力权重最高的若干token并保持其原始权重不变,通过测量负对数似然(NLL)的上升来估计维持给定损失容差所需的“有效注意力集合大小”,发现较小的集合即可让NLL接近全注意力基线、基于注意力的选择明显优于随机选择、所需集合大小随上下文延长而增大但其占上下文的比例下降,并且在固定标注支持事实的BABILong实验中,额外背景会把支持token挤下注意力排名并降低其注意力质量,而对保留权重做重归一化可大幅减小所需集合大小。
该研究把每个上下文自身的最终残差状态与来自其他上下文的最终状态库作比较,在 Gemma-2B、Gemma-7B、Qwen2.5-1.5B、Qwen2.5-7B、Mistral-7B 和 Llama-3-8B 六个预训练模型上发现:自身终点在最早测量层就比平均替代终点更近,但许多单个替代终点仍更近;竞争者集合随深度总体缩小,却同时存在进入与退出,且方向对齐可以在欧氏距离几乎不变时改善;作者还给出一个高维模型分离范数、对齐与终点几何的作用,并证明朝自身终点的直线路径不会引入新竞争者。
已读完全部报道