表征不必靠规模对齐:正视图让1.09亿参数文本编码器在PRH基准上超过720亿参数语言模型
研究把“不同模态模型会收敛到同一世界表征”的柏拉图表征假说,在JEPA(联合嵌入预测架构)上变成可证明的定理:只要各模态的正样本对描述同一世界状态,分别训练的编码器就只差一个旋转。据此区分“正视图”与“坏视图”,在相同文本与编码器下正视图对齐最好;一个1.09亿参数的文本JEPA在PRH基准上达到.184,高于所评估的全部语言模型(最高720亿参数,.154)。
日报
仅汇集当天已送达公开发布边界的内容。
已封刊 · 第 1 版
研究把“不同模态模型会收敛到同一世界表征”的柏拉图表征假说,在JEPA(联合嵌入预测架构)上变成可证明的定理:只要各模态的正样本对描述同一世界状态,分别训练的编码器就只差一个旋转。据此区分“正视图”与“坏视图”,在相同文本与编码器下正视图对齐最好;一个1.09亿参数的文本JEPA在PRH基准上达到.184,高于所评估的全部语言模型(最高720亿参数,.154)。
团队把奖励模型的一次修改看成对回复特征调价,用当前策略的样本和旧、新两个奖励模型的打分差,在训练前算出每个特征会往哪个方向变、变多少。在六个父策略、54次RL运行的受控实验中,协方差预测器在200步窗口解释了82%的标准化响应,而按反事实价格计算的经典做法只解释50%;同一预测在三次真实奖励模型升级上以冻结系数解释66%,但排序只在训练前30步对租金有效。
DepthGraft把跨层KV共享从省缓存的推理技巧改造成一种训练期的结构正则:深层不再独立计算KV,而是从浅层与中层按相同相对深度取一对源层,用可学习的逐通道系数重建。这样深层的梯度会沿共享边回流到源层KV投影,使键的检索方向更集中、值的内容子空间更丰富。在0.5B到16B的稠密与MoE模型上,下游平均分一致提高,16B MoE的MMLU-Pro绝对提升7.0个百分点,同时KV缓存减少约三分之一。
OpenAI在GPT-5.6起为所有助手回复增加了一层基于模型内部激活的轻量分类器,即探针,与外部文本分类器并行部署。探针可在生成中途流式拦截违规回复,对越狱更稳健,运行开销更低,且准确率随被监控模型能力提升而提高;但它依赖标注数据,只能识别已知的可测量行为,换基座模型需重新训练。
BYOD给出一种只训练LoRA适配器的自回归到扩散语言模型转换方法:冻结全部基座参数,把每层因果注意力换成双向注意力,用掩码扩散目标在单张Google Colab GPU上训练最多102.4M token、3.1–4.0小时,即把Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B转成可从全掩码序列生成的扩散模型,适配器占最终参数4.1–5.8%。九项任务上最强的BYOD-Gemma平均准确率50.6%,同一评测框架下LLaDA 8B Instruct为51.9%;低NFE预算下的开放生成质量仍是主要短板。
CL-DGFM把动态图上的交互历史编码成与节点身份无关的表格特征,涵盖重复接触、间接连通和有序目的地转移,再让预训练的表格基础预测器在多样合成动力学上学习如何解读这些特征。在TGB与TGB-Seq的13个数据集上,它在其中10个取得最高平均MRR,并在Comment、Flickr、YouTube上分别比所列最强基线高10.78、15.24和11.69个百分点;迁移到真实图时不更新目标图参数。
分布式训练规模扩大后,单卡故障会随集群规模累积,而逐作业手工排查日志、隔离故障、从检查点重启已难以覆盖整个集群。NVIDIA 以 Apache 2.0 开源 NVIDIA Recovery,这一工作负载级服务结合应用日志、GPU 指标与调度器信号,完成检测、归因、隔离和重启或停止四个阶段,并通过 Advisor API 与 Slurm 对接。在一个训练集群上,7月9日至10月9日的监控覆盖日均近200个作业,记录约8550次异常检测,检测与恢复动作的平均延迟分别为69秒和94秒。
胶质母细胞瘤细胞会在分支、弥散移位、爬行和血管周移位等侵袭形态之间切换,但此前难以在完整脑组织里长时间、大数量地观测这些切换。GlioTrace把全标本共聚焦成像、卷积神经网络形态分类和带协变量的隐马尔可夫模型接成一条流水线,在六例患者来源异种移植脑片上追踪数千个细胞。结果显示侵袭可塑性因患者而异、在空间上有组织,并受血管邻近和小胶质细胞接触调节;靶向药改变形态组成与转换概率,而放疗联合替莫唑胺富集了迁移最快、在转换网络中高度连通的分支态。
Anthropic 在 Claude 平台公测 message threads,让智能体每轮只发送上一轮之后的新消息,而不必重发整段对话历史。此前编码智能体一次会话可能发出数百个请求,每个请求都携带全部早期消息与工具结果,上下文达到数十万 token 后,重发本身就会拖慢 Claude 开始响应的时间。在多数 Claude Code 用户默认开启的情况下,50 万至 100 万 token 的请求首字延迟中位数下降约 35%;但 Claude 每轮仍读取完整对话,token 用量不变。
谷歌在十月把前沿推理模型 Gemini 4 Argon 推向全球开发者、企业和消费者,两周后又宣布面向长周期工程与网络安全防御的 Gemini 4 Carbon。Argon 在早期安全测试后接入 Google AI Studio、Gemini API、Google Cloud、搜索与 Gemini 应用,并另设机器人版本;Carbon 则先进入预发布测试,交由美国政府和 Fairwind 计划的受信网络防御方试用,在扩大开发者与企业发布前继续打磨安全护栏。
Metis-1.6发布两个从零训练的语言模型Praxis与Logos,每个token都让同一套Mamba-2与注意力混合专家堆栈跑两遍,各用1.02T token训练。Logos在40项后训练基准上平均52.93,在17个模型中排第7,比Qwen3-4B低0.75分;但披露数据量的对比模型训练中位数为12T token,超过它的模型都至少用了28T。数学上它30个模型中排第2,AIME 2025为67.50%,代码、指令跟随与长上下文偏弱。
分布式AI训练里,一处GPU或网络故障会在其他rank上引发NCCL报错、调度状态变化和大量下游消息,而异常只显示作业停在哪里。英伟达将内部使用的Attribution归因工具开源,它按作业范围汇集日志、指标、遥测和调度状态,用确定性规则区分下游症状与根因,并返回结构化诊断。在一个多rank训练示例中,它把node-02上的XID 149判为NVLink信号完整性问题的根因,把其他rank的NCCL报错保留为症状,并将作业判为硬件故障。
俄罗斯团队用囚禁离子上的三能级量子忆阻器构建储备池计算系统,靠玻恩规则非线性、量子相干与反馈记忆处理经典时间序列。两个耦合量子忆阻器加两次芯片运行,在单项式 xd 任务上把测试均方误差保持在 10^-2 以下直到 d=100,代价是读出权重增至 50 个;经典回声状态网络在 d 约 40 以上即使扩到 2000 个节点也无法匹配。在 NARMA10 等记忆主导任务上,该储备池只与最小规模经典网络持平。
Sakana AI发布AI智能体构建与运营平台Sakana Aquarium,以本体为核心,把组织内表格、文档等异构信息在不迁移原有存储的前提下连成统一语义,让智能体依据最新状况完成信息确认、判断与执行。平台同时提供治理层,设定访问权限与执行前审批,并记录从判断依据到执行结果的全过程;已整理的数据与本体可被其他智能体直接复用。
Subvocal 公司把无声语音输入从贴脸电极换成射频传感:眼镜向面部发射类似蓝牙的无线电波,电波穿过舌头、嘴唇和软腭时被默念口型调制,模型再把扰动解码成文字。团队称此前贴电极方案受汗液、电干扰和佩戴位置影响,而不同人脸解剖结构差异大,最终靠扩大预训练数据改善跨用户表现,演示者只用约20句校准。