跳到主要内容
检索

ByteDance (China)

8 篇关联报道

订阅更新
  1. arXiv

    流式视频不再只记“有什么”:DeltaStreamer把帧间变化写进记忆,OVO-Bench总分66.07%

    流式视频理解要在还不知道后续会问什么的情况下保留证据,而现有方法压缩历史时容易把事件之间的变化抹平,且一旦帧过去就无法找回被省略的细节。DeltaStreamer把相邻帧的视觉变化显式记录进分层文本记忆,并在问题到达后由查询驱动的规划器决定检索、继续观察还是回放历史帧。在OVO-Bench与StreamingBench上,其总分分别为66.07%和59.53%,高于所比较的代表性流式方法。

  2. arXiv

    心智推断答对不等于协作成功:把信念接进可验证任务后,Claude 全对却只有67.9%计划最优

    心智理论评测常以故事问答判断模型能否推断他人信念,但答对未必意味着能在任务中用上这些判断。研究把家庭协作与日历排程两类可验证任务扩展为信息不对称场景,并拆出世界、信息获取、信念、决策与执行五层独立接口。在匹配的排程案例上,Claude 完整恢复全部智能体信念,却只在67.9%的案例给出主观最优计划;在家庭协作中,向 Qwen-27B 提供信念使任务成功率从55.0%升到75.0%。

  3. arXiv

    PPO的裁剪不再只有一种几何:换成KL散度加原子估计,数学推理均分从27.7升到41.5

    大模型强化学习里的PPO裁剪被推广成散度几何与估计器两个维度的设计空间,其中KL散度配原子估计在八个竞赛级数学与代码基准上把平均分相对标准GRPO提高约50%和14%。

  4. arXiv

    长程推理RL训练不再中途崩:状态分布修正让数学平均比GRPO高48%、代码高12%

    长程自回归强化学习里,局部策略偏差会沿轨迹累积成状态分布偏移,使训练随长度增长而失稳甚至崩溃。轨迹感知策略优化从离策略策略梯度中推导出状态分布修正项并写入优化目标,用几何均值估计压低其方差,再按前序轨迹长度动态收紧裁剪边界。在八个竞赛级数学与代码基准上,它相对GRPO的数学平均提升最高48%、代码平均提升12%,训练分数持续上升而KL散度受控。

  5. arXiv

    PhysVista 用“看—推理—评估”闭环测 16 个 VLM:感知尚可,物理推理与可信度打分明显掉队

    PhysVista 提出一个把物理状态感知、物理动力学推理与物理可信度评估串成闭环的基准,同时纳入真实视频与 AI 生成视频,并在 16 个 VLM 上评测,结果显示模型在可观察状态感知上表现相对较好,但在物理动力学预测、反事实推理以及细粒度可信度打分与排序上明显不足,且真实视频上的表现普遍优于生成视频。

  6. arXiv

    SplitMoE把视频扩散模型的专家池拆成语义与通用两路,在14B激活参数下超过同源MoE并呈现由粗到细的去噪路由

    该工作指出语言模型式的token级MoE在视频扩散中会陷入“均匀性陷阱”——语义组织不足叠加均匀专家使用正则,使同一物体的相邻patch被分散到不同专家,造成路由碎片化与结构失真;为此提出SplitMoE,把专家池拆为语义专家与通用专家,用原型引导路由和pull-push正则让token按语义属性自然聚类,在激活参数预算相同时于VBench-2.0与T2V-CompBench上优于传统负载均衡MoE,并观察到语义专家权重在早期高噪声阶段(约第10–15步)达到峰值、随后转向通用专家的由粗到细去噪规律。

  7. arXiv

    ByteDance Seed与威斯康星大学把FP8强化学习全流程跑通:定位到熵激增的过裁剪成因,用Calibrated Clipping在8B到32B上追平BF16并取得最高1.5倍训练吞吐

    该工作研究大语言模型全流程FP8强化学习的训练稳定性,指出复合FP8量化噪声会扭曲重要性比值、使负优势token被过度下裁剪而梯度被错误置零,并提出Calibrated Clipping通过匹配BF16参考的下裁剪分位数并重新平衡上界来动态校准裁剪边界,在GRPO与DAPO、8B至32B模型和多种FP8缩放粒度上消除熵激增、恢复接近BF16的性能,同时训练吞吐最高可达BF16的1.5倍。

  8. arXiv

    PISA 用金字塔 Top-K 选择把块稀疏注意力的选择阶段降到 O(N log N),在 256K 长度上比 BSA 快 9.95 倍

    上海交通大学与字节跳动 Seed 的研究者提出 PISA,一种用金字塔式由粗到细 Top-K 选择加 LogSumExp 打分、并配 Triton 核的块稀疏注意力机制,把块选择复杂度从 O(N²/C) 降到 O(N log N),在 418M、1.47B、2.67B 三个规模上与 BSA、NSA、HiLS 在语言建模和常识推理上表现相当,在六项检索任务上取得稀疏方法中最高平均准确率,并在 64K、128K、256K 序列长度上分别比 BSA 的块选择快 2.86 倍、5.31 倍、9.95 倍。

已读完全部报道