低秩适配只学一个矩阵：SingLoRA在LLaMA-7B上以六成参数预算超过LoRA与LoRA+
低秩适配（LoRA）把权重更新拆成两个小矩阵相乘，但两者范数在训练中常相差悬殊，造成梯度流不平衡和训练不稳定。SingLoRA把更新改写为单个低秩矩阵乘自身转置，从构造上消除矩阵间尺度冲突，并把可训练参数减少约一半。在MNLI上微调LLaMA-7B时，SingLoRA取得91.3%准确率，高于LoRA的89.1%和LoRA+的90.2%，而只用了它们60%的参数预算。
智能体长任务不再被上下文拖垮：Step 5 Preview用92层窄深结构撑起百万级环境
Step 5 Preview 把智能体工作负载当作模型设计的出发点：它采用92个Transformer块的窄而深结构，在高效注意力与稀疏全注意力之间按3:1交错，并用Sparse GQA把全注意力路径扩展到最长100万token上下文。其总参数量不到Qwen3.8-Max、Kimi K3这类万亿级模型四分之一，活跃参数不到三分之一，报告称由此获得与这些万亿级模型相当的长程智能体能力。训练侧配套了智能体原生数据合成与面向长rollout的强化学习系统，最终构造出百万级可验证环境。
EasyPPO 指出 PPO 评论家两类失效模式，在三项任务上稳定训练并相对 PPO 提升 14.89%、2.28%、9.47%
该工作识别出 PPO 在 LLM 强化学习中的两类评论家失效模式——对截断轨迹同时过滤演员与评论家会把策略目标变为“以完成为条件”的奖励，以及同一批次内不同提示的回报噪声异质会让高方差提示主导评论家更新——并提出 EasyPPO，用仅作用于演员的超长过滤、按回报标准差倒数加权的噪声归一化评论家回归、以及配合梯度裁剪的适度更小评论家小批量来应对，在 FrontierCS 连续奖励编程、AIME24 二元奖励数学推理和 Search-R1 多轮搜索上全程保持稳定，最佳验证分数相对 PPO 分别提升 14.89%、2.28% 和 9.47%。
ByteDance Seed与威斯康星大学把FP8强化学习全流程跑通：定位到熵激增的过裁剪成因，用Calibrated Clipping在8B到32B上追平BF16并取得最高1.5倍训练吞吐
该工作研究大语言模型全流程FP8强化学习的训练稳定性，指出复合FP8量化噪声会扭曲重要性比值、使负优势token被过度下裁剪而梯度被错误置零，并提出Calibrated Clipping通过匹配BF16参考的下裁剪分位数并重新平衡上界来动态校准裁剪边界，在GRPO与DAPO、8B至32B模型和多种FP8缩放粒度上消除熵激增、恢复接近BF16的性能，同时训练吞吐最高可达BF16的1.5倍。
StableVQ：把向量量化分词器的训练稳定性从“侥幸”变成“可保证”
该工作提出 StableVQ，用三个不含可学习参数的组件——Dynamic STE、Region VQ Loss 与 Decoupled Schedule——把编码器-解码器与码本从相互纠缠的训练中解耦，使二者各自独立完成自身职责，从而在 ImageNet 上跨多种码本规模与初始化设置一致提升训练稳定性、码本利用率与重建质量。
已读完全部报道