Sakana AI 与 Modal 合作，把约 1 万亿参数的混合专家模型 Sakana Namazu 以 NVFP4 精度部署到生产 API。压缩只作用于承载大部分参数的路由专家，注意力、路由器和共享专家保持 BF16，并用偏重日语的对话数据校准，使模型在日语指令遵循上与生产检查点相当。定制草稿模型在超过 300 亿原始 token 上训练，相比通用草稿模型把投机 token 接受率提高 25%；上线后用约 100 万条真实请求重训的第二版草稿模型，在 1000 条留出请求回放中把平均接受长度从 3.51 提到 5.01，p99 延迟从 68 秒降到 52 秒。
大模型上手机的主要瓶颈是权重占用的内存，而不是计算。DictLLM把分组层内的权重矩阵拆成一份共享字典和每层各自的稀疏系数，全部从预训练模型直接算出，不需要重新训练。在LLaMA-7B上，它把模型压缩5.1倍，WikiText-2困惑度只上升2.9点，压缩比约为当时最优低秩方法的3.6倍。
原生NVFP4强化学习早期奖励正常，训练后期却出现熵异常、训练与采样对数概率差扩大和奖励下滑。miniTE把量化策略、线性层与计算后端分层，配合按token缩放、连续布局与amax复用等实现优化；在8×B300上，两条miniTE路径配BF16反向传播时，完整学习器更新相对BF16取得约1.33–1.37倍配对加速，固定输出服务测试另有约1.64倍吞吐。这些学习与系统结果来自不同配置，尚不构成端到端强化学习加速。
Meta 发布开源权重多模态混合专家模型 Muse Spark Open，SGLang 与 Miles 在发布当天为其接上推理与强化学习训练后端。该模型文本主干 816B 参数、每 token 约 42B 激活，支持文本、图像、视频、音频输入和 1M token 上下文。在 8 块 B300 上以 NVFP4 权重跑 OpenHands 多轮智能体编码回放，并发 128 时每 GPU 总吞吐 80.3K token/s、每用户 61 token/s。
英伟达发布开源多模态模型 Nemotron 3.5 Super VL，可接收文本、图像、文档和视频并输出文本，面向需要看屏幕、读文档、调用工具的常驻智能体。SGLang 在发布当天提供部署支持，用连续批处理、前缀缓存和投机解码承载推理。模型采用混合专家结构，总参数1200亿、每 token 激活120亿，并内置多 token 预测；在单张 RTX 6000 PRO 上达到 243.9 tok/s。
英伟达发布 Nemotron 3.5 Super VL，一个面向长时间运行智能体的开放多模态模型，把文档、图像、视频理解与推理、指令跟随、工具调用合并在同一个模型里，减少分别部署文本模型和视觉模型的需要。它采用1200亿总参数、120亿激活参数的混合专家架构，配合混合 Mamba-Transformer、多令牌预测与 NVFP4 量化，并可在 NVIDIA NeMo 上用机构自有数据、工具、策略和工作流做后训练。官方给出的对照是：在单张 GPU 上，该模型在智能体任务上的吞吐最高可达同尺寸其他开放模型的5倍，任务完成速度可达4倍。
该工作提出 OSFP4：通过分析乘性抖动 FP4 量化器，得到可微的矩阵乘积量化误差近似，据此对每个线性投影联合优化对角平滑矩阵与权重分块缩放，并针对 RTN 或 GPTQ 式 SIC 舍入分别构造损失；在 Llama-3.1-8B-Instruct 上，W4A4 配置取得所评估方法中最高的平均准确率，同时保留约 94-97% 的厂商 NVFP4 预填充吞吐。
作者提出 SoloQ：用 K-RPBH 旋转把权重与激活映射到可预测的近似高斯分布，配合仅尺度偏差校正实现免校准 4 比特量化，并对块扩散模型在块提交时量化 KV 缓存；在 LLaDA-Base、LLaDA-1.5、Dream-7B、Fast-dLLM v2 与 Nemotron-Labs-Diffusion 上，SoloQ-C 与 SoloQ-N 在 W4A4 及 W4A4KV4 下保持精度，平均分超过 DLLMQuant++、STaR-Quant、FAIR-Calib 等需校准基线，NVFP4 路径还降低峰值内存并加速端到端推理。
已读完全部报道