智能体长任务不再被上下文拖垮：Step 5 Preview用92层窄深结构撑起百万级环境
Step 5 Preview 把智能体工作负载当作模型设计的出发点：它采用92个Transformer块的窄而深结构，在高效注意力与稀疏全注意力之间按3:1交错，并用Sparse GQA把全注意力路径扩展到最长100万token上下文。其总参数量不到Qwen3.8-Max、Kimi K3这类万亿级模型四分之一，活跃参数不到三分之一，报告称由此获得与这些万亿级模型相当的长程智能体能力。训练侧配套了智能体原生数据合成与面向长rollout的强化学习系统，最终构造出百万级可验证环境。