RadixArk 把 Miles 智能体强化学习的沙箱搬上 NVIDIA Vera：满载下每轮快 12%
核心概要
RadixArk 与 NVIDIA 合作，把开源强化学习后训练框架 Miles 的全部沙箱放到 NVIDIA Vera CPU 上运行，并称这是首个端到端智能体强化学习训练中沙箱全部跑在 Vera 服务器上的公开结果。在保持机器满载的对照训练中，同一模型、任务、GPU 与设置下，沙箱放在 Turin 上时每轮平均多花 12%，而模型思考时间两边相同，差异几乎都来自沙箱内的工作。Vera 单沙箱运行时与当代 x86 相当或更好，负载越重优势越大。
深度剖析
智能体强化学习训练中，模型要在沙箱里执行命令、编译代码、跑测试，再根据结果决定下一步，一次训练可能同时开着数百个沙箱，承载这些沙箱的 CPU 会影响训练速度与规模。 Terminal-Bench 与 SWE-bench 只发布 x86 镜像，因此团队为其中 530 个任务重建了 arm64 环境，并逐一对照参考解核验。 Miles 支持多种智能体框架与沙箱后端，把所有沙箱换到另一种 CPU 架构不需要改动训练代码，改动全部落在环境一侧。
沙箱服务建在开源 AgentENV 上，每个沙箱是一台轻量 Firecracker 虚拟机，比容器隔离更彻底，并从快照启动，耗时不到 0.1 秒。 训练时推理由 SGLang 提供、训练留在 GPU 集群上，每个回合在 Vera 上拿到一个全新沙箱，智能体在其中通过数十轮交互协调这次尝试。 团队用 Miles 在 Terminal-Bench 与 SWE-bench 任务上训练 GLM-4.7-Flash，同步与全异步两种模式共 68 个训练步、超过 2400 个回合，沙箱全部在 Vera 上。
在真实训练对照中，两边使用同一模型、任务、GPU 与设置，各训练 5 步、160 个回合，沙箱放在 Turin 上时每轮平均多花 12%，四个任务分别多花 9%–15%。 模型思考时间两边相同，因此差异几乎全部来自沙箱内的工作：每轮 Turin 多花 53 秒，其中智能体命令多 26 秒、比 Vera 多 60%，验证器多 11 秒、多 24%，沙箱内其余工作多 12 秒，等待模型只多 4 秒。 对照前先让机器满载，每个 CPU 插槽持续跑 176 个其他任务，正好占满一个 Vera 插槽的 176 个线程，再在其上训练。
启示与展望
对照覆盖一个 Vera 插槽与一个 x86 插槽，机器为 AWS m8a.metal-24xl（Turin）与 m8i.metal-48xl（Xeon 6），x86 用 AWS 默认设置、Vera 用 NVIDIA 调过的启动参数；训练对照使用 GLM-4.7-Flash、8 张 H200、4 个 SWE-bench Verified 任务，各训练 5 步、160 个回合。
推理快 8 倍时差距扩大到 33%、快 32 倍时到 41%，这是投影而非实测，且假设只有模型思考时间缩短、沙箱内工作保持实测水平；文中也指出推理变快会让命令更密集、机器更忙，因此该估计偏保守。训练加速 12% 同样是估计而非测量，并假设 GPU 跟得上。