智能体自己改模型也改脚手架：RSI-Env让被接受的版本接手下一轮，无基准反馈也能涨分
核心概要
RSI-Env把模型训练与脚手架修改放进同一个可持久化的沙箱，由独立的Host Controller负责服务、校验、版本与能力评测，Self模式下被接受的模型–脚手架版本接手下一轮改进。以Qwen3.8-27B配最小脚手架起步，无基准反馈的Open-General Self把GPQA Diamond准确率从65.2%提到73.2%、AIME 2026从53.3%提到56.7%；Knowledge Self让SimpleQA从82.0%升到85.0%再到88.0%，但同一批运行在其他基准上出现回落。
深度剖析
智能体可以在没有指定基准、也没有基准反馈的条件下自行决定改进方向，并把模型权重与脚手架代码一起当作可改对象。 此前的自改进工作通常预先固定优化目标、可编辑组件、更新流程或评测反馈，因而难以观察智能体如何自己提出改进议程。 从Qwen3.8-27B加最小脚手架起步，Open-General下的Self只做了一次脚手架更新、模型权重未动（H1/M0），GPQA Diamond准确率由65.2%升至73.2%，AIME 2026由53.3%升至56.7%。
被接受的模型–脚手架版本会接手下一轮研究，使改进跨版本延续，而不必每轮从同一初始系统重来。 此前提供训练与评测服务的环境，其已报告实验并未测试更新后的系统接管后续研究轮次。 Knowledge Self从H0/M0的SimpleQA 82.0%出发，改脚手架得到H1/M0的85.0%，再由H1/M0构造48条提示–补全对训练出M1，H1/M1达到88.0%。
改进工作被拆成可编辑的沙箱与不可编辑的Host Controller两部分，前者供智能体自由试验，后者管服务、校验、版本与独立评测。 评测标准与版本记录放在可编辑环境之外，智能体无法改动，中间更新是否被接受只看有效性与可执行性。 模型训练经Tinker SDK的train-sft接口提交JSONL提示–补全对并返回已注册的模型候选，能力变化由控制器侧独立测量，不作为中间更新的接受标准。
启示与展望
已展示的范围是：以Qwen3.8-27B配最小脚手架为统一起点，在Open-General、Capability-Directed与Benchmark-Guided三种设置下、七个任务上比较Self与两个固定外部Teacher，每次运行分配十轮、每轮三小时共三十小时预算。适合关注智能体自改进基础设施与评测设计的研究者阅读。
增益并不均匀：Open-General Self在SimpleQA上降到77.2%，Knowledge Self在GPQA Diamond上降到53.0%。Benchmark-Guided在AIME 2026与Terminal-Bench 2.1上高于对应的Capability-Directed设置，但在SimpleQA上更低；外部Teacher并不稳定优于Self，更强模型也不是稳定的更好改进者。