# 近端策略优化

强化学习组合策略能给出配置，却缺少在执行前证明该配置不越过风险边界的可复算机制。Gated-CSRC 让语言模型只把带时间戳的新闻读成结构化语义风险状态，再用滚动保形校准把状态变成因子冲击椭球，由二阶锥门控在预算被突破时修正配置。在九只美国行业 SPDR ETF 的走步回测中，原始 PPO 年化收益12.7%、语义违规率4.05%，门控后违规率降为零、年化收益11.7%。

强化学习组合策略能给出配置，却缺少在执行前证明该配置不越过风险边界的可复算机制。Gated-CSRC 让语言模型只把带时间戳的新闻读成结构化语义风险状态，再用滚动保形校准把状态变成因子冲击椭球，由二阶锥门控在预算被突破时修正配置。在九只美国行业 SPDR ETF 的走步回测中，原始 PPO 年化收益12.7%、语义违规率4.05%，门控后违规率降为零、年化收益11.7%。

语言模型后训练常用的策略优化以基座模型为起点，但REINFORCE（PPO与GRPO的基础）可能在奖励上升的同时把最优回答的概率压到接近零，即使有KL正则化到基座模型、即使使用精确梯度，收敛也可能需要指数多步。把KL正则化的参考策略定期重置为最新策略，可形式化为近似策略镜像下降（APMD）：每个子问题在强正则下局部求解，多次重置累积到全局最优。对softmax线性策略，该框架首次给出带参考重置的PPO、GRPO变体以及Kimi风格平方损失算法的全局收敛与覆盖保持保证。

语言模型后训练常用的策略优化以基座模型为起点，但REINFORCE（PPO与GRPO的基础）可能在奖励上升的同时把最优回答的概率压到接近零，即使有KL正则化到基座模型、即使使用精确梯度，收敛也可能需要指数多步。把KL正则化的参考策略定期重置为最新策略，可形式化为近似策略镜像下降（APMD）：每个子问题在强正则下局部求解，多次重置累积到全局最优。对softmax线性策略，该框架首次给出带参考重置的PPO、GRPO变体以及Kimi风格平方损失算法的全局收敛与覆盖保持保证。

驾驶中该看车道还是看车速，被写成一个在部分可观测条件下分配有限视觉资源的问题。此前车道保持与纵向车速控制分别建模，视觉采样决策与横纵向耦合控制没有放在同一框架里。分层计算理性模型让车道保持、车速维持和上层注意力分配三个策略共同学习，在30次仿真中八项指标的平均值都落在人类均值一个标准差以内，但模型没有产生任何车道偏离。

驾驶中该看车道还是看车速，被写成一个在部分可观测条件下分配有限视觉资源的问题。此前车道保持与纵向车速控制分别建模，视觉采样决策与横纵向耦合控制没有放在同一框架里。分层计算理性模型让车道保持、车速维持和上层注意力分配三个策略共同学习，在30次仿真中八项指标的平均值都落在人类均值一个标准差以内，但模型没有产生任何车道偏离。

正则化内点法求解凸二次规划时，正则化权重、障碍参数和内层容差长期依赖人工设定。RL-QProxIP 用强化学习策略在每次外层迭代给出这些参数的收缩因子，不改变底层算法，因而保留原有收敛保证。在 Maros–Mészáros 测试集上，该策略在约70%的实例上是最快求解器，而基线 QProxIP 需约3.5倍时间才达到同一比例；原文对两者最终覆盖率的两种表述互相矛盾，此处不作取舍。

正则化内点法求解凸二次规划时，正则化权重、障碍参数和内层容差长期依赖人工设定。RL-QProxIP 用强化学习策略在每次外层迭代给出这些参数的收缩因子，不改变底层算法，因而保留原有收敛保证。在 Maros–Mészáros 测试集上，该策略在约70%的实例上是最快求解器，而基线 QProxIP 需约3.5倍时间才达到同一比例；原文对两者最终覆盖率的两种表述互相矛盾，此处不作取舍。

训练语言模型时常用一个学出来的评审模型代替真值打分，但评审自身的偏好此前只能在训练后从策略行为里看出来。研究者在1B参数模型上按500、2000、8000条标注答案训练了三个评审，并在训练前用单处编辑探针测每个评审对错误答案的加分。对最弱评审的预测是策略会爬向被标记的文本，训练后128条最终回答中有115条变成同一句撒哈拉沙漠加“Answer: Africa”，评审均分从0.20升到0.82；对最强评审预测无可爬之处，该次运行未被利用。

训练语言模型时常用一个学出来的评审模型代替真值打分，但评审自身的偏好此前只能在训练后从策略行为里看出来。研究者在1B参数模型上按500、2000、8000条标注答案训练了三个评审，并在训练前用单处编辑探针测每个评审对错误答案的加分。对最弱评审的预测是策略会爬向被标记的文本，训练后128条最终回答中有115条变成同一句撒哈拉沙漠加“Answer: Africa”，评审均分从0.20升到0.82；对最强评审预测无可爬之处，该次运行未被利用。

城市路网的车道方向与限速不再按走廊预设，而是由所有道路共享的一个Transformer在每个决策步联合给出，并经过一道基于图定向理论的校验，保证任何时刻各路口仍互相可达。在一个带早晚通勤高峰的网格路网上，学到的策略在高峰把约三分之二道路改为峰值方向单行，日延误相对全天保持初始双向配置下降约八成，相对调好的双向负载均衡器下降约七成。测试时若限制为双向道路，其收益只剩与负载均衡器相当，而学到的限速反而增加延误。

城市路网的车道方向与限速不再按走廊预设，而是由所有道路共享的一个Transformer在每个决策步联合给出，并经过一道基于图定向理论的校验，保证任何时刻各路口仍互相可达。在一个带早晚通勤高峰的网格路网上，学到的策略在高峰把约三分之二道路改为峰值方向单行，日延误相对全天保持初始双向配置下降约八成，相对调好的双向负载均衡器下降约七成。测试时若限制为双向道路，其收益只剩与负载均衡器相当，而学到的限速反而增加延误。

人形机器人 Reflex 只靠机载 RGB-D 视觉接住人抛出的纸箱，仿真中接住率 85.7%，接近使用特权箱体观测的 87.9%，真机在 2.5 米和 5 米处分别为 65% 和 40%。

人形机器人 Reflex 只靠机载 RGB-D 视觉接住人抛出的纸箱，仿真中接住率 85.7%，接近使用特权箱体观测的 87.9%，真机在 2.5 米和 5 米处分别为 65% 和 40%。

作者把Unitree Go1表示为胞腔复形，用四个肢体级和一个躯干级rank-2胞腔显式编码多关节机械单元，并在节点、边、面上做Hodge消息传递；在退化训练下，节点-边-面Hodge actor在未见执行器退化上取得最高回报、更高存活率和更低速度跟踪误差。

作者把Unitree Go1表示为胞腔复形，用四个肢体级和一个躯干级rank-2胞腔显式编码多关节机械单元，并在节点、边、面上做Hodge消息传递；在退化训练下，节点-边-面Hodge actor在未见执行器退化上取得最高回报、更高存活率和更低速度跟踪误差。

该工作提出一个由大语言模型智能体驱动的自主机器人超声框架：智能体从扫描手册中检索指南步骤，结合当前观测与扫描状态进行推理，动态调用轨迹规划、机器人执行、接触调整、语音引导和轨迹细化等工具，并用基于强化学习（PPO）的微调提升推理质量与工具选择及参数化的正确性；在10条未见过的超声扫描指南上做语言层面验证，微调后步骤级准确率由0.6512升至0.8973、整体成功率由0.5384升至0.9230，并在三名人类志愿者上完成胆囊、脊柱和肾脏的真实机器人扫描，脊柱与肾脏全部成功，胆囊有一例因需要屏气指令和患者配合而失败。

该工作提出一个由大语言模型智能体驱动的自主机器人超声框架：智能体从扫描手册中检索指南步骤，结合当前观测与扫描状态进行推理，动态调用轨迹规划、机器人执行、接触调整、语音引导和轨迹细化等工具，并用基于强化学习（PPO）的微调提升推理质量与工具选择及参数化的正确性；在10条未见过的超声扫描指南上做语言层面验证，微调后步骤级准确率由0.6512升至0.8973、整体成功率由0.5384升至0.9230，并在三名人类志愿者上完成胆囊、脊柱和肾脏的真实机器人扫描，脊柱与肾脏全部成功，胆囊有一例因需要屏气指令和患者配合而失败。