Texas Tech University

肿瘤免疫动力学的最优控制通常用前向-后向扫描迭代求解庞特里亚金必要条件，但该迭代在控制饱和时会在两种饱和模式间反复跳动而不收敛。把控制写成神经网络、把代价泛函当作训练损失后，训练损失的任何驻点都满足连续一阶必要条件，误差受离散化控制。在取自肿瘤免疫模型的4×4情景网格上，标准扫描在16个情景中有14个失败，而神经网络训练在每个情景都达到稳定最优，最终代价比收敛的阻尼扫描解低2到10倍。

肿瘤免疫动力学的最优控制通常用前向-后向扫描迭代求解庞特里亚金必要条件，但该迭代在控制饱和时会在两种饱和模式间反复跳动而不收敛。把控制写成神经网络、把代价泛函当作训练损失后，训练损失的任何驻点都满足连续一阶必要条件，误差受离散化控制。在取自肿瘤免疫模型的4×4情景网格上，标准扫描在16个情景中有14个失败，而神经网络训练在每个情景都达到稳定最优，最终代价比收敛的阻尼扫描解低2到10倍。

含非天然氨基酸的肽把可设计空间推到10⁵⁰量级，穷举筛选已不可行。PepOpt把每个残基编码成位置特异的分子指纹，用线性回归预测活性，再用动态规划在加法假设下确定性地找出全局最优序列。在11个内部肽系列上，它的预测与非线性模型相当或更好，并在10²⁰与10⁵⁰两个空间中给出比遗传算法更高的预测分数。

含非天然氨基酸的肽把可设计空间推到10⁵⁰量级，穷举筛选已不可行。PepOpt把每个残基编码成位置特异的分子指纹，用线性回归预测活性，再用动态规划在加法假设下确定性地找出全局最优序列。在11个内部肽系列上，它的预测与非线性模型相当或更好，并在10²⁰与10⁵⁰两个空间中给出比遗传算法更高的预测分数。

智能体调用外部工具时，检索环节此前只按语义相关性排序，无法反映工具在运行中是否可用。RATED把冻结的双编码器语义匹配与一个轻量上下文赌博机结合，用每次执行的成功或失败反馈在线重排候选工具。在30%故障注入下，故障选择率从ToolLLM API检索器的86.2%降到2.9%，每步仅增加0.172毫秒延迟。

智能体调用外部工具时，检索环节此前只按语义相关性排序，无法反映工具在运行中是否可用。RATED把冻结的双编码器语义匹配与一个轻量上下文赌博机结合，用每次执行的成功或失败反馈在线重排候选工具。在30%故障注入下，故障选择率从ToolLLM API检索器的86.2%降到2.9%，每步仅增加0.172毫秒延迟。

作者提出 Forward CIP（F-CIP），把 Controllable Information Production（CIP）目标改写为强化学习原生形式，该目标仅由系统动力学定义、无需选择信息变量；他们证明 F-CIP 与强化学习兼容，并用现有算法验证其有效性，训练中无监督地发现平衡与维持可控性等基础行为，再配合简单的前向速度奖励即可产生跳跃、奔跑等原本需要奖励工程才能学会的协调步态。

作者提出 Forward CIP（F-CIP），把 Controllable Information Production（CIP）目标改写为强化学习原生形式，该目标仅由系统动力学定义、无需选择信息变量；他们证明 F-CIP 与强化学习兼容，并用现有算法验证其有效性，训练中无监督地发现平衡与维持可控性等基础行为，再配合简单的前向速度奖励即可产生跳跃、奔跑等原本需要奖励工程才能学会的协调步态。