肿瘤免疫最优控制换掉前后向扫描:16个情景里14个卡在饱和二循环,反传训练全部收敛
核心概要
肿瘤免疫动力学的最优控制通常用前向-后向扫描迭代求解庞特里亚金必要条件,但该迭代在控制饱和时会在两种饱和模式间反复跳动而不收敛。把控制写成神经网络、把代价泛函当作训练损失后,训练损失的任何驻点都满足连续一阶必要条件,误差受离散化控制。在取自肿瘤免疫模型的4×4情景网格上,标准扫描在16个情景中有14个失败,而神经网络训练在每个情景都达到稳定最优,最终代价比收敛的阻尼扫描解低2到10倍。
深度剖析
肿瘤免疫治疗的最优给药方案不再依赖前向-后向扫描迭代,而是把控制函数交给神经网络、用代价泛函直接训练。 此前的做法是在庞特里亚金最大值原理的必要条件上做前向-后向扫描,这一迭代在刚性系统、接近分岔的系统以及最优解把控制压到约束边界的问题上有已知的不稳定。 在取自已发表免疫-癌症动力学模型的4×4情景网格上,标称设置(阻尼系数0.5、迭代上限30)的扫描有14个情景不收敛,判据是相对变化量在最后8次迭代中始终高于0.05;两个收敛情景都是低γ下的高肿瘤初始条件。
训练得到的控制在每个情景都稳定收敛,且代价更低。 把阻尼系数降到0.1并加入自适应减半后,扫描在16个情景中收敛15个,但迭代上限从30提高到500,最差情景耗时约87分钟,仍有一个情景超出两小时预算。 同一网格上,神经网络训练在全部16个情景满足收敛判据,单情景耗时4到32分钟;在阻尼扫描收敛的15个情景上,训练的最终代价低2到5倍,若干高效应细胞和高γ情景超过10倍。
代价泛函的改动只需改损失函数,训练流程不变。 在标准代价下,训练出的方案是先给约10天脉冲、肿瘤清除后停药,因为代价里没有对持续效应细胞群的奖励。 在γ=37.417、基线初始条件的延迟响应情景上,加入维持期复发惩罚、累积剂量硬预算、以及化疗加免疫三控制三个变体,均沿用同一套200步Adam加30步L-BFGS流程,耗时7到25分钟。
启示与展望
演示范围是一个已发表的免疫-癌症动力学模型,在4个分岔参数值与4组初始条件组成的16个情景上比较扫描与神经网络训练,另在延迟响应情景上试了三个代价泛函变体。读者对象是熟悉最优控制与常微分方程数值求解的建模研究者。作者把HIV治疗、传染病疫苗接种和生态收获列为可能的延伸方向,并明确说明这些延伸尚未验证。
训练只到达损失的局部驻点,不保证全局最优,作者建议用多随机种子或Hamilton-Jacobi-Bellman方程求解器给出全局代价作对照。毒性项是二次罚,不能刻画高剂量检查点抑制剂下的阈值型不良事件。代价权重按量级平衡选取,未用临床质量调整生命年数据校准。比较对象只有前向-后向扫描,未与直接配点、间接半离散等方法对照。
