最坏情况不再靠猜：Simple-PAT在程序生成器参数空间里搜出难例，四个视觉任务最坏误差全面下降
核心概要
视觉模型在看似简单的场景上仍会出错，而固定数据集无法可靠估计最坏情况误差。程序对抗学习把可解释的程序生成器当作可控数据源，用零阶优化在其低维控制参数上搜索难例。Simple-PAT在法向估计、图像分割和人体姿态估计四个任务上，面对5000万次查询的跨模型黑盒对手，最坏情况误差低于均匀训练和两种鲁棒重加权基线。
深度剖析
训练数据不再从固定数据集里抽取，而是由程序生成器按需生成，并针对当前模型挑选难例。 此前对抗训练只能对已有图像做颜色抖动、裁剪等有限扰动，覆盖的有效变换很少；收集真实数据又慢又贵。 在PAL-Dojo的四个任务上，面对跨模型黑盒对手共5000万次查询，Simple-PAT在每一个任务上都把最坏情况误差降到最低，十六组对比的Mann-Whitney检验p值均为0.0079。
做法是让学习器和对手在同一批训练步里交替更新：学习器做常规小批量梯度下降，对手在生成器的控制参数上搜索。 对手用CMA-ES这一零阶优化器，只根据采样点的误差调整采样分布，不需要对生成器求梯度。 每批256个样本中32个来自均匀采样、14个来自16个CMA-ES实例，每20代重置适应度最低的25%实例；生成器覆盖13到69个控制参数，法向任务每秒可渲染8700个场景。
启示与展望
演示范围限于PAL-Dojo的四个程序生成任务：法向估计、Chair-Simple与Chair-Full分割、人体姿态估计，模型规模为500万至780万参数，训练2万步、批大小256。读者对象是研究鲁棒训练与最坏情况评测的视觉研究者。
真实最坏情况无法用有限查询算出，报告的是对手在给定查询预算下找到的评估最坏情况；在69维的Chair-Full上，单模型搜索漏掉了Simple-PAT的困难样本，跨模型对手把其最坏情况抬高了，作者因此把跨模型评估作为主指标。