视频表征的“直”不是越直越好：对抗训练让CNN和Transformer更直，分割与帧预测却不需要
核心概要
人类视觉被认为用“拉直”的编码表示随时间变化的自然世界，即帧间变化在表征空间中走更接近线性的路径。围绕深度网络是否也如此，一项研究比较了网络架构、不同类型鲁棒性、类生物滤波机制与表征直度，发现对抗训练能让CNN和Transformer的表征更直，但这一效应依赖任务，不推广到分割和帧预测，也不推广到其他类型的鲁棒性。更直的表征还带来类别预测的时间稳定性，包括分布外数据。
深度剖析
表征的“直度”被当作一项可计算指标，用来衡量视觉网络对随时间变化输入的表征鲁棒性与稳定性，而不只是描述网络像不像人脑。 人类被证明用拉直的编码表示随时间演化的自然视觉世界，而许多常被当作人类视觉处理模型的深度卷积网络并不能拉直自然视频。 在离散视频序列上，直度指帧间变化在逐层加深的表征空间中走更接近线性的路径；对抗训练在CNN和基于Transformer的架构上都带来更直的表征。
直度并非普遍有利，它是否出现取决于任务需要什么样的预测。 对抗训练带来的拉直效应依赖任务，在分割和帧预测这类直表征不利于预测的任务上并不出现。 该效应同样不推广到其他类型的鲁棒性；更直的表征则让类别预测在时间上更稳定，分布外数据上也是如此。
类生物元件能把网络早期阶段的直度推高，但这种提升不会自动传到CNN的下游层。 网络架构、鲁棒性类型与类生物滤波机制被放在同一框架下与直度对照，而不是单独考察其中一项。 类生物元件增加了网络早期阶段的直度，却不保证CNN下游层的直度随之增加。
启示与展望
讨论范围限于离散视频序列上的表征直度，以及网络架构、鲁棒性类型和类生物滤波机制与它的关系；结论面向评估视觉网络表征的研究者。
直度作为评价网络表征的方式，其优势与局限同时被指出；对抗训练带来的拉直效应依赖任务，不推广到分割和帧预测，也不推广到其他类型的鲁棒性；类生物元件只提升早期阶段的直度，不保证下游层同样提升。