视频动作识别解释拆成“看什么”和“何时动”:删除AUC在三个数据集上多数轴最低,掩码约稀疏五倍
视频动作识别的归因图通常把画面外观与帧间运动混在一张显著性图里,使用者无法判断模型是靠物体还是靠动作做出预测。该工作把解释拆成空间外观掩码与时间运动掩码,在冻结的分类器上联合优化,并用最近帧替换来切断时间动态。在EPIC-Kitchens-55、EGTEA Gaze+与Something-Something V2上,该方法在多数数据集与轴上取得最低的删除AUC,掩码约为最强基线的五分之一大小。
视频动作识别的归因图通常把画面外观与帧间运动混在一张显著性图里,使用者无法判断模型是靠物体还是靠动作做出预测。该工作把解释拆成空间外观掩码与时间运动掩码,在冻结的分类器上联合优化,并用最近帧替换来切断时间动态。在EPIC-Kitchens-55、EGTEA Gaze+与Something-Something V2上,该方法在多数数据集与轴上取得最低的删除AUC,掩码约为最强基线的五分之一大小。
在坐标—类别数据上,语言模型能学会“有哪些元素”,却学不会“原子怎么排布”。用可调坐标与类别权重的合成数据、以及覆盖多种文本表示与规模的MatText基准,坐标主导任务的误差始终高于类别主导任务,形成坐标—类别悬崖;把数据扩到约两百万结构、模型扩到七百亿参数也未能消除,而图神经网络等几何架构在结构主导的性质上稳定领先。
该工作提出免训练采样方法 Power-SMC,通过并行维护多条候选序列、以重要性权重衡量其与序列级幂分布的匹配程度并周期性剪除低分序列,在 MATH500、GSM8K、GPQA 和 HumanEval 上取得与 Metropolis-Hastings 采样相当或更高的准确率、保持输出多样性,同时把推理速度提升至多 17.6 倍。
已读完全部报道