情绪识别机器人被扰动骗过:攻击后准确率跌破0.16,置信度却仍有0.964
核心概要
面向人机交互的面部情绪识别通常只看干净测试集准确率,但机器人据此选择动作时,还需要知道预测是否可信。该研究在FER2013五分类上比较五种流程,最强的深度残差网络达到0.760准确率和0.753宏F1,却在梯度攻击下与其他架构一同崩溃:FGSM在ε=0.01时把四个训练模型全部压到0.16以下,PGD在ε≥0.02时接近零。被攻击的预测仍保持高置信,PGD下平均置信度达0.964,温度缩放后仍有96.0%越过0.70阈值,说明按最大softmax概率设阈值无法把合法预测与对抗预测分开。
深度剖析
情绪驱动的机器人把面部表情识别结果直接映射为动作,因此一个错误的表情估计会变成一次错误的动作选择;研究把这一环节单独拿出来,考察预测在被允许触发动作之前是否足够可信。 此前这类系统主要以干净测试集上的准确率、精确率、召回率和F1来评价,这些指标衡量分类器整体是否正确,却不回答某个预测是否应当被允许影响机器人的物理或社交行为。 在FER2013五分类(Angry、Happy、Neutral、Sad、Surprise,训练24176张、测试6043张)上,五种流程共用同一数据划分与评测框架;最强的深度残差CNN取得0.760准确率(95%置信区间[0.749, 0.771])和0.753宏F1,在纯CPU上达到288.1帧每秒。
梯度攻击让所有受测架构同时失效,而且失效方式与架构选择无关,干净集上的领先优势没有转化为鲁棒性。 环境退化造成的性能下降随严重程度递增,属于渐变;对抗扰动造成的则是断崖式崩溃,两者性质不同。 在分层测试子集(每类160张,共800张)上,FGSM在ε=0.01时把四个训练模型的准确率全部压到0.16以下;PGD更强,在ε≥0.02时四个模型都接近零,按三项法则该样本量下0.000对应约0.005的单侧95%上界。
被攻击后的错误预测不会以低置信度的形式暴露自己,因此按最大softmax概率设阈值的门控在最需要它的时候失效。 置信度阈值化的前提是不可靠的预测会以较低置信度出现,而实测的对抗预测平均置信度反而高于干净预测。 PGD攻击下平均置信度达0.964,96.0%的对抗预测越过τ=0.70的操作阈值;温度缩放拟合值为T=0.982,缩放前后越过阈值的比例从95.9%变为96.0%,干净子集上的ECE从0.060变为0.062。
这种失效不是调参问题:只要对抗样本的对数几率间隔在分量上压过干净样本,任何全局温度都无法同时放行合法预测并拒绝对抗预测。 温度缩放对所有输入施加同一变换,保持预测类别不变,因此无法改变样本按置信度排序的相对次序。 在20万对独立抽样的干净—对抗样本对中,81.5%满足上述间隔支配条件;实测门控的AUROC为0.144,Youden指数为−0.261,即门控放行对抗预测的频率高于合法预测,且在τ=0.70处Youden指数上界为0.040。
启示与展望
结论建立在FER2013五分类子集、一阶白盒ℓ∞数字输入扰动,以及仅由softmax输出计算的置信度分数之上;DeepFace基线因不提供梯度而未受攻击,这不构成鲁棒性证据。作者把对抗训练、认证防御、特征空间检测器以及物理可实现攻击列为尚未评估的方向。
每个模型只训练一次且未设全局随机种子,报告的是单次运行的点估计,因此两个最强模型之间约0.01的差距未被当作排序。温度缩放后干净子集ECE从0.060升到0.062,作者明确表示不能声称改善了校准。ROC不变性依赖一个有序次优结构假设,实测AUROC从0.1439变到0.1444,作者将其读作近似而非精确恒等。
