图像记忆性模型在噪声下会反向打分,GraphMem改用图像间相似关系后与人类判断最接近
核心概要
在LaMem图像上加入逐级高斯噪声后,ResMem、ViTMem、AMNet等主流图像记忆性模型对原本易记的图像给出更低的记忆性估计,对原本难记的图像反而给出更高估计,呈现类似随机共振的反向模式;而88名参与者的连续再认任务显示,易记图像对噪声更耐受,难记图像明显下降。研究者据此构建GraphMem,从图像在相似性图中的邻域而非单张图像特征估计记忆性,在噪声与模糊条件下与人类数据的斯皮尔曼相关最高,噪声训练后其斜率效应为ρ=0.57(95%自助置信区间[0.29,0.75]),是唯一转为正值的模型。
深度剖析
主流图像记忆性模型在图像被噪声破坏时,对记忆性的估计方向与人类观察者相反。 这些模型此前几乎只在清晰图像上与人类记忆性做过一致性验证,而人类在噪声下的表现此前没有被同一套图像直接对照。 在LaMem的196张场景图像、七个记忆性分箱、五级高斯噪声共980张图上,ResMem的记忆性斜率随分箱显著变化(F(6,189)=18.68,p<.001,η²p=0.37),ViTMem与AMNet重现同一方向。
人类再认在高噪声下整体变差,但原本易记的图像保持相对稳定,这一差异主要来自虚报。 模型预测的是难记图像在噪声下变得更好记,人类数据则显示难记图像更容易被误认为看过。 88名参与者的连续再认任务中,校正再认率随分箱的固定效应为β=-0.17(SE=0.05,t=3.36,p<.001),虚报率随分箱显著变化(F(6,522)=4.60,p<.001),命中率则无显著分箱效应(F(6,522)=1.18,p=.315)。
GraphMem从图像在相似性图中的位置估计记忆性,而不是从单张图像的特征出发。 常规模型只看单张图像,因而无法反映噪声如何改变图像之间的相似关系;像素级典型性分析显示噪声普遍降低典型性,且对低记忆性图像影响更大(β=-0.06,SE=0.02,t=3.86,p<.001)。 GraphMem用ViT-B/16提取的768维嵌入构建k=10近邻图,再经两层图卷积网络输出记忆性分数;在噪声与模糊图像上,它与人类数据的斯皮尔曼相关最高,噪声训练后斜率效应为ρ=0.57(95%自助置信区间[0.29,0.75]),其余模型在-0.54到-0.82之间。
启示与展望
结论建立在LaMem数据集的196张场景图像及其五级高斯噪声、五级模糊版本上,人类数据来自乔治梅森大学本科生在线连续再认任务;GraphMem在噪声与模糊条件下与人类数据的对齐最好,但预测单张图像记忆性时整体不如常规模型。
人类数据未出现模型那样的随机共振式反向模式,作者提出这可能反映人类与模型在分离信号与噪声上的差异,但记忆性是否存在类似检测阈值的机制尚不清楚;噪声训练并未稳定提升模型对LaMem记忆性或人类再认的预测,部分模型甚至变差。
