MemGuard-Alpha 审计发现：MIA 污染分数在固定日期下判别力降至 0.487–0.537，且无过滤变体在对称交易成本下跑赢未过滤集成
核心概要
作者提出 MemGuard-Alpha，包含融合五种成员推断攻击（MIA）方法与时间邻近特征的复合污染分数，以及利用模型训练截止时间差异的跨模型记忆分歧，并在七个 LLM（124M–7B）、50 只标普 100 成分股、42,800 条提示与 299,600 条提示-模型 MIA 分数（2019–2024）上审计这两者，得到三项负面结果：时间邻近特征以 ROC-AUC 1.000 完美恢复样本内标签（因其是定义变量的单调变换），MIA 分数的判别力主要来自模型间规模差异（固定日期下原始分数 AUC 高达 0.99，但三种模型内归一化后降至 0.487–0.537），且在对称交易成本下没有任何过滤变体改善风险调整后表现、无一获得显
深度剖析
作者构建了 MemGuard-Alpha，将五种 MIA 方法与一个时间邻近特征组合成复合污染分数，并提出跨模型记忆分歧，利用不同模型训练截止时间的差异来刻画记忆。 此前 MIA 被提议作为记忆诊断，但尚未确立其分数在该金融预测场景中是否对记忆有信息量，也未确立基于其的信号级过滤在真实成本下是否有帮助；该工作把这两点作为审计对象。 在七个 LLM（124M–7B）、50 只标普 100 成分股、42,800 条提示、299,600 条提示-模型 MIA 分数、覆盖 2019–2024 的规模上进行审计。
当样本内状态由训练截止时间定义时，时间邻近特征以 ROC-AUC 1.000 完美恢复该标签，因为它是定义变量的单调变换；任何包含此类特征的复合分数所报告的分离是算术性的而非检测性的。 这解释了为何含该特征的复合分数会呈现看似完美的分离，把表面上的检测能力归因于标签定义本身。 报告为 ROC-AUC 1.000 的完美恢复，并给出其机制为定义变量的单调变换。
MIA 分数的判别力在很大程度上可归因于模型间的规模差异：在固定日期询问哪些模型在训练中见过该日期时，原始分数看似高度有信息量（AUC 高达 0.99），但在三种独立的模型内归一化下判别力降至 0.487–0.537。 这把原始 MIA 分数的高 AUC 与模型内归一化后的接近随机水平区分开来，指出前者主要反映规模差异。 三种独立模型内归一化下 AUC 为 0.487–0.537，对比原始分数 AUC 高达 0.99。
在对称施加交易成本后，没有任何过滤变体改善风险调整后表现优于未过滤集成，无一获得显著 Fama-French 五因子 alpha，而剔除单个最弱模型的表现优于所有基于污染的过滤。 这直接检验了基于 MIA 的信号级过滤在真实成本下是否有用，并给出否定性答案，同时指出一个更简单的替代做法表现更好。 以对称交易成本评估，比较未过滤集成与各过滤变体，并检验 Fama-French 五因子 alpha 显著性。
启示与展望
该工作面向使用 LLM 生成金融 alpha 信号、且样本内状态由训练截止时间定义的研究与工程场景，适用于需要判断 MIA 分数是否可作为记忆诊断、以及基于其的信号级过滤在对称交易成本下是否有效的读者；作者释放全部可复现工件，便于他人在相同设定下复核与扩展。
读者仍需关注：这些结论在样本内状态不由训练截止时间定义、或采用不同成本模型与不同模型族时的适用性；跨模型记忆分歧在其他模型组合下的表现；以及剔除单个最弱模型优于污染过滤这一观察在更广股票池与更长时间跨度上的稳健性。原文以摘要形式呈现，未展开具体表格与实现细节，若需复现具体数值仍需查阅随文释放的工件。