DETER把抑制写进预训练：1B模型要追上未过滤模型的PubMed损失，需多花20倍以上微调token

抑制被提前到预训练过程中，与常规预训练交错执行，使模型在发布后更难通过对抗微调重新获得被压制的医学知识。 此前的做法是在预训练结束后做遗忘，或只从语料中过滤掉目标领域文档；前者在少量微调后即被逆转，后者不给出任何关于目标领域应如何表现的显式信号。 在113M、224M、521M和1030M四档模型上，达到未过滤模型的PubMed损失所需微调token数均超过仅过滤的两倍，也超过训练后遗忘方法RMU；RMU的医学损失在微调早期陡降并逼近仅过滤的曲线。

做法是在过滤后的语料上正常预训练，并周期性插入若干步抑制更新，抑制目标取被滤除文档上的负下一词损失。 负下一词损失即梯度上升，它在训练后遗忘中常被报告会损害通用能力；交错进预训练后，这一简单目标在保留能力上的退化有限。 预训练与抑制共用同一组模型参数，但各自维护独立的优化器状态；在113M上，共享优化器统计量会让抑制在预训练结束时显得更强，但额外医学损失在最初几步对抗微调内几乎全部消失，并带来更大的生物学溢出。

结论建立在以医学为代理目标领域、参数量不超过1030M的模型上，恢复难度以PubMed留出损失衡量，攻击预算在最大规模下为预训练token的0.010%。读者对象是关心开放权重模型能力控制与预训练设计的研究者和工程师。

所有方法在评估的攻击预算内都达到了未过滤基线的PubMed损失，因此结论只说明在这些攻击和这些模型规模下需要更多目标领域微调。分类器质量与抑制集构造未被系统改变，假阳性、遗漏子领域和抑制数据来源的影响仍未解决；评估划分也由同一分类器定义，可能与训练数据选择共享盲区。