DETER把抑制写进预训练：1B模型要追上未过滤模型的PubMed损失，需多花20倍以上微调token
开放权重模型发布后，攻击者可用目标领域数据微调，把训练后遗忘的效果迅速抹掉。DETER在预训练阶段就把抑制更新与常规预训练交错进行：先用文档分类器从FineWeb-Edu中滤除医学文档，再在被滤除文档的子集上做梯度上升，让模型主动压低这些文本的预测概率。以医学为代理目标领域，在113M到1030M参数的四档模型上，达到未过滤模型的PubMed损失所需微调token数超过仅过滤的两倍；1030M时DETER需2.09M个PubMed token，仅过滤只需0.10M。