递归训练不再等组织塌掉:闭环控制器把崩溃风险从2.67压到0.48,尾部覆盖守住97.4%
核心概要
生成模型反复用自身输出训练会收窄分布、先丢掉尾部,这类崩溃此前缺少在训练管线里实时纠偏的机制。HOMEOSTASIS把签名哈希链的溯源记录与预测熵、校准误差、表征漂移三项模型体征合成一个类李雅普诺夫风险量,再由PID控制器调节人类数据混合比例并决定隔离。在五维高斯递归测试台上,30个种子、20代训练下,闭环控制把最终崩溃风险从2.67降到0.48,尾部覆盖保持97.4%,而无控制时为66.2%;溯源门控隔离在控制之上未显示可检测的额外收益。
深度剖析
递归生成训练现在有了一个在管线内部实时纠偏的闭环:模型体征被合成一个风险量,风险越过阈值就自动改变下一代语料的构成,而不是等输出质量肉眼可见地退化。 此前的崩溃研究给出的是诊断性结论或静态的数据混合权重,没有对运行中的管线做监测;溯源与水印研究只回答内容来自哪里,训练管线并不据此采取动作。 在五维高斯递归测试台上,无控制臂的崩溃风险从第1代的0.47升到第18代最高3.09、末代2.67,而所有受控臂从第5代起把风险维持在约0.36到0.53之间。
控制带来的差别在四个指标上同时出现,且都通过多重比较校正。 无控制臂的尾部覆盖最低降到0.60、末代0.66,受控臂从第5代起保持在0.96到0.99。 A3对A0的配对对比中,风险效应量𝑑=−1.65、漂移𝑑=−2.04、熵𝑑=+0.86、尾部覆盖𝑑=+2.12,校正后𝑝均小于0.001。
做法是把溯源当作反馈回路的传感端:生成内容在产生时被打上统计水印、写入哈希链并签名,消费方用账本核验样本来源。 模型体征取预测熵、期望校准误差和相对人类参考的表征漂移三项,合成一个在健康平衡点为零的非负风险函数,熵只在低于健康水平时受罚。 风险超过阈值时,离散PID律按阈值误差调节人类数据比例,并对未通过核验的合成样本执行隔离、从认证人类数据池回填;参考实现使用SHA-256哈希与Ed25519签名,并配有18项单元测试。
溯源门控隔离在控制之上没有显示出可检测的额外收益,原因与人类数据比例被推到接近1有关。 A3与A2的末代风险为0.48对0.53,效应量𝑑=−0.11、校正后𝑝=0.82,漂移在两臂均为0.58,尾部覆盖为0.974对0.971。 两个受控臂的人类数据比例在第8代已超过0.9、第14代接近1,A3在第20代的隔离率恰为零;40个纯人类样本的语料本身就有约0.42的有限样本风险,受控臂停在这个地板上。
启示与展望
结论建立在五维高斯、最大似然拟合、每代40个样本、20代、30个种子的递归测试台上,人类数据池为4000个样本且可无限重采样;溯源层在该模拟中由标识符计算内容哈希、水印存活按伯努利抽样、核验不产生假阳性。作者提出的下一步是在语言与扩散模型上使用带可验证溯源和留出纯人类探针集的语料,并在模拟器内加入人类数据预算上限、成簇污染与假阴性对手。
风险阈值0.35是在观察无控制基线之后选定的,因此绝对风险值不宜跨研究比较;作者用0.2到2.0的阈值重复了A2与A3,A3末代风险在0.40到1.12之间,A3减A2的效应量在−0.11到+0.33之间且变号,这些对比未做正式检验。阈值取2时A3的风险1.12高于A2的0.85,作者表示尚未分离出原因。命题1的漂移假设既未对控制器证明也未在实验中检验,MPC变体与Shapley解释模块只有设计而未实现。
