REST 给潜空间思维加四项可微损失,在 7 个基准上把准确率最高提升 7.5 个百分点
该工作指出仅用最终答案交叉熵训练潜空间递归 LLM 系统会让思维表征出现四类失效,提出 REST 把因果性、最小性、可分离性与稳定性四项性质转成可微损失加到交叉熵上,在数学、科学、医学与代码生成的 7 个基准上、相同训练数据与潜空间预算下,多智能体平均提升 3.5 个百分点、单智能体平均提升 3.3 个百分点,最佳配置分别达 7.5 与 6.5 个百分点,并把收敛到最终答案的比例从 73% 提高到 95%。