Hui Ren

该工作提出层次化连续扩散语言模型 HC-DLM，让连续隐变量成为唯一跨步持久的生成状态、每一步从隐状态读出 token 并回馈为下一步隐更新的条件支架，其训练目标由 token 似然的变分下界导出；在同等模型规模下，它在 Sudoku 与 Countdown 的谜题准确率以及 LM1B 的生成困惑度上均优于离散与连续扩散基线。

该工作提出层次化连续扩散语言模型 HC-DLM，让连续隐变量成为唯一跨步持久的生成状态、每一步从隐状态读出 token 并回馈为下一步隐更新的条件支架，其训练目标由 token 似然的变分下界导出；在同等模型规模下，它在 Sudoku 与 Countdown 的谜题准确率以及 LM1B 的生成困惑度上均优于离散与连续扩散基线。