自回归生成被划出边界:小状态采样器做不了伪随机与隐写,插入式生成可以
核心概要
自回归逐词生成的能力边界被完整刻画:带少量私有状态的采样器无法采样伪随机生成器输出,而允许任意位置插入的插入式采样器可以做到。
深度剖析
逐词生成的能力边界现在有了完整刻画:一个只按已生成前缀决定下一个符号的采样器,其可采样的分布类由“下一块伪熵”这一量决定。 此前对这类限制的刻画只覆盖无状态、固定顺序的采样器,例如无状态采样器无法生成一个数及其素因子分解,除非分解本身容易。 把可见前缀作为条件变量、下一块作为待采样变量后,下一块伪熵缺口小当且仅当存在高效无状态顺序采样器,且其与目标分布的KL散度小。
私有状态可以被消除:带若干比特状态的顺序采样器,可以用一个无状态采样器在KL散度上逼近。 状态此前被视为采样器不可去除的资源,而这里给出的是多项式规模的模拟,代价随可能状态数线性增长。 模拟通过从独立样本估计给定前缀下的状态分布来实现,并用拉普拉斯估计避免零概率;当状态数为多项式、精度为多项式倒数时,模拟电路规模仍为多项式。
插入式采样严格强于任何固定顺序的顺序采样:采样器可以在任意位置插入新符号,而不只是追加到末尾。 对任意单向函数,数与其像这一对在从左到右的顺序采样下难以采样,但插入式采样可以先输出像再插入原像。 在单向函数存在的前提下,存在一个伪随机生成器,其输出分布可由无状态插入式采样器精确采样;而伪随机生成器输出对任何固定顺序都不是顺序可采样的。
这一边界同时是一条安全性质:状态受限的自回归智能体无法建立隐蔽的密码学信道。 此前隐蔽通信只被当作检测或对齐问题,这里给出的是采样器状态与顺序带来的计算限制。 在IND-CPA安全的公钥加密与公钥隐写下,两条不同消息的编码分布不能同时被多项式规模电路、对数私有比特的顺序采样器以可忽略KL散度采样。
启示与展望
这套刻画面向的是把生成建模为逐符号概率电路的研究者与工程师,讨论的是在电路规模为输出长度多项式、每步只保留有限私有状态时,哪些分布可以被高效采样。结论覆盖无状态顺序采样、带状态顺序采样与插入式采样三类模型,并给出它们之间的包含与分离关系。若要把结论用于具体系统,下一步是判断目标分布落在哪一类,以及私有状态预算是否足以支撑所需的密码学功能。
插入式与一般采样之间的分离依赖非常难以求逆的单向函数,且构造中符号字母表的比特长度与序列长度成线性关系,这一依赖是否必要尚不清楚。状态消除的代价随可能状态数线性增长,而这一线性依赖是在只能通过独立样本估计状态分布时证明必要的,并未单独给出与状态消除电路规模匹配的下界。伪随机生成器的插入式采样构造依赖单向函数存在这一假设。
