# 样本复杂度

针对总变差不确定集下的鲁棒马尔可夫决策过程，一种无模型异步Q学习算法只依赖行为策略产生的单条马尔可夫轨迹，不需要生成模型或查询任意状态动作对。它用重采样构造替代下一状态来估计鲁棒贝尔曼更新，空间复杂度为 $|S||A|$，达到逐元素 $\epsilon$ 精度所需的样本量在忽略对数因子时为 $\frac{|S||A| t_{\mathrm{mix}}}{\epsilon^2 \mu_{\min}}$ 量级，并带有 Q学习固有的额外因子。

针对总变差不确定集下的鲁棒马尔可夫决策过程，一种无模型异步Q学习算法只依赖行为策略产生的单条马尔可夫轨迹，不需要生成模型或查询任意状态动作对。它用重采样构造替代下一状态来估计鲁棒贝尔曼更新，空间复杂度为 $|S||A|$，达到逐元素 $\epsilon$ 精度所需的样本量在忽略对数因子时为 $\frac{|S||A| t_{\mathrm{mix}}}{\epsilon^2 \mu_{\min}}$ 量级，并带有 Q学习固有的额外因子。

评估一个策略时，监管者往往只看到输入和输出，难以区分收益来自按状态调整动作，还是来自平均意义上的固定行为。这项工作证明，在有限期马尔可夫决策过程中，策略相对其开环边际的期望代价差恰好等于状态与动作的协方差，并给出用互信息刻画的自适应收益上界。审计该量在赌博机反馈下需要与平均KL散度成反比的样本量，而确定性非常数策略从自身日志中不可识别。

评估一个策略时，监管者往往只看到输入和输出，难以区分收益来自按状态调整动作，还是来自平均意义上的固定行为。这项工作证明，在有限期马尔可夫决策过程中，策略相对其开环边际的期望代价差恰好等于状态与动作的协方差，并给出用互信息刻画的自适应收益上界。审计该量在赌博机反馈下需要与平均KL散度成反比的样本量，而确定性非常数策略从自身日志中不可识别。

大模型训练语料常覆盖公开基准，评估者难以再假定测试集是全新的。该工作在不假设测试集未参与训练、也不约束模型或训练算法的条件下形式化了“可评估性”，证明仅凭测试集上的模型输出做准确评估，当且仅当数据分布接近小支撑集时可行，并给出紧到对数因子的样本复杂度上下界；若允许额外查询模型，借助程序测试中的自纠正器可扩大可评估的分布范围。

大模型训练语料常覆盖公开基准，评估者难以再假定测试集是全新的。该工作在不假设测试集未参与训练、也不约束模型或训练算法的条件下形式化了“可评估性”，证明仅凭测试集上的模型输出做准确评估，当且仅当数据分布接近小支撑集时可行，并给出紧到对数因子的样本复杂度上下界；若允许额外查询模型，借助程序测试中的自纠正器可扩大可评估的分布范围。

基于Transformer的掩码扩散模型首次获得端到端统计保证：当数据分布可由隐马尔可夫树混合近似时，达到KL精度所需的训练样本量由隐结构复杂度决定，而非随序列空间规模指数增长。分析同时覆盖并行采样带来的并行化误差与有限样本下掩码预测器的估计误差，且Transformer架构与采样过程无需知道树拓扑或分量参数，能自动适应未知隐结构。

基于Transformer的掩码扩散模型首次获得端到端统计保证：当数据分布可由隐马尔可夫树混合近似时，达到KL精度所需的训练样本量由隐结构复杂度决定，而非随序列空间规模指数增长。分析同时覆盖并行采样带来的并行化误差与有限样本下掩码预测器的估计误差，且Transformer架构与采样过程无需知道树拓扑或分量参数，能自动适应未知隐结构。