策略的价值有多少来自“看情况”：协方差恒等式把自适应收益拆出来，但确定性策略无法从自身日志审计
评估一个策略时，监管者往往只看到输入和输出，难以区分收益来自按状态调整动作，还是来自平均意义上的固定行为。这项工作证明，在有限期马尔可夫决策过程中，策略相对其开环边际的期望代价差恰好等于状态与动作的协方差，并给出用互信息刻画的自适应收益上界。审计该量在赌博机反馈下需要与平均KL散度成反比的样本量，而确定性非常数策略从自身日志中不可识别。
上下文可归块的赌博机不再先恢复分块：在线遗憾降到与下界只差对数因子
上下文可归块的随机赌博机在任意上下文分布、不假设各块奖励向量可分离的前提下，把在线期望遗憾从 Lee 等人 2023 年的上界改到与下界只差对数因子，做法是不恢复未知分块。
DAGO 用上下文老虎机选择多父代工作流融合，在六个基准上把宏平均分从 80.3 提升到 81.7 并降低 11.2% 搜索开销
DAGO 把每个父代工作流组合建模为老虎机的一个臂，用代码与提示的预训练嵌入表示该臂，以对角 LinUCB 在预测子代质量与不确定性探索之间权衡，由 LLM 经摘要引导融合生成子代并以子代验证分作为奖励，在数学推理、代码生成与问答六个基准上取得所评估基线中最高的宏平均分，并在与 AFlow 相同的验证评估预算下把宏平均分从 80.3 提升到 81.7、把总搜索开销降低 11.2%。
已读完全部报道