鲁棒Q学习不再需要生成模型:单条马尔可夫轨迹即可,样本复杂度接近极小极大最优
针对总变差不确定集下的鲁棒马尔可夫决策过程,一种无模型异步Q学习算法只依赖行为策略产生的单条马尔可夫轨迹,不需要生成模型或查询任意状态动作对。它用重采样构造替代下一状态来估计鲁棒贝尔曼更新,空间复杂度为 $|S||A|$,达到逐元素 精度所需的样本量在忽略对数因子时为 量级,并带有 Q学习固有的额外因子。
针对总变差不确定集下的鲁棒马尔可夫决策过程,一种无模型异步Q学习算法只依赖行为策略产生的单条马尔可夫轨迹,不需要生成模型或查询任意状态动作对。它用重采样构造替代下一状态来估计鲁棒贝尔曼更新,空间复杂度为 $|S||A|$,达到逐元素 精度所需的样本量在忽略对数因子时为 量级,并带有 Q学习固有的额外因子。
多来源学习里,未来部署人群的来源构成往往未知,而按最坏来源混合做优化容易过度保守。PILLAR 在低秩矩阵估计中把对抗来源权重朝用户给定的参考分布正则化,用双因子梯度下降加镜像上升求解这一非凸-凹问题,并给出线性收敛与把低秩估计误差和对抗重加权代价分开的误差界。模拟与电子健康记录自杀未遂风险研究中,最差来源与跨时间迁移的预测精度都有提升。
作者发现权重仅量化 PTQ 中校准数据上更低的重建损失并不保证更好的模型表现,甚至可能在同一校准数据上变差;他们据此提出 DRQ,在受限的输入激活分布集合上最小化最坏情况重建损失,仅更新量化权重的整数编码而保持位宽、分组、缩放与零点不变,在六种 PTQ 方法以及稠密与 MoE 模型上同时降低困惑度并提升平均任务准确率,且不增加推理开销。
作者提出FairRSFM,把四个遥感下游数据集(m-EuroSAT、m-BigEarthNet、m-SA-Crop-Type、MMEarth20K)的地理坐标样本映射到14类陆地生物群系并归并为六个宏观组,在冻结骨干的统一协议下用三个随机种子评测Prithvi-EO-2.0、SatMAE与DOFA,结果显示总体指标一致地掩盖了生物群系相关的性能差异,例如Prithvi-EO-2.0在m-EuroSAT上总体macro-F1较高而最差组分数明显更低,并比较了BOLP、DBR与GroupDRO三种缓解基线,其效果随模型与任务而异。
已读完全部报道