奖励按密度打折：DARS让GRPO不再挤向单一高奖励模式，四峰导航任务模式质量误差降到0.014
核心概要
最大化期望回报的强化学习容易把概率集中到少数高奖励结果上，DARS在每次同策略采样组内估计结果的局部密度，并按密度倒数缩放奖励，再交给标准GRPO更新。在四峰高斯奖励的导航任务中，GRPO只覆盖一个模式，DARS-GRPO把四个模式的质量恢复到接近各0.25，模式总变差为0.014，而GRPO为0.750。在文生图提示改写上，DARS-GRPO在多个数据集、策略语言模型和奖励设置下同时提高图像与提示多样性，并保持语义对齐。
深度剖析
奖励处理环节多了一步密度折算：同一批采样结果里，落在密集区域的结果奖励被调低，落在稀疏区域的高奖励结果相对被抬高，策略梯度目标本身不变。 此前的逆概率缩放按结果被重复采样的频率倒数缩放奖励，在连续结果空间里精确重复几乎不出现，这一频率估计难以直接沿用。 在单位方格上的四峰高斯奖励导航任务中，GRPO把全部质量压到一个模式，DARS-GRPO的模式总变差为0.014、最小模式质量为0.236，GRPO分别为0.750和0.000。
做法是在结果的特征表示上算局部密度，用高斯核把组内每个结果与其余结果的相似度累加，得到该结果的密度分数，再用奖励除以这个分数。 密度只在同一次同策略采样组内估计，不需要学习密度模型、评论家网络或额外损失项，也不改动策略网络结构。 文生图提示改写实验用冻结的DINOv2图像编码器把每张生成图映射为768维特征，核宽取20，在MS-COCO的1024条提示上训练，并在留出的MS-COCO与Lexica提示上评估。
核宽需要落在中间区间，密度估计才能分辨有意义的邻域。 核宽过小时几乎每张图都被视为孤立，密度由自身相似度主导，奖励缩放接近均匀；核宽过大则把相距很远的图算作邻居，密度被过度平滑。 核宽消融在10、15、20、25、30五档上扫描，图像Vendi等多样性指标在中间宽度达到峰值，图像质量基本不变。
启示与展望
已验证的范围是一个目标分布已知的四峰高斯奖励导航任务，以及以冻结Stable Diffusion v1.4为生成器、只训练提示改写策略的文生图提示改写实验，评估覆盖MS-COCO与Lexica提示、Qwen3-0.6B与GPT-2两种策略语言模型和两种奖励设置。
结果是对奖励比例采样的经验近似，而非一般收敛保证；方法依赖能反映语义相似度的表示空间和合适的核宽，当嵌入距离不能反映语义相似度或单一核宽无法覆盖相关邻域结构时效果可能下降；组内两两密度计算随组大小平方增长，可能限制大组场景的使用。