谷歌研究提出 Diffusion Controller：轻量“转向阻尼器”网络在灰盒条件下于 HPS-v2 胜率上超过 LoRA，白盒版本对基线取得 90% 胜率

该工作把图像生成中的去噪过程统一表述为一个平滑的连续控制问题，用一个轻量“转向阻尼器”网络在生成过程中动态调整轨迹，而不是把推理时引导与微调当作彼此无关的修补手段。 原文指出，此前推理时技术（如 classifier-free diffusion guidance）与参数高效微调（LoRA、奖励加权回归、策略梯度）长期被当作“distinct and unrelated fixes”，领域缺少“a single, principled mathematical language”来统一、分析和优化生成模型的控制方式。 这是框架层面的论证与设计主张，原文以“steering damper”类比和“smooth, continuous control problem”的表述给出机制说明，未在文本中给出完整数学推导。

在 Stable Diffusion v1.4 骨干上，Diffusion Controller 在 SFT 与 RWL 两条路径中，灰盒版本的 HPS-v2 胜率超过 LoRA，且操纵的内部模型层显著更少。 LoRA 被原文称为“state-of-the-art parameter-efficient, white-box approach”，即需要白盒访问；而 Diffusion Controller 在灰盒（受限访问）条件下取得更高胜率，原文称其为“a significant milestone”。 评估使用标准化 Human Preference Score（HPS-v2）衡量生成图像与用户提示及审美偏好的契合度，覆盖 SFT、RWL、PPO 三种微调机制；原文未给出具体胜率数值、置信区间或测试集规模。

白盒（完全解锁）版本对基线模型取得 90% 胜率，说明在允许改动内部权重时该框架的收益更大。 原文将白盒版本描述为“the fine-tuned model with 'white-box' or unrestricted access to alter internal model weights”，并把它与灰盒受限场景并列，形成从受限到完全访问的能力梯度。 90% 胜率是原文给出的唯一具体数值结果，但未说明该胜率的评测协议、样本量或对比对象的具体配置。

该框架可在运行时通过调整单一推理时引导强度参数，在线平滑调节提示对齐强度，同时保持基线图像稳定性、避免旧式引导方法常见的视觉失真。 原文强调这是“a core feature of the framework”，把控制强度从训练期固定超参变为推理期可调旋钮，并称其不会“breaking baseline image stability or causing the visual distortions typical of older guidance methods”。 原文以机制描述与定性对比支持这一说法，并提到在综合人类评估小组中，Diffusion Controller 在复杂多属性测试提示上取得最佳主观质量与提示匹配结果；未提供该参数调节的定量曲线。

该结果面向需要在冻结基座模型上精确控制生成行为的工程与研究场景：既包括可完全访问权重的白盒环境，也包括只能观察输出的灰盒、闭源模型环境。原文把控制层与模型核心引擎完全分离，因此受益者主要是无法或不愿改动模型内部权重的开发者，以及希望用单一推理时参数在线调节约束强度的产品团队。原文还指出，同一控制层未来可用于构建个性化工具、缓解有害内容生成的安全机制，以及控制下一代视频模型。

原文只给出 90% 胜率一个具体数值，未说明 HPS-v2 胜率的计算方式、测试提示集规模、人类评估小组的人数与一致性，也未给出 PPO 路径下的具体结果，因此不同微调机制之间的强弱关系仍待明确。灰盒版本“manipulating significantly fewer internal model layers than LoRA”中的“显著更少”缺少具体层数或比例。此外，原文提到已实现四种网络结构，但未逐一说明其结构与差异，也未给出推理时引导强度参数与图像质量之间的定量关系。这些空白使读者难以判断结论在更大模型、更长提示或视频生成任务上的可迁移程度。