评分细则不再只靠语义写：树搜索加响应校准，六个偏好基准里五个拿到最高分
导语
给开放式回答打分的评分细则，改成先按语义筛出可行分解、再用六条不同质量回答的实测表现挑最终结构，在六个偏好基准中的五个上取得最高成对准确率。
正文
评分细则的构造从一次性生成改成在层级结构上做受约束搜索，评价标准被拆成可独立判断的细项。 此前的方法要么直接从任务指令一次性生成标准，要么靠偏好与拒绝回答的对比来挑标准，都只拿偏好准确率或下游奖励这类总体结果来指导优化。 在从 HealthBench 与 RubricBench 分层抽样的 1500 条实例上，树结构生成在覆盖率与有效新颖度上同时高于平铺生成和调用次数对齐的 Flat-Multi，两个独立评判模型下都成立。
每条标准是否好用，不能只看它写得对不对，还要看它在真实回答上能不能区分好坏、不同评判模型给分是否一致。 只要求生成器写出语义有效、有区分度、评判稳定的标准，两项操作属性只出现小幅移动，成对准确率从 48.07% 升到 48.44%。 在 RubricBench 的 750 条偏好实例上，只用响应校准选出的标准区分度最高、跨评判方差最低，但其中 17.84% 语义无效；先做语义过滤再校准，无效比例降到 0，平均成对准确率升到 49.93%。
标准内容与逐条判断固定之后，换加权方式或层级聚合几乎不改变最终评价结果。 在标准叶子和逐条判断完全相同的条件下，层级聚合与全局加权都没有带来一致提升。 以 DeepSeek-V4-Flash-GA 为评判时平铺聚合取得最高准确率 73.20%，加权只在 Llama3.1-405B-Instruct 下带来 0.27 个百分点的边际增益。
接下来
这套流程面向开放式任务的成对偏好评价，机制分析建立在 HealthBench 与 RubricBench 分层抽样的 1500 条实例上，主实验覆盖 JudgeBench、RM-Bench Chat、RewardBench 的 Chat 与 Chat-Hard、RewardBench 2 的 Precise-IF 与 Focus 以及 RubricBench 六个基准。细则构造的额外计算主要发生在离线阶段，因此作者检验了把收益蒸馏进独立生成器的路径。
语义过滤与响应校准两个组件在消融中并非每个基准都下降，去掉校准时 Focus 上的表现与完整方法相当。校准回答只用于候选选择，不进入最终评价。作者报告在 PreciseIF 上未取得最高准确率，并指出奖励有效性不只取决于奖励区分回答的频率。