Shayekh Bin Islam

该工作提出 PlaylistEval 这一无需人工标注的智能体式基准构建框架，在七个领域各约 100 小时的播放列表上自动生成证据分散于两段远距离片段、且错误答案仅在画面层面可区分的偏好对，得到含 630 对样本的 PlaylistBench；在 152 对分层子集上其偏好与人类判断一致率为 93.0%（IAA 0.781），而评测 8 个家族共 17 个全模态与多模态模型时，前沿裁判的成对准确率仅 75.4%，开源裁判模型明显落后，检索可将准确率提升最多 10.5 个百分点但最佳检索器仅在 37.9% 的情况下把两段相关片段同时排进前 10，且裁判准确率随播放列表规模从约 1 小时增至 100 小时而持续下降。

该工作提出 PlaylistEval 这一无需人工标注的智能体式基准构建框架，在七个领域各约 100 小时的播放列表上自动生成证据分散于两段远距离片段、且错误答案仅在画面层面可区分的偏好对，得到含 630 对样本的 PlaylistBench；在 152 对分层子集上其偏好与人类判断一致率为 93.0%（IAA 0.781），而评测 8 个家族共 17 个全模态与多模态模型时，前沿裁判的成对准确率仅 75.4%，开源裁判模型明显落后，检索可将准确率提升最多 10.5 个百分点但最佳检索器仅在 37.9% 的情况下把两段相关片段同时排进前 10，且裁判准确率随播放列表规模从约 1 小时增至 100 小时而持续下降。