跳到主要内容
检索

# LLM系统离线评估

1 篇关联报道

订阅更新
  1. arXiv

    离线评测能不能直接上线:先看历次改动的评测增益能否预测线上增益,183次标题实验里合并关系太弱,全部转A/B

    离线评测要单独决定一次改动能否上线,需要的不是评测与人工判断是否一致,而是同类改动中评测增益能否预测线上增益;在Upworthy档案的183次独立改动上,两侧测量都很精确,合并后的这一关系仍然很弱,示例门控把每一次改动都送去A/B测试。

已读完全部报道