跳到主要内容
检索

Cisco Systems (United States)

1 篇关联报道

订阅更新
  1. arXiv

    语义熵在GSM8K上以AUROC 0.871识别小模型错误,但合成算术上的同类结果被一个纯正则难度基线完全抵消

    该工作把语义熵用作小模型到大模型升级路由的信号,在三个基准和两个模型家族上测试,发现GSM8K上语义熵能可靠区分小模型错误(AUROC 0.871)并在等成本下比随机升级最多提升九个百分点,而合成算术上看似同样强的结果被一个仅凭题面难度、不含任何模型的正则规则几乎完全匹配;论文据此提出一套检查清单,包括难度基线、三种升级目标、oracle余量预检、逐次生成成本核算,以及一个可在实验前预测检索式捷径是否失效的难度探针,并提前预测了AUROC从0.908跌至0.518。

已读完全部报道