arXiv来源发表:
辩论训练协议首次被当作学习问题分析:辩手改为合作,某些情形下错误数可降到常数次
核心概要
辩论作为训练协议时,人类只判断两名辩手谁说得对,而不直接给标签。此前的工作只分析固定裁判下的辩论博弈,没有回答辩手如何学到正确函数。该研究把辩论写成在线学习问题,证明存在对抗式辩论学不会、而合作式辩论只需常数次错误的情形,并用一个新的组合维度刻画合作辩手在可实现情形下的最优错误上界。
深度剖析
辩论协议现在被当作一个在线学习问题来分析,而不只是固定裁判下的一场博弈。 此前的工作假定裁判已知,只分析两名辩手之间的博弈,没有处理辩手如何学到裁判所验证的那个函数。 每一轮写成环境给出输入、辩手给出论证、裁判给出二元判决,学习目标就是让提议方预测的标签与真实标签一致,错误数按轮累计。
两名辩手不必始终对立,合作可以把某些情形从学不会变成只错常数次。 按胜出论证的损失来优化时,回应方的最坏情形损失对任何策略都相同,提议方的损失也无法给出预测错误的上界。 在一个构造出的验证器类上,以遗憾最小化为目标的对抗式辩手在最坏情况下仍会产生预测错误,而确定性合作辩手至多犯一次预测错误。
合作辩手的可学习性由一个称为辩论学习维度的组合量精确刻画。 标准在线学习可以直接观察真实标签,而辩论中的学习方始终看不到真实标签,只能看到裁判对论证的判决。 在可实现情形下,确定性学习方存在有限错误上界当且仅当它能访问到支撑该假设类的验证器类,且最优错误上界恰好等于该验证器类的辩论学习维度。
启示与展望
分析限定在形式化的辩论协议内:有限证书空间、二元判决、固定长度的辩论,以及由验证器类诱导的假设类;结论以定理和构造性例子呈现,没有在实际训练的语言模型上验证。
裁判并非全知,在少量轮次给出错误判决时,可实现情形下的最优确定性错误上界与存在错误判决时的下界之间差距很大,错误率可能永远不接近裁判的出错率;这一敏感性是在形式化模型中证明的。
