arXiv来源发表:
提升不再只看总错误率：假阳性与假阴性分开计，可提升性由几何边界一刀切
核心概要
经典提升理论只把错误当成一个总数，假阳性与假阴性被同等对待。新的表述把弱学习器的保证写成一个假阳性/假阴性误差对集合，并证明该集合能否被提升到任意高精度，取决于它的凸包是否与随机猜测可达的点集相交。据此，可提升与不可提升之间不存在中间地带，且提升过程无需事先知道这个集合。
深度剖析
提升理论现在可以处理假阳性与假阴性分开计量的弱学习器，而不只是把两类错误加总。 经典提升只保证总错误率略低于二分之一的弱学习器能被放大成任意小误差的强学习器，对两类错误一视同仁。 对任意误差对集合，凸包与随机猜测可达点集相交时该保证不可提升，不相交时可提升到任意高总体精度，经典情形与近期单点情形都作为特例被这一判据覆盖。
判定可提升性靠的是一条几何边界，而不是逐个检查学习器。 此前只知道总错误率这一种保证何时可提升，以及单点误差对保证在特定阈值两侧的结论。 判据是误差对集合的凸包是否与随机猜测可达点集相交，经典提升的边界参数对应集合到该点集的距离。
提升可以在不知道误差对集合、假设类和几何边界的情况下自适应完成。 AdaBoost 不需要预先知道间隔参数，但此前没有把这种自适应性推广到集合形式的误差保证。 算法在运行中通过二分搜索估计分离方向，调用弱学习器的次数与样本复杂度都在 AdaBoost 的小常数倍以内。
启示与展望
讨论范围是 PAC 学习框架下、以假阳性/假阴性误差对集合描述的弱学习保证，结论以定理形式给出可提升与不可提升的二分，并配有自适应提升算法与置信度放大过程。
置信度放大依赖中心点论证，需要超过一定比例的成功调用才能成立；原文提出这是否为该设定下置信度放大的固有限制，还是中心点方法的产物，仍待澄清。