跳到主要内容
返回时间线
arXiv来源发表:

通用序列预测的误差不再必然收敛:可计算模式上平方误差有界,分类任务收敛更快

核心概要

对某些可计算模式,通用序列预测的逐位误差之和并不有界,但误差平方和随模式程序长度指数有界;若这些位由可计算分类函数固定,平方和只随程序长度多项式增长。

AI-generated editorial illustration: Solomonoff induction of selected bits and online classification

深度剖析

通用序列预测在可计算模式上的逐位误差之和可以无界,这一结论改变了此前对模式位误差行为的预期。 此前的结果表明,由可计算模式固定的那些位,其误差概率趋于零,例如重复位模式在偶数位置上误差趋于零。 对某些可计算模式,误差在模式位置上的求和并不有界,这与逐位误差趋于零形成对照。

把逐位误差换成误差平方后,模式位上的总误差重新获得上界,且该上界随模式的程序长度指数增长。 逐位误差之和没有上界,因此单看误差本身无法给出模式位的整体收敛速度。 误差平方在模式位置上的求和由模式程序长度的指数函数控制。

当被预测的位由可计算分类函数固定时,误差平方和的上界从指数收紧为多项式。 一般可计算模式只给出误差平方和的指数上界。 对运行时间受任意固定可计算时间界约束的程序,误差平方和由程序长度的多项式控制。

启示与展望

讨论范围是通用半测度给出的条件预测概率,以及由可计算模式或可计算分类函数固定的位。读者对象是算法信息论与在线学习方向的研究者。材料没有提出下一步实验或应用方案。

逐位误差之和无界只针对某些可计算模式,并非所有模式;误差平方和的指数界与多项式界分别对应一般可计算模式和运行时间受限的可计算分类函数,两者的适用范围不同。