LACS 让剪枝阈值随当前置信度分布移动：CIFAR-10 反向行少 29%，准确率均值 89.77% 对 89.82%
核心概要
训练时哪些样本进入反向传播，不再由预先设定的固定配额或绝对置信度阈值决定。LACS 把每个候选样本指数化的最大预测置信度与当前总体的指数均值相比较，在零处截断系数，等价于一条对数均值指数参照加余量的阈值，保留数量随分数分布一起变化。在 CIFAR-10 上，它比全量交叉熵少算 29% 的反向行，准确率均值 89.77% 对 89.82%，三个种子的区间跨零；在 14 个表格数据集上，二次提升把平均测试误差从 23.36% 降到 22.96%。
深度剖析
训练中哪些样本进入反向传播，现在由当前这一批的置信度分布共同决定阈值和保留数量，而不是事先定好剪掉多少。 固定配额在查看分数之前就规定了删除量，绝对置信度阈值则把判断绑在分数尺度上，两者都不随当前分布移动。 在 CIFAR-10 的 ResNet-32 上，LACS 相对全量交叉熵减少 29% 的反向行，准确率均值 89.77% 对 89.82%，三个随机种子下置信区间跨零。
规则只读最大预测置信度，选择时不需要标签，也不需要逐样本梯度。 每个候选样本的指数化最大置信度与当前总体的指数均值比较，系数在零处截断，等价于一条对数均值指数参照加余量的阈值。 在 14 个表格数据集上，二次弱学习器的平均测试误差从 23.36% 降到 22.96%，完整训练回放使用约少 30% 的拟合行。
省下的计算量不等于省下的时间，两者被分开计量。 当前神经网络实现为了拿到当前分数，先做一次无梯度的评分前向，再只对保留样本做前向与反向，因此反向稀疏没有变成实际加速。 同一台机器上 LACS 比全量交叉熵慢；而在一次 300 轮的 RBF-SVM 信用数据回放中，拟合行少 29.3%，端到端时间下降 37.2%，最终误差略低。
启示与展望
已展示的范围是七个评估设置：监督神经网络训练、Transformer 语言建模、长尾分类、半监督学习，以及紧凑非线性、树和核 SVM 三类弱学习器上的提升；神经网络头对头比较限于 CIFAR-10 和 CIFAR-100 各三个种子，树比较使用固定阈值的伴随规则 LACS-T，RBF-SVM 的计时证据来自轮数几乎相同的四个数据/划分单元。
CIFAR-10 上与 InfoBatch-B 的差距在三个种子上都为正但统计上未定论，与 InfoBatch 的对比也未定论；当前两遍式神经网络实现比全量交叉熵和 InfoBatch 都慢；在 Transformer 语言模型上，选择性执行在验证负对数似然 1.5688 对 1.5666 的同时仍比优化后的稠密实现慢 4.5%；长尾与半监督设置提供的是边界而非正面证据。