EntroPrefill 用 Rényi 熵引导的上下文剪枝给出条件稳定性保证，但未报告任何实测加速或精度结果

论文把熵引导的候选排序与显式删除约束耦合起来：先对每个头做 sink 隔离的条件化，再以负碰撞熵的指数权重在 GQA 组内汇聚头分布，并用一个正的下界参数限制熵对某个头的压制强度。 此前 LLMLingua、AttentionRAG、LazyLLM、SlimInfer、ASL 等工作已分别覆盖注意力引导压缩、中间层剪枝与自适应选层，本文不主张这些单独要素的新颖性，而是主张把熵提议、删除约束、独立审计与条件输出界组合成一个完整指定的流程。 以命题形式给出熵分离与其下界（命题 3.1）以及零假设校准的块优先级（命题 3.2），并说明权重是负熵的指数而非熵的倒数，下界防止被抑制的头获得零混合覆盖。

论文给出从汇聚注意力质量到单个注意力行的删除包络，以及固定查询与值向量下的锐利删除界，并指出该包络可以取到等号。 把“丢弃的汇聚注意力质量小”这一局部直觉，转化为对每个组成提议行的显式上界，并暴露出混合权重与分布差异带来的覆盖代价，而不是把这一代价从保证中省略。 定理 4.1 通过逐点不等式与 Cauchy–Schwarz 给出包络，并构造例子说明两个非平凡项都可等于一；引理 4.2 给出因子二可达的固定行界，且明确该证明要求查询、保留键与值固定，不是关于后续层的定理。

论文把删除选择写成带行容差与最小保留块数的筛选问题，并给出一个不依赖强对偶或整数性的对偶上界证书，用于区分可行剪枝与不可达的预算目标。 该证书把贪心提议在删除 token 数上的次优性变成一个可计算的上界，并明确指出贪心未达标本身并不证明目标不可行。 定理 4.3 对任意非负乘子成立；参考提议者按块分数排序、按块质量与原索引打破平局并单次扫描，其排序与约束更新代价被显式给出，且被定位为可行启发式而非最优解。

论文用独立抽取的观测者审计给出同时覆盖所有被监控层与头的有限样本保证，并证明在审计事件内自适应选层不会破坏已建立的不等式；同时给出预归一化 transformer 的条件首 token 扰动界与决策裕度推论。 审计样本独立于提议机制抽取，因此自适应停止不被当作固定检验；扰动界给出显式充分 Lipschitz 常数，并配以反例说明仅凭浅层注意力无法得到无条件未来输出保证。 定理 5.1 用单边 Hoeffding 不等式与联合界建立同时事件；定理 6.2 与推论 6.3 在给定定义域界下成立，且论文明确该结论只针对首 token，扩展到生成序列需要每一步的新界与足够裕度。

该工作面向在预填充中期删除完整候选文档块、且使用分组查询注意力的解码器式 transformer，适用于需要把丢弃注意力质量纳入显式约束、并希望审计自适应选层的检索增强生成场景。它同时给出与分页 KV 缓存和预填充/解码分离组合时的资源核算方式，包括按组独立分配与按物理层块联合物化两种 KV 载荷公式，以及剪枝的算术盈亏平衡条件。论文把下一步定位为实证阶段：检验熵优先级是否比仅用质量或均匀优先级获得更好的可行删除、审计在实用样本量下是否非空洞、条件稳定性常数能否解释观测到的扰动，并在匹配 token 与物理字节预算下与全上下文推理、提示压缩、固定层剪枝及若干已有方法比较。

读者仍需关注若干开放问题：论文指出全模型界可能因 Lipschitz 乘积过大或支撑迁移假设不成立而变得空洞，而式 (26) 是关于后续参考注意力的假设，并非浅层审计的输出，仅测量稳定的块排序并不能建立它。审计控制的是指定观测者分布下的期望丢弃质量，而非最坏观测者、每个文档位置或未来解码注意力，且对短查询可能过于保守。论文还指出集中注意力可能选中错误事实、桥接相关性可能只在更深层出现、不可逆删除限制长生成与多轮复用中的恢复。由于本文没有实验章节，审计在实用样本量下是否非空洞、近似紧度如何、端到端资源权衡如何，均属尚未验证的问题。