# 文本熵率过滤

该工作提出一种完全基于原始文本、无需任何模型的非参数Kontoyiannis熵率估计器h_k作为训练数据过滤器，在Llama-3.1-8B的六代QLoRA全合成单谱系崩溃实验中，h_k过滤使唯一三元组增加42%、词表增加30%、重复降低19%（均p<0.001），而依赖模型对数概率的过滤基线在任何指标上均无显著文本多样性收益（p>0.23）；并在4个领域、2种温度、2组生成器-评分器模型对、1520篇生成文档上验证h_k可作为跨领域熵代理（β=0.924，R²=0.746）与崩溃检测器（ρ=+0.454，p<0.0001）。

该工作提出一种完全基于原始文本、无需任何模型的非参数Kontoyiannis熵率估计器h_k作为训练数据过滤器，在Llama-3.1-8B的六代QLoRA全合成单谱系崩溃实验中，h_k过滤使唯一三元组增加42%、词表增加30%、重复降低19%（均p<0.001），而依赖模型对数概率的过滤基线在任何指标上均无显著文本多样性收益（p>0.23）；并在4个领域、2种温度、2组生成器-评分器模型对、1520篇生成文档上验证h_k可作为跨领域熵代理（β=0.924，R²=0.746）与崩溃检测器（ρ=+0.454，p<0.0001）。