语言里的信息事件也能预测到达时间：新词强度随时间衰减，大模型产新词比人快

文本里承载信息的词可以当作沿时间轴到达的离散事件，它们的到达时间能被预测。 此前对语言信息分布的研究多停留在对意外度等信息论指标做事后统计，缺少刻画表层之下生成过程的手段。 在演讲与写作提示两类文本上，神经时序点过程预测下一个事件到达时间的平均绝对误差低于传统时序点过程和简单神经基线。

模型把事件间隔的历史、事件的绝对位置和语言模型对前文的语义编码融合成一个历史表示，再据此估计事件强度。 传统时序点过程用固定形式的强度函数，例如缓慢演化的泊松过程，难以表达语言中的突发与长程相关。 以循环神经网络学习累积风险函数、并接入LLaMA-3.1-8B隐藏状态的配置，在两类事件和两个数据集上都取得最低的平均绝对误差。

两类事件的强度曲线形状不同：新词事件的强度随时间衰减，高意外度词元事件的强度大体平稳。 新词事件上人类文本的强度曲线始终低于大模型文本，说明大模型产新词的速率更高；高意外度词元事件上这一差别不明显。 用强度曲线特征做人类与大模型文本的二分类，演讲数据准确率在0.945到0.980之间，写作提示数据在0.854到0.959之间。

这项工作面向计算语言学和心理语言学研究者，考察的是英语演讲与写作提示两类文本中新词与高意外度词元两类事件的到达时间。事件时间轴以词或词元位置计量，模型在离散时间步上训练。若要把结论推广到其他语言、其他体裁或其他类型的信息事件，需要重新定义事件并重新训练模型。

高意外度词元事件的平均绝对误差普遍更高，但这类事件的强度更低、事件间隔更长，会自然抬高以时间步计量的绝对误差，因此它是否本质上更难预测，需要做区间归一化的比较才能判断。高意外度词元由语言模型的输出概率定义，而这一估计器与生成文本的大模型一样近乎无损地接触上下文，人类与大模型在该事件上差别较小可能部分来自这一度量本身的盲区。此外，词级与词元级事件本质上发生在整数点上，而所用模型建立在连续时间轴上。