把预测判断交给AI智能体：无信号世界里Opus、Sol、Terra仍分别以34%、16%、44%宣称可预测

研究把大语言模型研究智能体当作一个统计检验来打分，而不是只看它给出的结论是否顺耳。 真实数据上无法知道预测关系是否真的存在，因此此前难以区分一个悲观结论是审慎还是搜索不足，一个乐观结论是发现还是数据挖掘。 模拟世界的数据生成过程由研究者控制，总体可解释方差设为0、0.25、0.5、1、2或4%每月，因此每个结论都能对照已知真值计分。

智能体在弱信号世界里比预设的样本外检验更常宣称可预测，主要因为它接受更弱的证据。 预设基准用Clark–West检验在5%水平上判断，且只用训练窗口后半段做伪样本外预测，因而偏保守。 在240个配对的弱信号世界里，智能体宣称比例为38%，预设基准为8%，72个不一致配对全部偏向智能体。

把误报率对齐后，智能体的搜索优势基本消失。 智能体在无信号线性世界里宣称比例为15%，据此把各基准的显著性水平调到同样误报率再比较。 在1%信号水平上智能体识别61%，对齐后的HAC-Holm检验为59%，IVX为54%，知道真实模型的oracle为79%。

去掉自助重采样造成的重复取值伪影后，三个商业模型在无信号世界里仍然过度宣称可预测。 前两项研究的收益冲击从有限的HML残差池重采样，数值会精确重复，查表即可预测，Terra在65次运行中利用了这一点。 改用高斯冲击的第三项研究中，110个无信号世界里Opus宣称34%、Sol 16%、Terra 44%，各自相对5%的p值均小于0.001。

结论建立在受控模拟世界上：线性世界含一个植入预测变量和七个无预测力的干扰变量，另有陷阱世界、注入真实因子的世界，以及训练700个月、测试360个月的设定。作者面向使用研究智能体判断可预测性的实证研究者，建议由智能体负责搜索、判定规则与留出集留在其触及范围之外。

作者指出外部效度有限：只研究两家开发者的三个商业模型和一个开放权重模型，使用一种智能体配置、一种工具集、一份任务说明和固定推理强度，不同开发者同名的高推理档位并未相互校准。世界是程式化的，多个真实预测变量、漂移或断点的斜率以及月度以外的频率均未检验；高斯世界去掉了伪影，也去掉了真实收益的厚尾和波动聚集。线性无信号世界的误报率仅基于40个世界，匹配比较是近似的。