金融智能体首次在开放世界受考:150次会话无一通过,用户点头的35次全被程序判错
FinCosmos把金融智能体评测中的用户意图、数据来源和时间边界同时打开:模拟投资者只按提问透露隐藏策略,智能体须自行从网络取数并在数据截止日前完成回测,评分由程序核验交付物而非比对参考答案。四个编码智能体与一个无工具模型共150次会话无一被接受,其中模拟用户表示满意的35次全部至少触发一项程序否决。
FinCosmos把金融智能体评测中的用户意图、数据来源和时间边界同时打开:模拟投资者只按提问透露隐藏策略,智能体须自行从网络取数并在数据截止日前完成回测,评分由程序核验交付物而非比对参考答案。四个编码智能体与一个无工具模型共150次会话无一被接受,其中模拟用户表示满意的35次全部至少触发一项程序否决。
作者提出基于e值与检验上鞅的序贯重置程序,在每次拒绝后把资本重置为1并继续检验,从而报告多个含违反零假设的区间;进一步提出精化规则,只报告每个拒绝块内资本达到块内最小值之后的观测。在零假设e值相互独立时FDR上界为α,在允许零与非零数据相依时上界为α乘以对数因子且具有任意时刻有效性,并在LLM水印检测与ES回测中验证。
已读完全部报道