arXiv来源发表:
金融智能体首次在开放世界受考：150次会话无一通过，用户点头的35次全被程序判错
核心概要
FinCosmos把金融智能体评测中的用户意图、数据来源和时间边界同时打开：模拟投资者只按提问透露隐藏策略，智能体须自行从网络取数并在数据截止日前完成回测，评分由程序核验交付物而非比对参考答案。四个编码智能体与一个无工具模型共150次会话无一被接受，其中模拟用户表示满意的35次全部至少触发一项程序否决。
深度剖析
金融智能体评测不再预先给定任务、数据和干净时间线，而是让智能体在意图、数据、时间三者都开放的情况下交付可核验的研究结果。 此前的金融基准至少在意图、数据或时间线之一上封闭世界，从而把静默失败排除在测量之外，而不是测量它们。 在四个编码智能体加一个无工具模型的150次会话中，没有任何一次被接受；未触发否决前的质量分仅在20.2到37.2之间（满分100）。
评分不依赖参考答案，而是由程序重算交付物：数据须可溯源、每行日期不晚于截止日、报告的收益与回撤须能从交付的成交记录重建。 模拟用户持有由组合语法采样的隐藏策略，只在被问到时逐项透露，因此把需求澄清本身纳入考核。 每次会话按45个维度评分，其中15个为否决项；用户表示满意的35次会话全部至少失败一项程序检查，29次未交付成交记录或价格，15次使用了截止日之后的数据或让成交早于信号。
启示与展望
评测范围是十道冻结任务、每个智能体三次独立会话，任务语法覆盖美股多头策略与固定成本模型；模拟用户、LLM评判与其中一个被测智能体来自同一模型家族，程序检查与专家标注只能限制而不能消除这一风险。
多数智能体回合触及300秒时限，更长回合可能让智能体走得更远；程序检查无法证明每个数字都真实，反馈分数也可能跨尝试泄露隐藏策略信息，因此排行榜结果应来自冻结的智能体。