数据科学智能体多数解出答案却踩了方法坑：220个任务里，数据泄漏越多，预测分数反而越高

数据科学智能体的评测不再只看预测分数和代码能否跑通，而要看它有没有违反数据科学的方法原则。 此前的智能体数据科学评测主要衡量下游预测性能和代码正确性，只能给出能力上的初步印象。 一项覆盖220个数据科学任务的大规模分析，检查常见智能体框架与模型中的失败模式。

失败模式被拆成可复用的测试套件，用受控任务逐项检验六类具体错误。 以往评测把方法问题混在整体分数里，无法单独触发某一类失败。 该测试套件用经过整理的数据科学任务，在受控条件下测试六种特定失败。

智能体方案与Kaggle竞赛的专家解法做了定性对照，差距落在问题求解创造力和领域知识上。 预测性能的对比无法显示智能体与获胜数据科学家在解题思路上的差别。 对智能体数据科学流程与Kaggle竞赛专家方案做定性评估。

这项评估面向使用数据科学智能体的研究人员与工程团队，覆盖220个数据科学任务上的常见框架与模型，并配有一套可复用、可扩展的受控测试套件，用于检验六类特定失败。材料还提到与Kaggle竞赛专家解的定性对照，读者可据此判断方法性失败在真实竞赛场景中的表现。

材料以摘要形式呈现，六类失败的具体定义、测试套件的任务构成以及定性对照的规模都未展开。数据泄漏与预测性能之间的正相关是观察到的相关性，材料没有给出因果解释。