智能体出错不再靠抽样:Laminar发布flow-1,逐条查轨迹且成本降23倍
核心概要
Laminar发布经强化学习训练的flow-1模型,用于在AI智能体轨迹中定位错误。智能体常运行多步并在每次调用都成功的情况下隐性出错,而用大模型逐条检查轨迹在规模化时成本过高。在Laminar自建基准上,flow-1的检测质量与GPT-6-sol相当,成本低23倍,使逐条分析生产轨迹而不抽样成为可负担的做法。
深度剖析
新发布的flow-1把AI智能体轨迹的错误排查从抽样检查推进到逐条分析,目标是那些每次调用都成功、却在中间步骤点错按钮或引错文档的隐性失败。 此前的做法要么只收集和存储轨迹,要么用另一个大模型逐条检查;前者留下大量无人阅读的数据,后者在规模化时昂贵,便宜模型又常漏检或误报无关内容。 在Laminar自建的基准上,flow-1的检测质量与GPT-6-sol相当,同时成本低23倍,这一对比支撑了逐条分析生产轨迹而不抽样的可行性。
flow-1在一个名为Signals的执行框架中工作,把整条轨迹当作代码仓库来检索,因此能回答超出原始错误检测的通用问题。 模型先在小规模开源模型上微调,再用强化学习在数千条覆盖软件、法律、客服等场景的合成调查上做后训练。 运行时它从整条轨迹的压缩字符串表示和用户提示出发,在各span(一次LLM调用或工具调用)间检索并完整读取相关片段,再按用户自定义的JSON模式返回称为signal event的结果。
分析覆盖全部轨迹后,事件数量本身成为负担,系统自动把相似的signal event聚成簇,便于看到反复出现的问题及其发生频次。 单个事件逐条阅读在生产规模下不可行,聚类把重复问题压缩成可浏览的类别。 用户可以从簇下钻到单个事件及其背后的轨迹,并用某个簇的轨迹构建该类失败的评测数据集,在发布修复前用编码智能体在这些评测上迭代验证。
启示与展望
报道依据的是发布方在Hacker News上的发布说明,覆盖flow-1的定位、Signals框架的工作方式以及聚类与评测闭环。适用读者是运行多步AI智能体并需要排查生产轨迹的工程团队。发布说明未给出后续验证计划。
检测质量与成本对比均来自Laminar自建基准,发布说明未报告第三方复现。发布说明称便宜模型常漏检或误报无关内容,但未给出flow-1在不同工作流上的分场景表现。
