跳到主要内容
返回时间线
langchain.com来源发表:

智能体轨迹不再靠标签检索:用一句话描述行为,决策模型逐条读轨迹并流式返回命中结果

核心概要

LangSmith 上线 AI Search,用自然语言描述行为即可检索智能体轨迹,例如“用户是否受挫”或“是否泄露了 PII”,不再依赖预先配置的评估器或人工翻查。

Source-provided article image: Search agent traces by behavior with AI Search in LangSmith
langchain.com

深度剖析

智能体轨迹现在可以按行为检索,而不是按标签、元数据或全文关键词检索。 此前这类问题无法映射到单个轨迹属性,也不能由全文搜索回答,团队要么提前配置评估器,要么人工逐条翻看轨迹。 在 LangSmith 中,用户用自然语言描述要找的行为,系统返回该行为发生过的轨迹,并可与已有的错误、标签等过滤器叠加使用。

检索由快速决策模型逐条阅读轨迹内容完成,而不是把整条轨迹压成一个向量。 向量检索把整条轨迹压缩成一个嵌入向量,这种压缩是有损的,成功完成任务的轨迹与只是声称完成的轨迹可能得到几乎相同的向量。 搜索时先用结构化过滤器缩小候选,再由决策模型把每条剩余轨迹与描述逐一比对,多条并行处理,命中结果边找边返回。

轨迹在入库时被归一化为会话级的 trajectory,重复的对话历史只保留一次。 轨迹来自 OpenAI 与 Anthropic SDK、LangChain、LangGraph、Vercel AI SDK、OpenTelemetry 等多种来源,各自记录消息的方式不同,且智能体每次调用模型都会重发对话历史。 SmithDB 在轨迹到达时构建 trajectory,把每种受支持格式整理成同一形状,因此一次搜索可跨不同 SDK 构建的智能体生效,并减少上下文膨胀。

启示与展望

该功能面向使用 LangSmith 追踪智能体运行的团队,用于调试、评估数据集挖掘、标注队列筛选和产品分析等场景。AI Search 目前处于公开测试阶段,在 LangSmith Cloud 的 GCP 美国、欧盟和亚太区域提供,不额外收费,组织管理员可在设置中开启,随后出现在追踪页面上。

最难分类的是差异细微的对话,例如“用户放弃了”与“用户得到所需后离开”可能只差长轨迹中的几个回合,团队希望观察在轨迹上微调的模型能否更可靠地区分它们。固定 token 预算在答案出现在用户与智能体对话内容中时表现良好,但有些问题需要别的证据,例如智能体忽略工具报错只体现在工具结果里,团队正在探索按问题选择上下文以及让模型在不确定时用更多上下文再查一次的信号。