跳到主要内容
检索

# LangSmith LLM 网关

1 篇关联报道

订阅更新
  1. langchain.com

    长跑智能体的上下文管理不再全靠大模型:ScaleDown专用模型接入LangChain,摘要便宜41倍

    长跑智能体的上下文管理此前每一步都要调用通用大模型,慢且贵。ScaleDown的受限解码模型(CDM)只做单一任务,只返回该任务允许的答案,因而可以更小更快更省;LangChain与Deep Agents新增集成,内置摘要、工具结果压缩和结构化抽取三个中间件,LangSmith LLM Gateway也把ScaleDown列为直接模型提供方,调用可被追踪并计入额度。ScaleDown自报其模型在这类窄任务上比前沿模型快200倍、便宜467倍。

已读完全部报道