跳到主要内容
检索

# 首令牌延迟降低

1 篇关联报道

订阅更新
  1. Claude 产品博客

    长会话智能体不再每轮重发全部历史:50万至100万token请求首字延迟中位数降约35%

    Anthropic 在 Claude 平台公测 message threads,让智能体每轮只发送上一轮之后的新消息,而不必重发整段对话历史。此前编码智能体一次会话可能发出数百个请求,每个请求都携带全部早期消息与工具结果,上下文达到数十万 token 后,重发本身就会拖慢 Claude 开始响应的时间。在多数 Claude Code 用户默认开启的情况下,50 万至 100 万 token 的请求首字延迟中位数下降约 35%;但 Claude 每轮仍读取完整对话,token 用量不变。

已读完全部报道