跳到主要内容
检索

# 提示缓存

6 篇关联报道

订阅更新
  1. Claude 产品博客

    Opus 5.5把每百万token价格全线调低:缓存读取降六成,同一会话账单少约31%

    Anthropic 为 Claude Code 使用的 Opus 5.5 下调了 API 列表价:输入与输出 token 比 Opus 5 便宜 20%,缓存读取便宜 60%,读取价从输入价的十分之一降到二十分之一。一次任务的花费由轮次、缓存命中、输出 token 和模型价格共同决定,因为每一轮都要重发此前的对话。在 token 数相同的示例会话上,仅价格变化就让账单从 3.50 美元降到 2.40 美元,约少 31%;官方估计典型工作负载可省 40%,但该数字还假设模型在默认中等强度下每任务用更少 token。

  2. Claude Sonnet 5.5 的缓存读取降到每百万 token 0.10 美元,缓存写入与其他价格不变

    Anthropic 在 Claude 平台更新中把 Claude Sonnet 5.5 的提示缓存读取价格从每百万 token 0.20 美元下调到 0.10 美元,相当于基础输入价格的 0.05 倍,此前为 0.1 倍。缓存写入和其余价格没有变化。对反复发送同一段长前缀的开发者来说,省下的是每次重读缓存的那部分开销,而不是首次写入或新生成内容的开销。

  3. Fireworks AI Newsroom

    Fireworks把欧洲算力扩到Vera Rubin与Grace Blackwell:2027年起承接企业智能体推理

    Fireworks宣布扩大与NVIDIA的合作,在欧洲部署基于NVIDIA Vera Rubin与Grace Blackwell平台的算力,并计划使用NVIDIA DSX AI工厂平台和Spectrum-X以太网,新增算力从2027年起支持欧洲部署。公司同时公布面向企业推理负载的能力:在NVIDIA Blackwell平台上公开预览的Ultrafast推理,推理速度超过每秒1500个token;面向长时间运行智能体的多日提示缓存与后台模式;以及更高的速率上限和亚分钟级冷启动。这些能力针对的是智能体单次任务中反复调用模型、共享大量上下文所带来的延迟与成本。

  4. Claude 智能体可自己写工作流:多份文档的批量审阅交给后台分阶段跑完

    Claude 平台让 Claude Managed Agents 的智能体在测试版中自行编写工作流,用于审阅数百份文档这类包含大量子任务的工作。工作流是一段程序,分阶段运行多个智能体并合并结果,服务器在后台以一次工作流运行执行它。启用方式是把智能体的 multiagent 字段设为 multiagent_20261001 并开启 workflows,运行进度通过会话事件流上的 workflow_run.* 事件跟踪。

  5. arXiv

    智能体换模型不再只看当前请求:带上会话历史,同等卸载率下通过率多3.3个百分点

    多轮智能体的模型路由被放到用户轮次边界上考察:路由器在每一轮开始前决定整轮由便宜还是昂贵模型执行。在同等把约两成轮次交给便宜模型的卸载率下,能看到会话历史的路由器在SheetCopilot上通过率28.3%,只看到当前请求的同一路由器为25.0%,差距3.3个百分点,且前者与全程使用昂贵模型相差不到1个百分点。研究还给出缓存分析:向下切换(昂贵转便宜)约两次调用即可收回缓存代价,向上切换在评测条件下无法回本。

  6. OpenAI

    GPT-6 的提示缓存改进

    这篇说明介绍 GPT-6 在提示缓存上的改进:更高的缓存命中率、新的诊断工具、显式断点,以及一系列控制手段,目标是降低延迟与成本。

已读完全部报道