跳到主要内容
返回时间线
mastra.ai来源发表:

Mastra观测新增延迟指标:智能体慢在模型还是自家代码,首次响应等待可分开看

核心概要

Mastra平台与Studio现在为每一次智能体和模型调用记录两项延迟指标:TTFC(首个数据块到达前用户等待的时间)和TTFT(模型开始响应所需的时间)。此前只有durationMs能说明一次运行总共花了多久,却分不清用户等首个响应等了多长、这段等待来自模型还是自家代码。两项指标写入每个span,可在trace查询与span查询中按字段过滤排序,适用于Mastra平台以及存储使用DuckDB、PostgreSQL或ClickHouse的自托管项目。

Source-provided article image: Introducing Latency Metrics for Mastra Observability
mastra.ai

深度剖析

Mastra的观测功能开始记录两项面向用户等待的延迟指标,使智能体运行中的慢点可以按“用户多久看到第一个数据块”和“模型多久开始响应”分别定位。 此前可用的durationMs只反映一次运行的总时长,无法说明用户等待首个响应的时间,也无法区分这段等待来自模型调用还是应用自身代码。 两项指标被记录在每一个span上,从模型调用一直到智能体运行,因此同一层级上的等待可以被拆开比较。

这两项指标以字段形式进入查询接口,可与状态、环境、智能体名称等条件一起用于筛选和排序trace、span与thread。 查询入口包括Mastra CLI、Mastra平台与Studio、Mastra Client SDK以及观测端点,共四种使用方式。 示例查询找出最近7天内用户等待首个数据块超过10秒的运行,以及模型开始响应超过3秒的运行;平台与Studio的Traces标签页可按这两项指标过滤排序,平台还可在列设置中打开对应列。

启示与展望

这套指标面向使用Mastra平台或自托管Mastra项目、且观测存储为DuckDB、PostgreSQL或ClickHouse的开发者;查询需要平台访问令牌和项目ID,并按项目所在区域选择美国或欧盟的观测基础地址。

材料没有给出任何延迟测量数值或改进前后的对比,因此两项指标能揭示多少慢点、修复后能改善多少,均未在文中体现。