跳到主要内容
检索

# VoxParity基准

1 篇关联报道

订阅更新
  1. arXiv

    VoxParity 用 183 个场景测试 28 个语音代理:音频要求保护时,所有系统都更常照字面执行常规操作(41% 对 12%)

    该工作提出 VoxParity 基准:183 个来自 14 个行业的场景,每个场景固定同一段文字稿、只改变音频(教练声音、医疗监护仪蜂鸣、无线电检查中的求救信号、药名上的噪声、下注的儿童声音、惊恐的低语),并让正确的可执行工具调用随之改变;在 206 个带线索单元上,28 个系统(含 9 个生产级实时代理)在音频要求保护时执行常规请求的比例为 41%,而在干净通话上过度触发为 12%,23 个有文字通路的系统中只有 11 个通过“纯文字零假设”检验,且通过几乎全部来自明确写出规则的条目。

已读完全部报道