VGBench 用 1018 条对照样本测出：语音助手能认出工具，却几乎不会因换人说话而闭嘴
核心概要
作者提出 VGBench——一个含 1018 条样本的诊断基准，用旁谈、自语和说话人切换三类场景，在“静默/调用工具/自然语言回答”的统一动作空间下考察音频大模型是否依据声学与会话语境决定是否执行；六个原始音频大模型和三种免训练改法常常能识别目标工具，却在说话人切换条件下极少静默（最高原始静默率 14%），而以 VoxGate 为案例的监督后训练把切换命令静默率提升到 91.3%，同时保持近场佩戴者命令与纯文本控制的工具选择正确。
深度剖析
VGBench 把“是否该行动”做成动作级诊断：1018 条样本包含 395 条旁谈、223 条自语和 400 对说话人切换，每条都映射到静默、工具调用、自然语言回答三种动作之一。 既有评测通常把规范请求与响应或工具标签配对，因此高工具选择准确率并不能说明声学语境控制了执行；VGBench 用同一句话在一种条件下应执行、在另一种条件下应静默的文本匹配对照，把声学语境使用直接连到动作选择。 切换对固定指定词，只改变触发来源、远场渲染和 600 毫秒边界；旁谈用同一存储说话人的两段连续话语并平衡顺序，自语把命令式词句放进计划、后悔、引用、讽刺、反问等话语框架，全部经两轮标注、目标标签核验与脚本—音频一致性检查。
现成系统普遍存在“识别得出、却停不下”的落差：Step-Audio-R1.1 在同说话人和纯文本控制上分别有 96% 和 97% 选中目标工具，但只对 1% 的切换命令静默；Kimi-Audio-7B 的原始切换静默率最高，为 14%，而它在两项控制上的工具选择率只有 53% 和 44%。 这组配对测量把失败定位为“未能在来源与场景变化下改变动作”，而不是笼统的工具识别能力不足；免训练改法也改变的是错误画像而非解决门控——AURA 把旁谈从 39.0% 提到 46.6%、自语从 57.0% 提到 63.2%，却对切换命令零静默，TwS 把自语静默提到 85.7% 但旁谈降到 23.0%。 六个原始音频大模型与三种免训练改法在同一动作契约、温度零、同一解析器与同一侧谈评判器下评测；作者说明这些免训练实现是方法式本地实现，并非官方完整复现，且 Audio Flamingo 3 因输出自有括号动作语言而拿不到规范工具选择分。
以 VoxGate 为后训练案例，监督微调把留出集切换命令静默率做到 91.3%（80 条中 73 条），同时对全部近场同说话者与纯文本控制都选中正确工具；探索性 GRPO 阶段切换静默为 92.5%（74/80），自语静默从 52.0% 升到 60.0%，旁谈正确率从 68.4% 升到 70.9%。 这说明该基准测出的动作边界是可学的，而且不是靠“一律静默”换来的——作者用近场同说话者与纯文本控制专门暴露误拒；同时联合训练在 WearVox 固定 384 例协议上整体从 72.14% 升到 76.30%，高于仅任务训练的 63.28% 和 67.71%。 后训练使用每场景约 80/20 划分（说话人切换为 320/80 对），只有训练分区进入 SFT 或 GRPO，所有报告分数取自不相交的留出分区；作者明确说明这是一次训练运行的描述性差异，且没有非配对 GRPO 或重复种子对照，因此不能把 SFT 到 GRPO 的差别归因于配对分组。
因子化控制显示这个门控同时依赖来源与距离：在近场渲染和 600 毫秒间隔固定时，只改触发来源使静默率上升 48.75 个百分点（SFT）和 52.50 个百分点（GRPO）；在来源与间隔固定时，远场渲染使两者静默率上升 58.75 个百分点；而间隔本身对同说话者近场只改变 1.25 个百分点。 因此 91.3%–92.5% 的主切换结果是来源与距离依赖的合成，而不是单一说话人身份判断；等预算的线索平衡 SFT 进一步显示距离抑制依赖声学场景——在原始有效性音频上把不同说话者近场静默从 35.00%/50.00% 提到 66.25%/82.50%、同说话者远场从 60.00% 提到 90.00%，但在场景一致的八条件音频上同说话者远场静默仍只有 3.75%/5.00%。 因子化研究在同一批 80 条命令上逐项改变来源、距离与间隔，保持文本、工具目标与打分不变；线索平衡 SFT 只替换 5748 行混合数据中的 1212 个说话人切换音频槽位，其余任务比例、540 步优化与 LoRA 配置不变，作者也指出新旧条件使用不同 WAV，不应作为匹配的前后测量合并。
启示与展望
这项工作面向可穿戴与设备端语音代理的评测与训练：VGBench 提供 1018 条动作级诊断样本，可用于在统一动作契约下比较原始模型、免训练改法与后训练模型，并让评测者分别报告误执行与误拒。对设计者而言，结论指向一个同时需要来源与距离证据的动作门控，因为“距离本身无法拒绝近旁的旁观者”；对训练者而言，监督联合训练在保留近场与纯文本工具控制以及 WearVox 下游任务的前提下学到了该基准的条件动作映射，可作为后续门控研究的起点。适用设定是作者定义的保守可穿戴授权规则：不同来源或远场触发应静默，同来源近场触发应调用工具。
结果基于一个划分、每个设置一次运行，线索平衡测试只变换佩戴者声音而不涉及房间、模板、自然旁观者语音或开放集说话人；侧谈使用大模型评判器且未报告人工一致性估计，这影响自由回答子集而非规则打分的静默与工具决策；VGBench 的工具准确率只检查工具名而不检查参数。作者也指出，线索平衡 SFT 在原始有效性音频上的提升与场景一致音频上的表现来自不同 WAV，因此距离抑制是否随声学场景稳定仍是待解问题；配对 GRPO 缺少非配对与重复种子对照，配对分组是否是改进原因尚未确定。本总结依据的是论文全文与其附录表格，未包含论文之外的复现实验。