杨一谦等七人综述脑到语言解码:从受约束识别与声学重建扩展到文本生成、流式个性化语音与面部动画
核心概要
这篇由杨一谦、Yiqun Duan、Chenyu Liu、Yiqi Wang、Xinliang Zhou、Chin-Teng Lin、Yu Zhang 撰写的综述,梳理了脑到语言解码这一将语言产生、内部言语与感知相关神经活动转译为语言或表达性输出的领域,覆盖侵入式与非侵入式测量,把 Articulated、Inner、Perceived 三类任务与其所调动的神经群体、解码器可用表征及这些表征可支撑的输出相连接,并考察模型发展、公共资源与评估演进,在各自报告协议内比较已发表性能与通信成本,指出语音、声学与语义目标各自保留信息的不同侧面、共享表征支持跨记录条件与任务复用、在线通信日益依赖校准、反馈与用户控制,最后提
Figure 1: Literature retrieval, the updated registry and manuscript citation coverage. (a) The original retrieval and supplements produced 813 retained IDs and 795 canonical entries after publication-version consolidation. (b) Source-led additions bring the registry to 920 report/resource entries, including 246 with selected structured fields. (c) The active manuscript cites 448 distinct references: 317 in the main text and 131 only in appendices; 354 are linked to registry entries and 94 provide contextual reviews, foundations or adjacent evidence. The footer counts citations in the 8 Methods comparison figures separately from the communication-cost result rows. References, reports, resources, experimental conditions and participants are different counting units. Publication versions are linked; companion data releases and articles can describe the same acquisition.
arXiv深度剖析
综述把脑到语言解码的任务空间组织为 Articulated、Inner 与 Perceived 三类,并将每一类与其所调动的神经群体、解码器可用的表征以及这些表征能够支撑的输出对应起来。 此前该领域多按方法或按信号模态分散叙述,这里以任务为轴把神经群体、表征与输出串成一条线索。 基于一次不设起始年份下限的检索,并做来源驱动的更新至 2026 年 9 月,覆盖侵入式与非侵入式测量。
综述记录了该领域已从受约束的识别与声学重建,扩展到文本生成、流式个性化语音与面部动画。 把输出形态的扩张作为领域演进的标志性变化加以归纳,而非停留在单一解码精度维度。 来自对已发表工作的综合,并在各自报告协议内比较性能与通信成本。
综述识别出三条互补的进展路径:语音、声学与语义目标各自保留消息的不同侧面;共享表征支持跨记录条件与任务的复用;在线通信除解码精度外还日益依赖校准、反馈与用户控制。 把评估与使用层面的因素(校准、反馈、用户控制)与表征层面的因素并列为进展条件,而不只把精度当作唯一指标。 综合共享基准所支持的算法比较,以及揭示持续使用需求的纵向研究。
综述提出一条从命令与语言,到意义、场景与双向认知交换的五级前瞻轨迹。 为领域给出一个分层的长期路线图,把当前能力与更远的目标放在同一框架内讨论。 属于前瞻性展望,与前述对现有工作及其剩余局限的讨论并列呈现。
启示与展望
这篇综述面向希望在同一框架内理解脑到语言解码任务、信号、方法、评估与实际使用的读者,覆盖侵入式与非侵入式测量,检索不设起始年份下限并做来源驱动更新至 2026 年 9 月。它把 Articulated、Inner、Perceived 三类任务与神经群体、可用表征和可支撑输出相连,并在各自报告协议内比较已发表性能与通信成本,因此适合用来定位某一具体解码目标处于哪条路径、依赖哪类表征、需要何种评估与使用条件。共享基准与纵向研究的讨论,为跨记录条件与任务的复用以及持续使用需求提供了参照。
所加载的文本是 arXiv 摘要页与元数据,未包含正文、图表与参考文献列表,因此无法在此核对具体性能数值、通信成本的量化口径、共享基准与公共资源的具体条目,以及五级轨迹每一级的判定标准。检索不设起始年份下限并更新至 2026 年 9 月,其覆盖范围与纳入标准在摘要中未展开。综述所提的互补路径与前瞻轨迹属于综合判断与展望,其可检验程度取决于后续研究在共享基准与纵向研究中的验证。
