钢琴演奏转谱不再只盯音符：DuET把节拍帧并入编码，流行曲目MUSTER误差从6.56%降到3.64%
核心概要
钢琴演奏MIDI转乐谱长期把音符当作唯一建模单位，而拍点可能落在没有音符起音的帧上，节拍信息因此难以进入记谱。DuET用音符编码器和帧级编码器分别处理音符与固定时间网格，以双向交叉注意力交换信息，并由解码器交替读取两路表示来预测时值、小节与谱表等记谱属性。在面向流行钢琴的Gangqinpu测试集上，其MUSTER平均误差由最强基线的6.56%降至3.64%；在古典钢琴ASAP上则由11.30%降至11.22%。
深度剖析
钢琴演奏转谱现在同时从音符和固定时间网格两条线索学习，节拍与下拍不再只是音符起音处的附带标签。 此前的做法要么只在音符起音处预测节拍标签、再用动态规划补出没有音符的拍点，要么依赖外部提供的节拍网格，网格缺失时需要另跑一个节拍跟踪器。 在Gangqinpu测试集上，DuET把MUSTER平均误差从最强基线的6.56%降到3.64%；在ASAP测试集上从已发表的Transformer结果11.30%降到11.22%。
模型由音符编码器、帧编码器和音符对齐的自回归解码器组成，两路编码器在每一层互相读取对方的状态。 音符编码器负责音符之间的关系，帧编码器在20毫秒一帧的网格上覆盖音符起音之外的时段，解码器在奇偶层之间交替读取音符记忆与帧记忆。 评测使用ASAP测试划分的59段演奏，以及Gangqinpu测试划分中79段演奏的公共有效子集；消融在39段ASAP和72段Gangqinpu演奏的固定子集上进行。
启示与展望
评测覆盖ASAP的古典钢琴演奏与作者整理的Gangqinpu数据集，后者含18,787对演奏—乐谱，侧重流行钢琴；模型只处理演奏MIDI到结构化乐谱这一段，音高拼写与连音线等制谱决定交给MuseScore 4。
在ASAP上，DuET的漏音与多音误差仍高于若干基线；消融显示音高感知编码与解码器记忆访问的收益随数据集和指标变化，去掉输入掩码还能改善Gangqinpu的漏音与多音误差。作者把提升下拍转谱准确率、把评测扩展到更多音乐风格列为后续工作。