Multi-Task Multi-Frame Visual Piano Transcription
ISMIR - 2026
加载中...
仅适用于固定俯拍键盘视频。必须提供键盘四角坐标进行透视校正；V2N 预测物理琴键释放和力度，不采用踏板延展的音频结束时刻。
输入
支持 mp4 / mov / mkv 等格式输入
支持格式
输出
MIDI
适用场景
编辑音符、配器和演奏细节。
ISMIR - 2026
包含本站与站外的公开测试结果。默认显示来源完整表，也可切换条件和指标比较；不同测试条件的分数不能直接比较。
仅展示已核实公开推理实现及对应权重的记录（无需权重的算法除外）。封闭服务、未公开权重或无法匹配实验版本的记录不入榜；这不是全领域总榜。
公开权重不等于许可完整的开源。权重许可和访问条件见展开数据；未明确声明的许可单独标注。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序；粗体为同评测口径下的列最优值，并列均标出。不同口径不合并排名，缺分为 -。
可部署条目 1 / 原表 13
以下实验尚未核实完整的公开推理包；同名模型的其他权重不能替代。
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
数值来自所链接的公开来源；行标签标明测试集或检查点，未报告的分数显示为 -。
| 指标名次 | 模型 | 评测条件 | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)本站模型 | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
标记表示本站使用的模型或组件；成绩和参数以公开测试为准，不是整条处理链路的复测结果。
数据集、版本和条件分别列出，未纳入排行的评测也保留来源。
可部署条目 1 / 原表 13
以下实验尚未核实完整的公开推理包；同名模型的其他权重不能替代。
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
评测分数对应各自的数据集、指标和模型版本，不同测试的分数不能直接比较。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序；粗体为同评测口径下的列最优值，并列均标出。不同口径不合并排名，缺分为 -。
可部署条目 1 / 原表 13
以下实验尚未核实完整的公开推理包；同名模型的其他权重不能替代。
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
数值来自所链接的公开来源；行标签标明测试集或检查点，未报告的分数显示为 -。
| 指标名次 | 模型 | 评测条件 | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours) | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
反馈时请注明工具名称、操作步骤和遇到的问题，可附截图帮助定位。