Multi-Task Multi-Frame Visual Piano Transcription
ISMIR - 2026
載入中...
僅適用於固定俯拍鍵盤影片。必須提供鍵盤四角座標進行透視校正；V2N 預測實體琴鍵釋放與力度，不採用踏板延展的音訊結束時間。
輸入
支援 mp4 / mov / mkv 等格式輸入
支援格式
輸出
MIDI
適用場景
編輯音符、配器與演奏細節。
ISMIR - 2026
包含本站與站外的公開測試結果。預設顯示來源完整表，也可切換條件和指標比較；不同測試條件的分數不能直接比較。
僅顯示已核實公開推論實作及對應權重的紀錄（無需權重的演算法除外）。封閉服務、未公開權重或無法匹配實驗版本的紀錄不入榜；這不是全領域總榜。
公開權重不等於授權完整的開源。權重授權和存取條件請見展開資料；未明確聲明的授權另行標示。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
可部署項目 1 / 原表 13
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
數值來自所連結的公開來源；列標籤標明測試集或檢查點，未報告的分數顯示為 -。
| 指標名次 | 模型 | 評測條件 | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)本站模型 | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
標記表示本站使用的模型或元件；成績與參數以公開測試為準，並非整個處理流程的複測結果。
資料集、版本和條件分別列出，未納入排行的評測也保留來源。
可部署項目 1 / 原表 13
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
評測分數對應各自的資料集、指標和模型版本，不同測試的分數不能直接比較。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
可部署項目 1 / 原表 13
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
數值來自所連結的公開來源；列標籤標明測試集或檢查點，未報告的分數顯示為 -。
| 指標名次 | 模型 | 評測條件 | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours) | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
回報時請註明工具名稱、操作步驟和遇到的問題，可附截圖協助定位。