Scoring Time Intervals Using Non-Hierarchical Transformer for Automatic Piano Transcription
ISMIR - 2024
TransKun V2 論文提出 Transformer 區間評分架構，並在 Maestro 子任務上報告更高的 F1 結果。
載入中...
將鋼琴錄音轉成可編輯的 MIDI，用於製譜、練習和編曲。
輸入
支援 mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv 等格式輸入
支援格式
輸出
MIDI
適用場景
編輯音符、配器與演奏細節。
按素材和用途選擇模型，查看範例後再提交。
費用、耗時、格式和參數以所選模型為準。
回報時請註明工具名稱、操作步驟和遇到的問題，可附截圖協助定位。
使用公開發佈的 D3RM 離散擴散細化 checkpoint，把鋼琴音訊轉成離散音符事件，並匯出可編輯 MIDI 與音符事件資料。
TransKun V2 Aug 是獨立的資料增強 checkpoint 路線，使用 checkpointTransformerAug.zip。
使用官方 Standard checkpoint，音符結束時間採踏板延展的聲學口徑；與偏向琴鍵釋放的 NoExt 及 V2 Aug checkpoint 分開提供。
本機預設執行上游 transkun 套件內的 TransKun V2 No Pedal Ext（2.0.pt）；它與公開 V2/V2 Aug 同屬一套架構，並沿 V2 Aug 路線微調與擴充。
Aria-AMT 使用 EleutherAI 的 seq-to-seq 鋼琴路線，權重為 piano-medium-double-1.0.safetensors。
ByteDance Piano CRNN note+pedal 使用 note_F1=0.9677_pedal_F1=0.9186.pth，為獨奏鋼琴 MIDI 保留踏板控制器事件。
SFT-CRNN 辨識鋼琴音符起止；力度固定為 100，不預測踏板。
ISMIR - 2024
TransKun V2 論文提出 Transformer 區間評分架構，並在 Maestro 子任務上報告更高的 F1 結果。
NeurIPS - 2021
2021 Semi-CRF 论文把鋼琴轉寫建模為區間/事件預測，而不是拼接帧级检測。
Official repository / preliminary weights - current
Aria-AMT 倉庫記錄了這條路線使用的 seq-to-seq 鋼琴轉寫實作和預發布權重。
arXiv - 2025
arXiv - 2020
ByteDance 论文在 MAESTRO 上報告 note onset F1 96.72%、pedal onset F1 91.86%，並發佈代碼和 checkpoint。
ICASSP - 2026
SFT-CRNN 辨識鋼琴音符起止；力度固定為 100，不預測踏板。
包含本站與站外的公開測試結果。預設顯示來源完整表，也可切換條件和指標比較；不同測試條件的分數不能直接比較。
僅顯示已核實公開推論實作及對應權重的紀錄（無需權重的演算法除外）。封閉服務、未公開權重或無法匹配實驗版本的紀錄不入榜；這不是全領域總榜。
公開權重不等於授權完整的開源。權重授權和存取條件請見展開資料；未明確聲明的授權另行標示。
目前選擇的模型尚無可核實的對應公開成績，因此未列入排名。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
可部署項目 2 / 原表 7
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
數值來自所連結的公開來源；列標籤標明測試集或檢查點，未報告的分數顯示為 -。
| 指標名次 | 模型 | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)公開權重 · 推論程式碼 | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | Baseline公開權重 · 推論程式碼 | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
資料集、版本和條件分別列出，未納入排行的評測也保留來源。
可部署項目 9 / 原表 9
可部署項目 2 / 原表 5
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
可部署項目 2 / 原表 5
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
可部署項目 2 / 原表 5
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
可部署項目 2 / 原表 5
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
可部署項目 0 / 原表 10
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
Aria-AMT + bootstrapping · MAESTRO · paper Table 1 · Aria-AMT · MAESTRO · paper Table 1 · hFT-Transformer · MAESTRO · paper Table 1 · Google · MAESTRO · paper Table 1 · Kong · MAESTRO · paper Table 1 · Aria-AMT + bootstrapping · MAPS · paper Table 1 · Aria-AMT · MAPS · paper Table 1 · hFT-Transformer · MAPS · paper Table 1 · Kong · MAPS · paper Table 1 · Google · MAPS · paper Table 1
可部署項目 2 / 原表 7
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
可部署項目 1 / 原表 6
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
可部署項目 1 / 原表 5
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
可部署項目 1 / 原表 5
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
評測分數對應各自的資料集、指標和模型版本，不同測試的分數不能直接比較。
表中只列出有公開權重或設定、可在本機執行的模型。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
可公開重現的 MIREX 彙總列比較三套資料集的平均 note onset F1，以及 Maestro 與 SMD 的 holistic note F1。
| 指標名次 | 模型 | 評測條件 | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 Aug公開權重 · 推論程式碼 | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2公開權重 · 推論程式碼 | MIREX 2024 summary | 94.9 | 87.64 |
表中只列出有公開權重或設定、可在本機執行的模型。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
MIREX 官方 MAESTRO 結果，完整呈現已公布的音符與踏板 P / R / F1（%）；未報告的指標保留空缺。
| 指標名次 | 模型 | 評測條件 | 啟動 P（%）↑ | 啟動 R（%）↑ | 啟動 F1（%）↑ | 音符起始 P (%)↑ | 音符起始 R (%)↑ | 音符起始 F1 (%)↑ | 音符起始 + 結束 P (%)↑ | 音符起始 + 結束 R (%)↑ | 音符起始 + 結束 F1 (%)↑ | 音符起始 + 結束 + 力度 P (%)↑ | 音符起始 + 結束 + 力度 R (%)↑ | 音符起始 + 結束 + 力度 F1 (%)↑ | 踏板啟動 P（%）↑ | 踏板啟動 R（%）↑ | 踏板啟動 F1（%）↑ | 踏板起始 P (%)↑ | 踏板起始 R (%)↑ | 踏板起始 F1 (%)↑ | 踏板起訖 P（%）↑ | 踏板起訖 R（%）↑ | 踏板起訖 F1（%）↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2公開權重 · 推論程式碼 | MIREX 2024 published row | 95.76 | 94.89 | 95.3 | 99.56 | 97.14 | 98.32 | 94.65 | 92.38 | 93.49 | 94.11 | 91.86 | 92.96 | 96.71 | 94.53 | 95.41 | 89.09 | 84.21 | 86.42 | 86.32 | 81.65 | 83.77 |
| 2 | TransKun V2 Aug公開權重 · 推論程式碼 | MIREX 2024 published row | 94.95 | 95.22 | 95.05 | 99.71 | 97.15 | 98.4 | 94.37 | 91.97 | 93.14 | 93.86 | 91.49 | 92.64 | 95.46 | 94.16 | 94.54 | 88.83 | 81.16 | 84.53 | 84.97 | 77.9 | 81.02 |
表中只列出有公開權重或設定、可在本機執行的模型。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
MIREX 官方 MAPS 結果，完整呈現已公布的音符與踏板 P / R / F1（%）；未報告的指標保留空缺。 MAPS 使用 ad hoc alignment，offset 指標應配合該對齊方式解讀。
| 指標名次 | 模型 | 評測條件 | 啟動 P（%）↑ | 啟動 R（%）↑ | 啟動 F1（%）↑ | 音符起始 P (%)↑ | 音符起始 R (%)↑ | 音符起始 F1 (%)↑ | 音符起始 + 結束 P (%)↑ | 音符起始 + 結束 R (%)↑ | 音符起始 + 結束 F1 (%)↑ | 音符起始 + 結束 + 力度 P (%)↑ | 音符起始 + 結束 + 力度 R (%)↑ | 音符起始 + 結束 + 力度 F1 (%)↑ | 踏板啟動 P（%）↑ | 踏板啟動 R（%）↑ | 踏板啟動 F1（%）↑ | 踏板起始 P (%)↑ | 踏板起始 R (%)↑ | 踏板起始 F1 (%)↑ | 踏板起訖 P（%）↑ | 踏板起訖 R（%）↑ | 踏板起訖 F1（%）↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 Aug公開權重 · 推論程式碼 | MIREX 2024 published row | 94.46 | 83.34 | 88.43 | 93.96 | 90.56 | 92.19 | 71.05 | 68.54 | 69.75 | 55.96 | 54.01 | 54.95 | 88.93 | 83.89 | 85.83 | 73.13 | 75.29 | 73.43 | 54.99 | 56.5 | 55.32 |
| 2 | TransKun V2公開權重 · 推論程式碼 | MIREX 2024 published row | 88.7 | 82.52 | 85.35 | 86.71 | 90.48 | 88.49 | 63.25 | 66.13 | 64.61 | 43.51 | 45.51 | 44.46 | 84.98 | 85.47 | 84.49 | 65.21 | 71.82 | 67.32 | 49.03 | 54.27 | 50.88 |
表中只列出有公開權重或設定、可在本機執行的模型。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
MIREX 官方 SMD 結果，完整呈現已公布的音符與踏板 P / R / F1（%）；未報告的指標保留空缺。
| 指標名次 | 模型 | 評測條件 | 啟動 P（%）↑ | 啟動 R（%）↑ | 啟動 F1（%）↑ | 音符起始 P (%)↑ | 音符起始 R (%)↑ | 音符起始 F1 (%)↑ | 音符起始 + 結束 P (%)↑ | 音符起始 + 結束 R (%)↑ | 音符起始 + 結束 F1 (%)↑ | 音符起始 + 結束 + 力度 P (%)↑ | 音符起始 + 結束 + 力度 R (%)↑ | 音符起始 + 結束 + 力度 F1 (%)↑ | 踏板啟動 P（%）↑ | 踏板啟動 R（%）↑ | 踏板啟動 F1（%）↑ | 踏板起始 P (%)↑ | 踏板起始 R (%)↑ | 踏板起始 F1 (%)↑ | 踏板起訖 P（%）↑ | 踏板起訖 R（%）↑ | 踏板起訖 F1（%）↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 Aug公開權重 · 推論程式碼 | MIREX 2024 published row | 93.89 | 95.18 | 94.48 | 99.7 | 98.01 | 98.84 | 92.84 | 91.28 | 92.05 | 89.74 | 88.23 | 88.97 | 94.91 | 94.28 | 94.47 | 87.88 | 80.43 | 83.83 | 82.08 | 75.26 | 78.37 |
| 2 | TransKun V2公開權重 · 推論程式碼 | MIREX 2024 published row | 92.03 | 94.91 | 93.4 | 98.16 | 97.66 | 97.9 | 90.13 | 89.68 | 89.9 | 82.55 | 82.11 | 82.32 | 93.64 | 95.07 | 94.2 | 87.22 | 81.01 | 83.88 | 80.3 | 74.71 | 77.3 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
可部署項目 9 / 原表 9
分數來自連結中的基礎檢查點，不代表本站目前執行模型的實測結果。
| 指標名次 | 模型 | 評測條件 | Activation | Note Onset | Note Onset+Offset | Note Onset+Offset+ vel. | pedal activation | pedal onset | pedal onset+offset | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | |||
| 1 | Transkun V2公開權重 · 推論程式碼 | Maestro V3 | 0.9576 | 0.9489 | 0.953 | 0.9956 | 0.9714 | 0.9832 | 0.9465 | 0.9238 | 0.9349 | 0.9411 | 0.9186 | 0.9296 | 0.9671 | 0.9453 | 0.9541 | 0.8909 | 0.8421 | 0.8642 | 0.8632 | 0.8165 | 0.8377 |
| 2 | Transkun V2 Aug公開權重 · 推論程式碼 | Maestro V3 | 0.9495 | 0.9522 | 0.9505 | 0.9971 | 0.9715 | 0.984 | 0.9437 | 0.9197 | 0.9314 | 0.9386 | 0.9149 | 0.9264 | 0.9546 | 0.9416 | 0.9454 | 0.8883 | 0.8116 | 0.8453 | 0.8497 | 0.7790 | 0.8102 |
| - | Transkun V2 No Ext公開權重 · 推論程式碼 | Maestro V3 No Ext | 0.8671 | 0.825 | 0.8441 | 0.9984 | 0.9691 | 0.9833 | 0.8271 | 0.8034 | 0.8149 | 0.823 | 0.7995 | 0.8109 | 0.9498 | 0.9518 | 0.9487 | 0.8872 | 0.8105 | 0.8444 | 0.8413 | 0.7723 | 0.8031 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
可部署項目 2 / 原表 7
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
數值來自所連結的公開來源；列標籤標明測試集或檢查點，未報告的分數顯示為 -。
| 指標名次 | 模型 | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)公開權重 · 推論程式碼 | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | Baseline公開權重 · 推論程式碼 | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
可部署項目 1 / 原表 6
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
論文 Table I 的 MAESTRO 音符與 Table VI 的延音踏板結果，包含已公布的幀級、起始、結束和力度 P / R / F1（%）；未報告的指標保留空缺。
| 指標名次 | 模型 | Frame | Note | Note w/ offset | Note w/ offset & vel. | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Regress cond on. & off. & vel. | 88.71 | 90.73 | 89.62 | 98.17 | 95.35 | 96.72 | 83.68 | 81.32 | 82.47 | 82.10 | 79.80 | 80.92 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
可部署項目 1 / 原表 5
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
| 指標名次 | 模型 | Frame | Event | Event w/ offset | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Proposed | 94.30 | 94.42 | 94.25 | 91.59 | 92.41 | 91.86 | 86.36 | 87.02 | 86.58 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序；粗體為相同評測口徑下的欄位最佳值，並列均標出。不同口徑不合併排名，缺分為 -。
可部署項目 1 / 原表 5
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
MAESTRO v3 鋼琴評測同時保留起音及起止音的 P/R/F1。公開鋼琴模型使用固定力度 100，不預測踏板。
| 指標名次 | 模型 | Params | Onset | Onset & Offset | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1(%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| - | SFT-CRNN公開權重 · 推論程式碼 | 15M | 99.16 | 97.46 | 98.36 | 91.56 | 90.02 | 90.78 |