Scoring Time Intervals Using Non-Hierarchical Transformer for Automatic Piano Transcription
ISMIR - 2024
TransKun V2 论文提出 Transformer 区间评分架构,并在 Maestro 子任务上报告了更高的 F1 结果。
加载中...
将钢琴录音转成可编辑的 MIDI,用于制谱、练习和编曲。
输入
清晰的钢琴独奏或单一键盘演奏录音。
支持格式
输出
TransKun V2 Aug 生成的钢琴 MIDI,可与 V2 的结果对照。
适用场景
可与 TransKun V2 对照同一段录音的转写结果,判断哪一版更符合原演奏。
按素材和用途选择模型,查看示例后再提交。
费用、耗时、格式和参数以所选模型为准。
反馈时请注明工具名称、操作步骤和遇到的问题,可附截图帮助定位。
TransKun V2 Aug 使用官方数据增强 checkpoint,在本地把钢琴音频转为 MIDI;它与默认的 TransKun V2 分开提供。
TransKun V2 Aug 是独立的数据增强 checkpoint 路线,使用 checkpointTransformerAug.zip。
使用官方 Standard checkpoint,音符结束时刻采用踏板延展的声学口径;与偏向琴键释放的 NoExt 及 V2 Aug checkpoint 分开提供。
本地默认运行上游 transkun 包内的 TransKun V2 No Pedal Ext(2.0.pt);它与公开 V2/V2 Aug 同属一套架构,并沿 V2 Aug 路线做过微调与扩展。
Aria-AMT 使用 EleutherAI 的 seq-to-seq 钢琴路线,权重为 piano-medium-double-1.0.safetensors。
使用公开发布的 D3RM 离散扩散细化 checkpoint,把钢琴音频转成离散音符事件,并导出可编辑 MIDI 与音符事件数据。
ByteDance Piano CRNN note+pedal 使用 note_F1=0.9677_pedal_F1=0.9186.pth,为独奏钢琴 MIDI 保留踏板控制器事件。
SFT-CRNN 识别钢琴音符起止;力度固定为 100,不预测踏板。
ISMIR - 2024
TransKun V2 论文提出 Transformer 区间评分架构,并在 Maestro 子任务上报告了更高的 F1 结果。
NeurIPS - 2021
2021 Semi-CRF 论文把钢琴转写建模为区间/事件预测,而不是拼接帧级检测。
Official repository / preliminary weights - current
Aria-AMT 仓库记录了这条路线使用的 seq-to-seq 钢琴转写实现和预发布权重;论文 Table 1 报告 MAESTRO/MAPS 对比。
arXiv - 2025
使用公开发布的 D3RM 离散扩散细化 checkpoint,把钢琴音频转成离散音符事件,并导出可编辑 MIDI 与音符事件数据。
arXiv - 2020
ByteDance 论文在 MAESTRO 上报告 note onset F1 96.72%、pedal onset F1 91.86%,并发布代码和 checkpoint。
ICASSP - 2026
SFT-CRNN 识别钢琴音符起止;力度固定为 100,不预测踏板。
包含本站与站外的公开测试结果。默认显示来源完整表,也可切换条件和指标比较;不同测试条件的分数不能直接比较。
仅展示已核实公开推理实现及对应权重的记录(无需权重的算法除外)。封闭服务、未公开权重或无法匹配实验版本的记录不入榜;这不是全领域总榜。
公开权重不等于许可完整的开源。权重许可和访问条件见展开数据;未明确声明的许可单独标注。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
可公开复现的 MIREX 汇总行比较三套数据集的平均 note onset F1,以及 Maestro 与 SMD 的 holistic note F1。
| 指标名次 | 模型 | 评测条件 | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 Aug本站模型公开权重 · 推理代码 | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2公开权重 · 推理代码 | MIREX 2024 summary | 94.9 | 87.64 |
标记表示本站使用的模型或组件;成绩和参数以公开测试为准,不是整条处理链路的复测结果。
数据集、版本和条件分别列出,未纳入排行的评测也保留来源。
可部署条目 9 / 原表 9
可部署条目 2 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
可部署条目 2 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
可部署条目 2 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
可部署条目 2 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
可部署条目 0 / 原表 10
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
Aria-AMT + bootstrapping · MAESTRO · paper Table 1 · Aria-AMT · MAESTRO · paper Table 1 · hFT-Transformer · MAESTRO · paper Table 1 · Google · MAESTRO · paper Table 1 · Kong · MAESTRO · paper Table 1 · Aria-AMT + bootstrapping · MAPS · paper Table 1 · Aria-AMT · MAPS · paper Table 1 · hFT-Transformer · MAPS · paper Table 1 · Kong · MAPS · paper Table 1 · Google · MAPS · paper Table 1
可部署条目 2 / 原表 7
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
可部署条目 1 / 原表 6
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
可部署条目 1 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
可部署条目 1 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
评测分数对应各自的数据集、指标和模型版本,不同测试的分数不能直接比较。
表中只列出有公开权重或配置、可在本地运行的模型。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可公开复现的 MIREX 汇总行比较三套数据集的平均 note onset F1,以及 Maestro 与 SMD 的 holistic note F1。
| 指标名次 | 模型 | 评测条件 | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 Aug公开权重 · 推理代码 | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2公开权重 · 推理代码 | MIREX 2024 summary | 94.9 | 87.64 |
表中只列出有公开权重或配置、可在本地运行的模型。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
MIREX 官方 MAESTRO 结果,完整展示已公布的音符与踏板 P / R / F1(%);未报告的指标保持空缺。
| 指标名次 | 模型 | 评测条件 | 激活 P(%)↑ | 激活 R(%)↑ | 激活 F1(%)↑ | 音符起始 P (%)↑ | 音符起始 R (%)↑ | 音符起始 F1 (%)↑ | 音符起始 + 结束 P (%)↑ | 音符起始 + 结束 R (%)↑ | 音符起始 + 结束 F1 (%)↑ | 音符起始 + 结束 + 力度 P (%)↑ | 音符起始 + 结束 + 力度 R (%)↑ | 音符起始 + 结束 + 力度 F1 (%)↑ | 踏板激活 P(%)↑ | 踏板激活 R(%)↑ | 踏板激活 F1(%)↑ | 踏板起始 P (%)↑ | 踏板起始 R (%)↑ | 踏板起始 F1 (%)↑ | 踏板起止 P(%)↑ | 踏板起止 R(%)↑ | 踏板起止 F1(%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2公开权重 · 推理代码 | MIREX 2024 published row | 95.76 | 94.89 | 95.3 | 99.56 | 97.14 | 98.32 | 94.65 | 92.38 | 93.49 | 94.11 | 91.86 | 92.96 | 96.71 | 94.53 | 95.41 | 89.09 | 84.21 | 86.42 | 86.32 | 81.65 | 83.77 |
| 2 | TransKun V2 Aug公开权重 · 推理代码 | MIREX 2024 published row | 94.95 | 95.22 | 95.05 | 99.71 | 97.15 | 98.4 | 94.37 | 91.97 | 93.14 | 93.86 | 91.49 | 92.64 | 95.46 | 94.16 | 94.54 | 88.83 | 81.16 | 84.53 | 84.97 | 77.9 | 81.02 |
表中只列出有公开权重或配置、可在本地运行的模型。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
MIREX 官方 MAPS 结果,完整展示已公布的音符与踏板 P / R / F1(%);未报告的指标保持空缺。 MAPS 使用 ad hoc alignment,offset 指标应结合该对齐方式解读。
| 指标名次 | 模型 | 评测条件 | 激活 P(%)↑ | 激活 R(%)↑ | 激活 F1(%)↑ | 音符起始 P (%)↑ | 音符起始 R (%)↑ | 音符起始 F1 (%)↑ | 音符起始 + 结束 P (%)↑ | 音符起始 + 结束 R (%)↑ | 音符起始 + 结束 F1 (%)↑ | 音符起始 + 结束 + 力度 P (%)↑ | 音符起始 + 结束 + 力度 R (%)↑ | 音符起始 + 结束 + 力度 F1 (%)↑ | 踏板激活 P(%)↑ | 踏板激活 R(%)↑ | 踏板激活 F1(%)↑ | 踏板起始 P (%)↑ | 踏板起始 R (%)↑ | 踏板起始 F1 (%)↑ | 踏板起止 P(%)↑ | 踏板起止 R(%)↑ | 踏板起止 F1(%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 Aug公开权重 · 推理代码 | MIREX 2024 published row | 94.46 | 83.34 | 88.43 | 93.96 | 90.56 | 92.19 | 71.05 | 68.54 | 69.75 | 55.96 | 54.01 | 54.95 | 88.93 | 83.89 | 85.83 | 73.13 | 75.29 | 73.43 | 54.99 | 56.5 | 55.32 |
| 2 | TransKun V2公开权重 · 推理代码 | MIREX 2024 published row | 88.7 | 82.52 | 85.35 | 86.71 | 90.48 | 88.49 | 63.25 | 66.13 | 64.61 | 43.51 | 45.51 | 44.46 | 84.98 | 85.47 | 84.49 | 65.21 | 71.82 | 67.32 | 49.03 | 54.27 | 50.88 |
表中只列出有公开权重或配置、可在本地运行的模型。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
MIREX 官方 SMD 结果,完整展示已公布的音符与踏板 P / R / F1(%);未报告的指标保持空缺。
| 指标名次 | 模型 | 评测条件 | 激活 P(%)↑ | 激活 R(%)↑ | 激活 F1(%)↑ | 音符起始 P (%)↑ | 音符起始 R (%)↑ | 音符起始 F1 (%)↑ | 音符起始 + 结束 P (%)↑ | 音符起始 + 结束 R (%)↑ | 音符起始 + 结束 F1 (%)↑ | 音符起始 + 结束 + 力度 P (%)↑ | 音符起始 + 结束 + 力度 R (%)↑ | 音符起始 + 结束 + 力度 F1 (%)↑ | 踏板激活 P(%)↑ | 踏板激活 R(%)↑ | 踏板激活 F1(%)↑ | 踏板起始 P (%)↑ | 踏板起始 R (%)↑ | 踏板起始 F1 (%)↑ | 踏板起止 P(%)↑ | 踏板起止 R(%)↑ | 踏板起止 F1(%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 Aug公开权重 · 推理代码 | MIREX 2024 published row | 93.89 | 95.18 | 94.48 | 99.7 | 98.01 | 98.84 | 92.84 | 91.28 | 92.05 | 89.74 | 88.23 | 88.97 | 94.91 | 94.28 | 94.47 | 87.88 | 80.43 | 83.83 | 82.08 | 75.26 | 78.37 |
| 2 | TransKun V2公开权重 · 推理代码 | MIREX 2024 published row | 92.03 | 94.91 | 93.4 | 98.16 | 97.66 | 97.9 | 90.13 | 89.68 | 89.9 | 82.55 | 82.11 | 82.32 | 93.64 | 95.07 | 94.2 | 87.22 | 81.01 | 83.88 | 80.3 | 74.71 | 77.3 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 9 / 原表 9
分数来自链接中的基础检查点,不代表本站当前运行模型的实测结果。
| 指标名次 | 模型 | 评测条件 | Activation | Note Onset | Note Onset+Offset | Note Onset+Offset+ vel. | pedal activation | pedal onset | pedal onset+offset | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | |||
| 1 | Transkun V2公开权重 · 推理代码 | Maestro V3 | 0.9576 | 0.9489 | 0.953 | 0.9956 | 0.9714 | 0.9832 | 0.9465 | 0.9238 | 0.9349 | 0.9411 | 0.9186 | 0.9296 | 0.9671 | 0.9453 | 0.9541 | 0.8909 | 0.8421 | 0.8642 | 0.8632 | 0.8165 | 0.8377 |
| 2 | Transkun V2 Aug公开权重 · 推理代码 | Maestro V3 | 0.9495 | 0.9522 | 0.9505 | 0.9971 | 0.9715 | 0.984 | 0.9437 | 0.9197 | 0.9314 | 0.9386 | 0.9149 | 0.9264 | 0.9546 | 0.9416 | 0.9454 | 0.8883 | 0.8116 | 0.8453 | 0.8497 | 0.7790 | 0.8102 |
| - | Transkun V2 No Ext公开权重 · 推理代码 | Maestro V3 No Ext | 0.8671 | 0.825 | 0.8441 | 0.9984 | 0.9691 | 0.9833 | 0.8271 | 0.8034 | 0.8149 | 0.823 | 0.7995 | 0.8109 | 0.9498 | 0.9518 | 0.9487 | 0.8872 | 0.8105 | 0.8444 | 0.8413 | 0.7723 | 0.8031 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 2 / 原表 7
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
数值来自所链接的公开来源;行标签标明测试集或检查点,未报告的分数显示为 -。
| 指标名次 | 模型 | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)公开权重 · 推理代码 | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | Baseline公开权重 · 推理代码 | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 1 / 原表 6
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
论文 Table I 的 MAESTRO 音符与 Table VI 的延音踏板结果,包含已公布的帧级、起始、结束和力度 P / R / F1(%);未报告的指标保持空缺。
| 指标名次 | 模型 | Frame | Note | Note w/ offset | Note w/ offset & vel. | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Regress cond on. & off. & vel. | 88.71 | 90.73 | 89.62 | 98.17 | 95.35 | 96.72 | 83.68 | 81.32 | 82.47 | 82.10 | 79.80 | 80.92 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 1 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
| 指标名次 | 模型 | Frame | Event | Event w/ offset | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Proposed | 94.30 | 94.42 | 94.25 | 91.59 | 92.41 | 91.86 | 86.36 | 87.02 | 86.58 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 1 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
MAESTRO v3 钢琴评测:同时保留起音和起止音的 P/R/F1。当前公开钢琴模型使用固定力度 100,不预测踏板。
| 指标名次 | 模型 | Params | Onset | Onset & Offset | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1(%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| - | SFT-CRNN公开权重 · 推理代码 | 15M | 99.16 | 97.46 | 98.36 | 91.56 | 90.02 | 90.78 |
查找适合素材的处理方法与操作步骤。