MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
使用 MuScriptor-large 将音乐转为多乐器 MIDI。
加载中...
将歌曲或合奏转成分轨 MIDI,在 DAW 中校对音符、整理声部和修改编曲。
输入
支持 mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv 等格式输入
支持格式
输出
MIDI
适用场景
按指定数量将音符聚成匿名音色轨,不识别乐器名称。适合乐器数量已知的短合奏;同音高重叠声部可能无法区分。
按素材和用途选择模型,查看示例后再提交。
费用、耗时、格式和参数以所选模型为准。
反馈时请注明工具名称、操作步骤和遇到的问题,可附截图帮助定位。
按指定数量将音符聚成匿名音色轨,不识别乐器名称。适合乐器数量已知的短合奏;同音高重叠声部可能无法区分。
默认逐段修复,减少乐器误判跨段传播并保留延音;先用于完整混音的多轨 MIDI 草稿。
YourMT3+ · YPTF.MoE+Multi noPS:整段混音的可编辑 MIDI 草稿,也适合较干净的钢琴/键盘、吉他、贝斯、鼓、弦乐/木管和人声草稿
YMT3+:整段混音的可编辑 MIDI 草稿,也适合较干净的钢琴/键盘、吉他、贝斯、鼓、弦乐/木管和人声草稿
YourMT3+ · YPTF.Single noPS:整段混音的可编辑 MIDI 草稿,也适合较干净的钢琴/键盘、吉他、贝斯、鼓、弦乐/木管和人声草稿
YourMT3+ · YPTF.Multi PS:整段混音的可编辑 MIDI 草稿,也适合较干净的钢琴/键盘、吉他、贝斯、鼓、弦乐/木管和人声草稿
YourMT3+ · YPTF.MoE+Multi PS:整段混音的可编辑 MIDI 草稿,也适合较干净的钢琴/键盘、吉他、贝斯、鼓、弦乐/木管和人声草稿
MIROS MusicFM multi-decoder 运行官方本地 MIROS 路线,使用 pretrained_msd.pt 与微调后的 last.ckpt。
BS-RoFormer SW Fixed 使用 BS-Rofo-SW-Fixed.ckpt 与 BS-Rofo-SW-Fixed.yaml,把完整混音拆成六个 WAV 分轨。
OaFS 识别 34 类乐器,导出 MIDI 和音符表;力度固定为 127。
先分离人声、鼓、贝斯、吉他、钢琴和其他六部分,再转录并合并 MIDI。可预测力度及重新分配乐器;分离误差可能影响音符。
分离六轨后转录 MIDI。节拍、拍号和段落由 SheetSage2-Refined 识别,和弦与调性由 Tsumugi 识别。原有整曲转录方式仍可选择。
论文表 3:K 为指定的音色数,声部按最佳排列匹配后逐轨计算 F1。结果是至少三次训练的均值,不是本站这份权重的重新实测分数。
arXiv - 2026
使用 MuScriptor-large 将音乐转为多乐器 MIDI。
IEEE MLSP - 2024
YourMT3+ 通过增强 Transformer、MoE、多通道解码和跨数据集 stem 增强扩展 MT3。
ICLR - 2022
MT3 奠定了 multi-task multitrack music transcription,并仍是新 AMT 对比中的命名基线。
arXiv / OpenReview - 2026
2025 AMT Challenge 总结论文发布于 2026-03-29,写的是 2025-01-01 至 2025-04-30 的比赛,不是 2026 新比赛。论文报告 21 队注册、14 队提交、8 队有效评分;测试集为 76 段约 20 秒古典多乐器音频,每段最多三种乐器。
Signals - 2026
OaFS 识别 34 类乐器,导出 MIDI 和音符表;力度固定为 127。
包含本站与站外的公开测试结果。默认显示来源完整表,也可切换条件和指标比较;不同测试条件的分数不能直接比较。
仅展示已核实公开推理实现及对应权重的记录(无需权重的算法除外)。封闭服务、未公开权重或无法匹配实验版本的记录不入榜;这不是全领域总榜。
公开权重不等于许可完整的开源。权重许可和访问条件见展开数据;未明确声明的许可单独标注。
当前选择的模型尚无可核验的对应公开成绩,未赋予排名。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 3 / 原表 7
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
D16 · MSE · Syn · Rescale
论文表 3:K 为指定的音色数,声部按最佳排列匹配后逐轨计算 F1。结果是至少三次训练的均值,不是本站这份权重的重新实测分数。
| 指标名次 | 模型 | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | Ours公开权重 · 推理代码 | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | Share公开权重 · 推理代码 | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | Tanaka公开权重 · 推理代码 | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
数据集、版本和条件分别列出,未纳入排行的评测也保留来源。
可部署条目 3 / 原表 7
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
可部署条目 16 / 原表 16
可部署条目 0 / 原表 4
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
可部署条目 9 / 原表 17
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
可部署条目 9 / 原表 14
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
可部署条目 9 / 原表 9
可部署条目 1 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
可部署条目 1 / 原表 7
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
可部署条目 1 / 原表 12
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
可部署条目 10 / 原表 25
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
可部署条目 68 / 原表 102
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
可部署条目 28 / 原表 28
可部署条目 2 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
OaFS-ResUnet · OaFS-CFP · OaFS-single
可部署条目 3 / 原表 7
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
D16 · MSE · Syn · Rescale
评测分数对应各自的数据集、指标和模型版本,不同测试的分数不能直接比较。
表中只列出有公开权重或配置、可在本地运行的模型。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 3 / 原表 7
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
论文在同一套私有 D_Test 上比较 CFG=1 最终模型与 YourMT3+。结果尚无独立复现,也不能与 MIROS 或其他评测协议直接排名。
| 指标名次 | 模型 | 评测条件 | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RL公开权重 · 推理代码 | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
表中只列出有公开权重或配置、可在本地运行的模型。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 16 / 原表 16
论文表 2 在双方训练集均未包含的八个数据集上评测两个已发布、可本地部署的模型。
| 指标名次 | 模型 | 评测条件 | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor公开权重 · 推理代码 | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
表中只列出有公开权重或配置、可在本地运行的模型。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 9 / 原表 17
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
官方榜单中的开源可复现条目,保留官方名次。F1、精确率、召回率、起始、结束和重叠指标统一以百分数显示,耗时单位为毫秒。 YourMT3+ 的参赛配方使用文件名中给出的乐器信息;该分数不等于本站整条处理链的实测结果。
| 官方名次 | 模型 | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)公开权重 · 推理代码MIROS fine-tuned decoderMusicFM encoder推理代码 logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckpt评测设置权重许可未说明 | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3公开权重 · 推理代码 | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-V | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVAT | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic Pitch | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
表中只列出有公开权重或配置、可在本地运行的模型。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 9 / 原表 14
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
官网与论文是独立快照,末位数字略有差异。测试含 76 段受约束的合成音频,每段最多三件乐器;保留各来源原值。 YourMT3+ 的参赛配方使用文件名中给出的乐器信息;该分数不等于本站整条处理链的实测结果。
| 官方名次 | 模型 | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROS公开权重 · 推理代码MIROS fine-tuned decoderMusicFM encoder推理代码 logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckpt评测设置权重许可未说明 | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)公开权重 · 推理代码 | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-V | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVAT | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic Pitch | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
表中只列出有公开权重或配置、可在本地运行的模型。
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 9 / 原表 9
Table 2 按确切乐器数分组,数值为均值 ± 标准差,各组单独排序,不能替代总榜。 YourMT3+ 的参赛配方使用文件名中给出的乐器信息;该分数不等于本站整条处理链的实测结果。
| 指标名次 | 模型 | 评测条件 | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROS公开权重 · 推理代码MIROS fine-tuned decoderMusicFM encoder推理代码 logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckpt评测设置权重许可未说明 | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)公开权重 · 推理代码 | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 1 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ 论文在 Slakh 类指标上与 MT3 家族基线的对比。
| 指标名次 | 模型 | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 1 / 原表 7
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| 指标名次 | 模型 | 评测条件 | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 1 / 原表 12
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| 指标名次 | 模型 | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 10 / 原表 25
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
官方表 5 按五个测试集分别比较,仅列对应公开权重可核实的实验;当前为联合训练的 OaFS。不能据此推断优于 MuScriptor。
| 指标名次 | 模型 | 评测条件 | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3公开权重 · 推理代码 | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFS | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 68 / 原表 102
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| 指标名次 | 模型 | 评测条件 | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFS | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3公开权重 · 推理代码 | Acoustic Piano | 974,080 | 56.90 | 66.08 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 28 / 原表 28
| 指标名次 | 模型 | 评测条件 | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFS | Piano | 70.36 | 72.10 |
| 2 | MT3公开权重 · 推理代码 | Piano | 63.12 | 69.99 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 2 / 原表 5
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
OaFS-ResUnet · OaFS-CFP · OaFS-single
| 指标名次 | 模型 | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3公开权重 · 推理代码 | 93.7 M | 34 |
| - | OaFS | 64.9 M | 34 |
切换数据集查看每个模型的完整指标。默认按官方名次或所选指标排序;粗体为同评测口径下的列最优值,并列均标出。不同口径不合并排名,缺分为 -。
可部署条目 3 / 原表 7
以下实验尚未核实完整的公开推理包;同名模型的其他权重不能替代。
D16 · MSE · Syn · Rescale
论文表 3:K 为指定的音色数,声部按最佳排列匹配后逐轨计算 F1。结果是至少三次训练的均值,不是本站这份权重的重新实测分数。
| 指标名次 | 模型 | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | Ours公开权重 · 推理代码 | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | Share公开权重 · 推理代码 | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | Tanaka公开权重 · 推理代码 | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
TelkNet 修复记录 · 2026 年 8 月 13 日
我们把同一首完整歌曲分别交给 TelkNet 和官方 MuScriptor Large 0.3.0 严格模式。两边都是 8 个声部、6560 个音符,声部、音高和顺序逐一对应。异常集中在约 182–222 秒:原音频还有清楚的中高频旋律,MIDI 的 C4 及以上声部却空了约 40.31 秒。界面、BPM 处理和 MIDI 编辑器都没有删音符,空缺来自官方模型输出。没有原始总谱,我们无法准确判断究竟漏了多少个音符。
TelkNet 调整了 5 秒片段之间的乐器信息传递,减少前一段误判对后续片段的影响,并衔接跨段延音。每个片段由 MuScriptor Large 转写一次。
我们随后用 14 首歌跑了 16 次完整任务,全部正常结束。第一首歌 C4 及以上声部的最长起音空档从 40.309 秒缩短到 1.970 秒;第二首歌从 1698 个音符、6 条活跃轨道、钢琴占 70.79%,变为 2279 个音符、8 条活跃轨道、钢琴占 50.77%。两首歌各完整重跑两次,生成的文件逐字节一致。


MuScriptor 节拍兼容性
官方基线使用 Beat This final0 检测拍点,再以允许自由截距的最小二乘拟合发布单一固定 BPM。 拍点不符合固定速度时,严格模式报错,best-effort 模式写入 120 BPM 占位值。 MIDI 写入还会校正起音偏差,并整体延后音符以让小节线对齐强拍。
TelkNet 保留同一个 Beat This final0 检测器,并保持“自动检测唯一 BPM”为推荐默认。用户明确选择跟随原曲速度变化时,只有整首歌曲的固定网格与检测拍点距离不超过 40 ms 才使用单一 BPM;超过门限则输出自适应 Tempo Map。手动 BPM 仍可选择。未开启量化时,模型原始音符时间不会被移动。
| 对比项 | 官方 MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| 拍点检测 | 使用 Beat This final0。 | 使用同一 Beat This final0,没有更换检测模型。 |
| 节拍网格 | 以自由截距拟合发布单一固定 BPM;非固定速度时严格模式报错,best-effort 写入 120 BPM 占位值。 | 最大网格距离不超过 40 ms 时才使用固定 BPM;否则输出相位受限的自适应 Tempo Map。 |
| BPM 控制 | 当前官方 CLI 不支持手动 BPM。 | 支持自适应、自动固定和 30–300 手动 BPM。 |
| 音符时间轴 | 校正起音偏差,并整体延后音符,使小节线与强拍对齐。 | 默认不量化时保持模型原生音符秒数,不执行小节对齐延后。 |

Beat This 仍是音频估计器。非常规拍号、节奏瞬态很弱、自由速度、突变节拍,以及半速或倍速脉冲误判,仍可能产生错误网格。自动 BPM 也可能与已知精确值存在小数偏差;已知原曲 BPM 时可选“固定 · 手动 BPM”。开启音符量化会按用户选择有意移动音符时间。节拍设置无法修正 MuScriptor 的漏音、错音或乐器与轨道标签错误。重要 MIDI 仍应在 DAW 中与原曲核对。