MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
使用 MuScriptor-large 將音樂轉為多樂器 MIDI。
載入中...
將歌曲或合奏轉成分軌 MIDI,在 DAW 中校對音符、整理聲部和修改編曲。
輸入
完整歌曲、器樂合奏或多樂器錄音;使用 MIROS MusicFM multi-decoder
支援格式
輸出
生成 MIROS 多樂器 MIDI 草稿,適合轉寫檢查與 DAW 精修
適用場景
將古典音樂或室內樂錄音轉成分軌 MIDI,繼續修譜與編曲。
按素材和用途選擇模型,查看範例後再提交。
費用、耗時、格式和參數以所選模型為準。
回報時請註明工具名稱、操作步驟和遇到的問題,可附截圖協助定位。
多樂器 MIDI 轉寫 (MIROS) 使用官方 MIROS MusicFM multi-decoder。2025 AMT Challenge 論文只公布單樂器整體 F1,沒有逐樂器 solo 排名。現有證據可用來對照古典和室內樂的多樂器轉寫表現,但不能據此認定它是某一種樂器的專用模型。
預設的分段修復減少跨段樂器錯誤並保留延音;完整混音轉 MIDI 可先試此版。
YourMT3+ · YPTF.MoE+Multi noPS:整段混音的可編輯 MIDI 草稿,也適合較乾淨的鋼琴/鍵盤、吉他、貝斯、鼓、弦樂/木管和人聲草稿
YMT3+:整段混音的可編輯 MIDI 草稿,也適合較乾淨的鋼琴/鍵盤、吉他、貝斯、鼓、弦樂/木管和人聲草稿
YourMT3+ · YPTF.Single noPS:整段混音的可編輯 MIDI 草稿,也適合較乾淨的鋼琴/鍵盤、吉他、貝斯、鼓、弦樂/木管和人聲草稿
YourMT3+ · YPTF.Multi PS:整段混音的可編輯 MIDI 草稿,也適合較乾淨的鋼琴/鍵盤、吉他、貝斯、鼓、弦樂/木管和人聲草稿
YourMT3+ · YPTF.MoE+Multi PS:整段混音的可編輯 MIDI 草稿,也適合較乾淨的鋼琴/鍵盤、吉他、貝斯、鼓、弦樂/木管和人聲草稿
MIROS MusicFM multi-decoder 執行官方本地 MIROS 路線,使用 pretrained_msd.pt 與微調後的 last.ckpt。
BS-RoFormer SW Fixed 使用 BS-Rofo-SW-Fixed.ckpt 與 BS-Rofo-SW-Fixed.yaml,把完整混音拆成六個 WAV 分軌。
OaFS 辨識 34 類樂器,匯出 MIDI 與音符表;力度固定為 127。
依指定數量將音符分成匿名音色軌,不辨識樂器名稱。適合樂器數量已知的短合奏;同音高重疊聲部可能無法區分。
先分離人聲、鼓、貝斯、吉他、鋼琴和其他六部分,再轉錄並合併 MIDI。可預測力度及重新分配樂器;分離誤差可能影響音符。
分離六軌後轉錄 MIDI。節拍、拍號和段落由 SheetSage2-Refined 辨識,和弦與調性由 Tsumugi 辨識。原有整曲轉錄方式仍可選擇。
arXiv - 2026
使用 MuScriptor-large 將音樂轉為多樂器 MIDI。
IEEE MLSP - 2024
YourMT3+ 透過增強 Transformer、MoE、多通道解碼和跨資料集 stem 增強來擴充 MT3。
ICLR - 2022
MT3 奠定了 multi-task multitrack music transcription,並仍是新 AMT 對比中的命名基準。
arXiv / OpenReview - 2026
2025 AMT Challenge 總結論文發布於 2026-03-29,寫的是 2025-01-01 至 2025-04-30 的比賽,不是 2026 新比賽。論文報告 21 隊註冊、14 隊提交、8 隊有效評分;測試集為 76 段約 20 秒古典多樂器音訊,每段最多三種樂器。
Signals - 2026
OaFS 辨識 34 類樂器,匯出 MIDI 與音符表;力度固定為 127。
包含本站與站外的公開測試結果。預設顯示來源完整表,也可切換條件和指標比較;不同測試條件的分數不能直接比較。
僅顯示已核實公開推論實作及對應權重的紀錄(無需權重的演算法除外)。封閉服務、未公開權重或無法匹配實驗版本的紀錄不入榜;這不是全領域總榜。
公開權重不等於授權完整的開源。權重授權和存取條件請見展開資料;未明確聲明的授權另行標示。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 9 / 原表 17
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
官方排行榜中可開源重現的項目,保留官方名次。F1、精確率、召回率、起始、結束和重疊指標統一以百分比顯示,耗時單位為毫秒。 YourMT3+ 的參賽配方使用檔名中提供的樂器資訊;該分數不等於本站整條處理流程的實測結果。
| 官方名次 | 模型 | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)本站模型公開權重 · 推論程式碼MIROS fine-tuned decoderMusicFM encoder推論程式碼 logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckpt評測設定權重授權未說明 | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3公開權重 · 推論程式碼 | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-V | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVAT | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic Pitch | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
標記表示本站使用的模型或元件;成績與參數以公開測試為準,並非整個處理流程的複測結果。
資料集、版本和條件分別列出,未納入排行的評測也保留來源。
可部署項目 3 / 原表 7
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
可部署項目 16 / 原表 16
可部署項目 0 / 原表 4
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
可部署項目 9 / 原表 17
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
可部署項目 9 / 原表 14
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
可部署項目 9 / 原表 9
可部署項目 1 / 原表 5
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
可部署項目 1 / 原表 7
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
可部署項目 1 / 原表 12
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
可部署項目 10 / 原表 25
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
可部署項目 68 / 原表 102
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
可部署項目 28 / 原表 28
可部署項目 2 / 原表 5
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
OaFS-ResUnet · OaFS-CFP · OaFS-single
可部署項目 3 / 原表 7
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
D16 · MSE · Syn · Rescale
評測分數對應各自的資料集、指標和模型版本,不同測試的分數不能直接比較。
表中只列出有公開權重或設定、可在本機執行的模型。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 3 / 原表 7
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
論文在同一套私有 D_Test 上比較 CFG=1 最終模型與 YourMT3+。結果尚無獨立復現,也不能與 MIROS 或其他評測協議直接排序。
| 指標名次 | 模型 | 評測條件 | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RL公開權重 · 推論程式碼 | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
表中只列出有公開權重或設定、可在本機執行的模型。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 16 / 原表 16
論文表 2 在雙方訓練集都未包含的八個資料集上評測兩個已發布、可在本機部署的模型。
| 指標名次 | 模型 | 評測條件 | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor公開權重 · 推論程式碼 | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
表中只列出有公開權重或設定、可在本機執行的模型。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 9 / 原表 17
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
官方排行榜中可開源重現的項目,保留官方名次。F1、精確率、召回率、起始、結束和重疊指標統一以百分比顯示,耗時單位為毫秒。 YourMT3+ 的參賽配方使用檔名中提供的樂器資訊;該分數不等於本站整條處理流程的實測結果。
| 官方名次 | 模型 | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)公開權重 · 推論程式碼MIROS fine-tuned decoderMusicFM encoder推論程式碼 logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckpt評測設定權重授權未說明 | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3公開權重 · 推論程式碼 | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-V | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVAT | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic Pitch | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
表中只列出有公開權重或設定、可在本機執行的模型。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 9 / 原表 14
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
官網與論文是獨立快照,末位數字略有差異。測試含 76 段受約束的合成音訊,每段最多三件樂器;保留各來源原值。 YourMT3+ 的參賽配方使用檔名中提供的樂器資訊;該分數不等於本站整條處理流程的實測結果。
| 官方名次 | 模型 | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROS公開權重 · 推論程式碼MIROS fine-tuned decoderMusicFM encoder推論程式碼 logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckpt評測設定權重授權未說明 | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)公開權重 · 推論程式碼 | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-V | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVAT | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic Pitch | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
表中只列出有公開權重或設定、可在本機執行的模型。
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 9 / 原表 9
Table 2 依確切樂器數分組,數值為平均值 ± 標準差,各組單獨排序,不能替代總榜。 YourMT3+ 的參賽配方使用檔名中提供的樂器資訊;該分數不等於本站整條處理流程的實測結果。
| 指標名次 | 模型 | 評測條件 | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROS公開權重 · 推論程式碼MIROS fine-tuned decoderMusicFM encoder推論程式碼 logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckpt評測設定權重授權未說明 | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)公開權重 · 推論程式碼 | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 1 / 原表 5
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ 論文在 Slakh 類指標上與 MT3 家族基準的對比。
| 指標名次 | 模型 | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 1 / 原表 7
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| 指標名次 | 模型 | 評測條件 | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 1 / 原表 12
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| 指標名次 | 模型 | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 10 / 原表 25
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
官方表 5 按五個測試集分別比較,僅列對應公開權重可核實的實驗;目前為聯合訓練的 OaFS。不能據此推斷優於 MuScriptor。
| 指標名次 | 模型 | 評測條件 | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3公開權重 · 推論程式碼 | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFS | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 68 / 原表 102
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| 指標名次 | 模型 | 評測條件 | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFS | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3公開權重 · 推論程式碼 | Acoustic Piano | 974,080 | 56.90 | 66.08 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 28 / 原表 28
| 指標名次 | 模型 | 評測條件 | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFS | Piano | 70.36 | 72.10 |
| 2 | MT3公開權重 · 推論程式碼 | Piano | 63.12 | 69.99 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 2 / 原表 5
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
OaFS-ResUnet · OaFS-CFP · OaFS-single
| 指標名次 | 模型 | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3公開權重 · 推論程式碼 | 93.7 M | 34 |
| - | OaFS | 64.9 M | 34 |
切換資料集查看每個模型的完整指標。預設按官方名次或所選指標排序;粗體為相同評測口徑下的欄位最佳值,並列均標出。不同口徑不合併排名,缺分為 -。
可部署項目 3 / 原表 7
以下實驗尚未核實完整的公開推論套件;同名模型的其他權重不能替代。
D16 · MSE · Syn · Rescale
論文表 3:K 為指定的音色數,聲部依最佳排列配對後逐軌計算 F1。結果是至少三次訓練的平均值,不是本站這份權重的重新實測分數。
| 指標名次 | 模型 | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | Ours公開權重 · 推論程式碼 | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | Share公開權重 · 推論程式碼 | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | Tanaka公開權重 · 推論程式碼 | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
尋找適合素材的處理方法與操作步驟。
TelkNet 修復紀錄 · 2026 年 8 月 13 日
我們把同一首完整歌曲分別交給 TelkNet 與官方 MuScriptor Large 0.3.0 嚴格模式。兩邊都是 8 個聲部、6560 個音符,聲部、音高與順序逐一對應。異常集中在約 182–222 秒:原始音訊仍有清楚的中高頻旋律,MIDI 的 C4 以上聲部卻空了約 40.31 秒。介面、BPM 處理與 MIDI 編輯器都沒有刪除音符,空缺來自官方模型輸出。沒有原始總譜,我們無法準確判斷究竟漏了多少音符。
TelkNet 調整了 5 秒片段之間的樂器資訊傳遞,減少前一段誤判對後續片段的影響,並銜接跨段延音。每個片段由 MuScriptor Large 轉寫一次。
接著我們用 14 首歌跑了 16 次完整任務,全部正常結束。第一首歌 C4 以上聲部的最長起音空檔從 40.309 秒縮短到 1.970 秒;第二首歌從 1698 個音符、6 條活躍軌道、鋼琴占 70.79%,變為 2279 個音符、8 條活躍軌道、鋼琴占 50.77%。兩首歌各完整重跑兩次,產生的檔案逐位元組一致。


MuScriptor 節拍相容性
官方基線使用 Beat This final0 偵測拍點,再以允許自由截距的最小平方法擬合發布單一固定 BPM。 拍點不符合固定速度時,嚴格模式會報錯,best-effort 模式寫入 120 BPM 佔位值。 MIDI 寫入還會校正起音偏差,並整體延後音符以讓小節線對齊強拍。
TelkNet 保留同一個 Beat This final0 偵測器,並維持「自動偵測唯一 BPM」為推薦預設。使用者明確選擇跟隨原曲速度變化時,只有整首歌曲的固定網格與偵測拍點距離不超過 40 ms 才使用單一 BPM;超過門檻則輸出自適應 Tempo Map。手動 BPM 仍可選擇。未開啟量化時,模型原始音符時間不會被移動。
| 比較項目 | 官方 MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| 拍點偵測 | 使用 Beat This final0。 | 使用同一 Beat This final0,沒有更換偵測模型。 |
| 節拍網格 | 以自由截距擬合發布單一固定 BPM;非固定速度時嚴格模式報錯,best-effort 寫入 120 BPM 佔位值。 | 最大網格距離不超過 40 ms 時才使用固定 BPM;否則輸出相位受限的自適應 Tempo Map。 |
| BPM 控制 | 目前官方 CLI 不支援手動 BPM。 | 支援自適應、自動固定與 30–300 手動 BPM。 |
| 音符時間軸 | 校正起音偏差,並整體延後音符,使小節線與強拍對齊。 | 預設不量化時保持模型原生音符秒數,不執行小節對齊延後。 |

Beat This 仍是音訊估計器。非常規拍號、節奏瞬態很弱、自由速度、突變節拍,以及半速或倍速脈衝誤判,仍可能產生錯誤網格。自動 BPM 也可能與已知精確值存在小數偏差;已知原曲 BPM 時可選「固定 · 手動 BPM」。開啟音符量化會依使用者選擇有意移動音符時間。節拍設定無法修正 MuScriptor 的漏音、錯音或樂器與軌道標籤錯誤。重要 MIDI 仍應在 DAW 中與原曲核對。