MuScriptor-large 會從完整混音產生可編輯的多樂器 MIDI 初稿。請逐一核對錄音中確實存在的聲部。清楚可聞的段落也可能整段漏記。
輸入
支援 mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv 等格式輸入
支援格式
輸出
MIDI
適用場景
編輯音符、配器與演奏細節。
依用途選擇：先看輸入與輸出需求，再參考同條件實測、公開評測和模型能力。缺少公開分數不代表品質較差；參數更多、發布時間更新也不自動代表更好。此順序是使用建議，不是總榜名次。
費用、耗時、格式和參數以所選模型為準。
可用使用 MuScriptor-large 將音樂轉為多樂器 MIDI。
YourMT3+ 檢查點，用於在完整混音或演示中進行多樂器自動音樂轉錄。
BS-RoFormer SW Fixed 使用 BS-Rofo-SW-Fixed.ckpt 與 BS-Rofo-SW-Fixed.yaml，把完整混音拆成六個 WAV 分軌。
MIROS MusicFM multi-decoder 執行官方本地 MIROS 路線，使用 pretrained_msd.pt 與微調後的 last.ckpt。
分數只代表所列來源中的資料集、指標與模型版本；表內領先不等於目前全球第一，也不證明本站執行結果。無可比分數的模型仍可依能力與實測優先使用。
表中只列出有公開權重或設定、可在本機執行的模型。
論文在同一套私有 D_Test 上比較 CFG=1 最終模型與 YourMT3+。結果尚無獨立復現，也不能與 MIROS 或其他評測協議直接排序。
公開資料核對：2026-09-10
| 排名 | 模型 | 多樂器 F1 (%) | 詳細指標 |
|---|---|---|---|
| D_Test / CFG=1 | MuScriptor-largeTelkNetPaper Table 1 | 48.20最佳 | 起始 F1 (%)60.40最佳幀級 F1 (%)73.30最佳結束 F1 (%)49.00最佳鼓組 F1 (%)50.20最佳 |
| D_Test / YPTF.MoE+Multi (noPS) | YourMT3+Paper Table 1 | 21.90 | 起始 F1 (%)32.52幀級 F1 (%)45.54結束 F1 (%)17.79鼓組 F1 (%)41.40 |
論文表 2 在雙方訓練集都未包含的八個資料集上評測兩個已發布、可在本機部署的模型。
公開資料核對：2026-09-10
| 排名 | 模型 | 多樂器 F1 (%) | 詳細指標 |
|---|---|---|---|
| Bach10 | YourMT3+Paper Table 2 | 26.4 | 起始 F1 (%)59.8最佳幀級 F1 (%)66.0結束 F1 (%)48.0最佳 |
| Bach10 | MuScriptor-largeTelkNetPaper Table 2 | 34.7最佳 | 起始 F1 (%)43.1幀級 F1 (%)85.0最佳結束 F1 (%)36.0 |
| Dagstuhl ChoirSet | YourMT3+Paper Table 2 | 2.6 | 起始 F1 (%)22.3最佳幀級 F1 (%)51.0結束 F1 (%)10.8 |
| Dagstuhl ChoirSet | MuScriptor-largeTelkNetPaper Table 2 | 11.5最佳 | 起始 F1 (%)14.4幀級 F1 (%)80.7最佳結束 F1 (%)11.5最佳 |
| PHENICX-Anechoic | YourMT3+Paper Table 2 | 12.2 | 起始 F1 (%)56.7最佳幀級 F1 (%)58.9結束 F1 (%)18.7 |
| PHENICX-Anechoic | MuScriptor-largeTelkNetPaper Table 2 | 25.7最佳 | 起始 F1 (%)56.1幀級 F1 (%)74.6最佳結束 F1 (%)32.6最佳 |
| RWC-P | YourMT3+Paper Table 2 | 19.1 | 起始 F1 (%)36.1幀級 F1 (%)51.6結束 F1 (%)20.6鼓組 F1 (%)36.5 |
| RWC-P | MuScriptor-largeTelkNetPaper Table 2 | 25.6最佳 | 起始 F1 (%)46.1最佳幀級 F1 (%)61.2最佳結束 F1 (%)25.6最佳鼓組 F1 (%)42.1最佳 |
| RWC-C | YourMT3+Paper Table 2 | 40.5最佳 | 起始 F1 (%)71.7最佳幀級 F1 (%)71.3最佳結束 F1 (%)44.3最佳鼓組 F1 (%)8.7 |
| RWC-C | MuScriptor-largeTelkNetPaper Table 2 | 36.0 | 起始 F1 (%)67.7幀級 F1 (%)70.5結束 F1 (%)36.9鼓組 F1 (%)23.7最佳 |
| RWC-G | YourMT3+Paper Table 2 | 17.2 | 起始 F1 (%)36.9幀級 F1 (%)49.4結束 F1 (%)20.5鼓組 F1 (%)25.6 |
| RWC-G | MuScriptor-largeTelkNetPaper Table 2 | 23.7最佳 | 起始 F1 (%)44.7最佳幀級 F1 (%)58.7最佳結束 F1 (%)24.4最佳鼓組 F1 (%)29.2最佳 |
| RWC-J | YourMT3+Paper Table 2 | 26.4 | 起始 F1 (%)52.9幀級 F1 (%)57.2結束 F1 (%)31.1鼓組 F1 (%)30.6 |
| RWC-J | MuScriptor-largeTelkNetPaper Table 2 | 31.8最佳 | 起始 F1 (%)59.4最佳幀級 F1 (%)62.7最佳結束 F1 (%)33.9最佳鼓組 F1 (%)31.3最佳 |
| RWC-R | YourMT3+Paper Table 2 | 23.1最佳 | 起始 F1 (%)46.1幀級 F1 (%)61.5結束 F1 (%)28.6最佳鼓組 F1 (%)51.3最佳 |
| RWC-R | MuScriptor-largeTelkNetPaper Table 2 | 20.3 | 起始 F1 (%)47.1最佳幀級 F1 (%)68.6最佳結束 F1 (%)24.8鼓組 F1 (%)36.5 |
論文表 4 僅使用 D_Real 訓練並在同一套私有 D_Test 上評測；各列規模是論文標籤，不是公開 checkpoint 的精確參數量。
公開資料核對：2026-09-10
| 評測條件 | 模型 | 多樂器 F1 (%) | 詳細指標 |
|---|---|---|---|
| D_Real only / conditioning on | MuScriptor 60MPaper Table 4 | 35.2 | 起始 F1 (%)47.7幀級 F1 (%)65.7結束 F1 (%)35.3鼓組 F1 (%)39.8 |
| D_Real only / conditioning on | MuScriptor 100MPaper Table 4 | 38.2 | 起始 F1 (%)51.2幀級 F1 (%)67.2結束 F1 (%)38.7鼓組 F1 (%)41.5 |
| D_Real only / conditioning on | MuScriptor 300MPaper Table 4 | 39.7 | 起始 F1 (%)52.4幀級 F1 (%)68.0結束 F1 (%)40.3鼓組 F1 (%)42.0 |
| D_Real only / conditioning on | MuScriptor 1.3BPaper Table 4 | 40.5 | 起始 F1 (%)53.2幀級 F1 (%)68.7結束 F1 (%)41.0鼓組 F1 (%)42.5 |
官方排行榜中可開源重現的項目，保留官方名次。F1、精確率、召回率、起始、結束和重疊指標統一以百分比顯示，耗時單位為毫秒。
公開資料核對：2026-09-10
| 排名 | 模型 | F1 (%) | 詳細指標 |
|---|---|---|---|
| #1 | 59.99最佳 | 精確率 (%)65.58最佳召回率 (%)57.24重疊 (%)73.91起始 F1 (%)79.92最佳結束 F1 (%)73.68執行時間（毫秒）22.0535 | |
| #2 | YourMT3-YPTF-MoE-MOfficial leaderboard | 59.39 | 精確率 (%)60.10召回率 (%)58.88最佳重疊 (%)73.05起始 F1 (%)78.34結束 F1 (%)75.77最佳執行時間（毫秒）12.5981 |
| #3 | YourMT3-YPTF-SOfficial leaderboard | 55.82 | 精確率 (%)55.65召回率 (%)56.15重疊 (%)73.26起始 F1 (%)76.57結束 F1 (%)74.71執行時間（毫秒）15.3954 |
| #4 | YourMT3-POfficial leaderboard | 39.48 | 精確率 (%)39.66召回率 (%)39.85重疊 (%)72.63起始 F1 (%)60.18結束 F1 (%)68.19執行時間（毫秒）14.9916 |
| #5 | 39.32 | 精確率 (%)38.11召回率 (%)41.15重疊 (%)71.80起始 F1 (%)68.77結束 F1 (%)65.97執行時間（毫秒）20.1915 | |
| #7 | YourMT3-YPTF-SP-VOfficial leaderboard | 33.06 | 精確率 (%)32.80召回率 (%)33.58重疊 (%)71.47起始 F1 (%)64.17結束 F1 (%)69.57執行時間（毫秒）14.5031 |
| #10 | YourMT3-YPTF-MoE-MPOfficial leaderboard | 21.73 | 精確率 (%)21.50召回率 (%)22.06重疊 (%)61.16起始 F1 (%)70.56結束 F1 (%)70.95執行時間（毫秒）16.0262 |
| #13 | ByteDance Piano transcriptionOfficial leaderboard | 17.21 | 精確率 (%)20.41召回率 (%)16.89重疊 (%)54.23起始 F1 (%)36.03結束 F1 (%)48.15執行時間（毫秒）9.6727 |
| #15 | ReconVATOfficial leaderboard | 14.16 | 精確率 (%)12.15召回率 (%)18.03重疊 (%)78.98最佳起始 F1 (%)35.52結束 F1 (%)56.43執行時間（毫秒）5.4548 |
| #16 | Basic PitchOfficial leaderboard | 6.34 | 精確率 (%)5.50召回率 (%)7.82重疊 (%)59.77起始 F1 (%)29.08結束 F1 (%)49.55執行時間（毫秒）3.9056最佳 |
YourMT3+ 論文在 Slakh 類指標上與 MT3 家族基準的對比。
公開資料核對：2026-09-10
| 評測條件 | 模型 | 起始 F1 (%) | 詳細指標 |
|---|---|---|---|
| Slakh / no pitch shifting | YPTF.MoE+Multi (noPS) | 84.14 | 多樂器 F1 (%)73.98 |
| Slakh / pitch shifting | YPTF.MoE+Multi (PS) | 84.56 | 多樂器 F1 (%)74.84結束 F1 (%)70.70鼓 F1 (%)90.05 |
| paper baseline | PerceiverTF | 81.90 | 鼓 F1 (%)78.30 |
| paper baseline | MT3 | 76.00 | 結束 F1 (%)57.00多樂器 F1 (%)62.00 |
arXiv - 2026
使用 MuScriptor-large 將音樂轉為多樂器 MIDI。
IEEE MLSP - 2024
YourMT3+ 透過增強 Transformer、MoE、多通道解碼和跨資料集 stem 增強來擴充 MT3。
ICLR - 2022
MT3 奠定了 multi-task multitrack music transcription，並仍是新 AMT 對比中的命名基準。
arXiv / OpenReview - 2026
2025 AMT Challenge 總結論文發布於 2026-03-29，寫的是 2025-01-01 至 2025-04-30 的比賽，不是 2026 新比賽。論文報告 21 隊註冊、14 隊提交、8 隊有效評分；測試集為 76 段約 20 秒古典多樂器音訊，每段最多三種樂器。
處理同類任務時可以先看這些指南：每個場景都列出適用工具、模型邊界、來源和常見問題。
回報時請註明工具名稱、操作步驟和遇到的問題，可附截圖協助定位。
TelkNet 修復紀錄 · 2026 年 8 月 13 日
我們把同一首完整歌曲分別交給 TelkNet 與官方 MuScriptor Large 0.3.0 嚴格模式。兩邊都是 8 個聲部、6560 個音符，聲部、音高與順序逐一對應。異常集中在約 182–222 秒：原始音訊仍有清楚的中高頻旋律，MIDI 的 C4 以上聲部卻空了約 40.31 秒。介面、BPM 處理與 MIDI 編輯器都沒有刪除音符，空缺來自官方模型輸出。沒有原始總譜，我們無法準確判斷究竟漏了多少音符。
問題出在 5 秒分段之間：上一段的單一 program 被反覆傳入下一段，誤判因此越積越重。TelkNet 已切斷這條回饋路徑，同時保留真實延音。每段仍只呼叫一次官方 MuScriptor Large；沒有跳過開頭 30 秒，也沒有重試、二次推理或事後補軌。
接著我們用 14 首歌跑了 16 次完整任務，全部正常結束。第一首歌 C4 以上聲部的最長起音空檔從 40.309 秒縮短到 1.970 秒；第二首歌從 1698 個音符、6 條活躍軌道、鋼琴占 70.79%，變為 2279 個音符、8 條活躍軌道、鋼琴占 50.77%。兩首歌各完整重跑兩次，產生的檔案逐位元組一致。
MuScriptor 節拍相容性
官方基線使用 Beat This final0 偵測拍點，再以允許自由截距的最小平方法擬合發布單一固定 BPM。 拍點不符合固定速度時，嚴格模式會報錯，best-effort 模式寫入 120 BPM 佔位值。 MIDI 寫入還會校正起音偏差，並整體延後音符以讓小節線對齊強拍。
TelkNet 保留同一個 Beat This final0 偵測器，並維持「自動偵測唯一 BPM」為推薦預設。使用者明確選擇跟隨原曲速度變化時，只有整首歌曲的固定網格與偵測拍點距離不超過 40 ms 才使用單一 BPM；超過門檻則輸出自適應 Tempo Map。手動 BPM 仍可選擇。未開啟量化時，模型原始音符時間不會被移動。
| 比較項目 | 官方 MuScriptor v0.3.0 | TelkNet v11 候選 |
|---|---|---|
| 拍點偵測 | 使用 Beat This final0。 | 使用同一 Beat This final0，沒有更換偵測模型。 |
| 節拍網格 | 以自由截距擬合發布單一固定 BPM；非固定速度時嚴格模式報錯，best-effort 寫入 120 BPM 佔位值。 | 最大網格距離不超過 40 ms 時才使用固定 BPM；否則輸出相位受限的自適應 Tempo Map。 |
| BPM 控制 | 目前官方 CLI 不支援手動 BPM。 | 支援自適應、自動固定與 30–300 手動 BPM。 |
| 音符時間軸 | 校正起音偏差，並整體延後音符，使小節線與強拍對齊。 | 預設不量化時保持模型原生音符秒數，不執行小節對齊延後。 |
Beat This 仍是音訊估計器。非常規拍號、節奏瞬態很弱、自由速度、突變節拍，以及半速或倍速脈衝誤判，仍可能產生錯誤網格。自動 BPM 也可能與已知精確值存在小數偏差；已知原曲 BPM 時可選「固定 · 手動 BPM」。開啟音符量化會依使用者選擇有意移動音符時間。MuScriptor 原生輸出中的斷音、錯音、樂器或軌道標籤錯誤屬於另一類轉寫缺陷，節拍層不會掩蓋或偽造修復。重要 MIDI 仍應在 DAW 中與原曲核對。