MuScriptor-large：13.66 億參數完整混音轉多軌 MIDI 的實測與邊界
自動音樂轉錄
自動音樂轉錄
MuScriptor-large 是公開的 MuScriptor checkpoint 中規模最大的一個，也是模型卡上的旗艦、最佳品質選項。它把 16 kHz 單聲道音訊切成五秒長的片段，以 512 維梅爾特徵表示，再用 48 層 decoder-only Transformer 生成音高、起音（onset）、止音（offset）、樂器與鼓組事件。公開 checkpoint 恰好包含 1,366,399,488 個 F32 參數，safetensors 檔案大小為 5,465,642,136 位元組。
系列中最大，並不等於全面的 state of the art。論文在私有的 D_Test 上回報了相對 YourMT3+ 的大幅增益，也公布了八個外部資料集的結果，MuScriptor 在其中並非每項指標都勝出。D_Real、D_RL 與 D_Test 均未公開，MIROS 也從未在相同音訊、指標與後處理協定下接受比較。站得住腳的結論範圍較窄：MuScriptor-large 是通用多樂器 AMT 領域最強的新開放權重候選之一，依據是作者回報的領先結果。
1. 旗艦級別是一個精確的 checkpoint，不是從行銷推斷的名稱
MuScriptor 發布了 small、medium 與 large 三種 checkpoint。其儲存庫中繼資料給出精確參數數：102,968,832、307,030,528 與 1,366,399,488。large 約為 medium 的 4.45 倍，並被明確描述為旗艦、最佳品質的發布版本。論文的規模消融實驗使用 60M、100M、300M 與 1.3B 標籤；這些實驗標籤不能用來取代三個公開 checkpoint 的精確參數數。
在修訂版 8809fdfbed2affa7ade94a7059e746e3880720e7，權重儲存庫包含一個 5,465,642,136 位元組的 model.safetensors，以及少量組態檔。原始碼則單獨鎖定在提交 302343e8992bdfc619f77f1988168374ed5d675d。這些識別碼共同綁定了架構、tokenizer、推論預設值與權重。如果某個實作可能悄悄載入 medium，或跟隨不斷變動的 main 分支，只寫著「large」的標籤並不夠。
F32 儲存不代表每個運算都必須使用 F32，也不能證明非官方的低位元衍生版本品質相當。本次發布沒有為任何替代量化 checkpoint 提供同協定的品質研究。因此，品質優先的路線可以要求精確的 large 身份，並在無法載入時明確失敗，而非切換到較小的級別。
2. 從聲學視窗到條件事件序列
輸入會先轉換為 16 kHz 單聲道。短時傅立葉變換使用 2,048 點視窗與 160 樣本的 hop，產生每秒 100 幀，再投影到 512 個梅爾頻帶。一段五秒的片段因此約含 500 個聲學幀。這些特徵進入一個寬度 1,536、24 個注意力頭、48 層的 decoder-only Transformer。模型不會先把混音拆成固定的 stem 組合、再對每個 stem 各跑一個獨立的轉錄器；時間、樂器與音符事件都在同一條共享序列中生成。
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)x五秒音訊片段的梅爾表示c可選的樂器條件；空集合表示自動偵測yn時間、樂器、音高或終止事件的 token
自回歸分解讓先前生成的樂器與和弦能影響後續決策，對完整混音中的跨樂器上下文很有用。它也會傳播錯誤。一次錯誤的 time-shift 可能讓後面的音符整體位移，一個遺漏的 note-off 可能留下懸空的長音，樂器 token 漂移則可能把正確的音高放進錯誤的軌道。
目前的官方範例使用 batch size 1、beam size 1、cfg_coef=1 與 prelude forcing。beam size 1 是一條確定性的 argmax 路徑。較寬的 beam 會保留更多前綴、消耗更多記憶體；在沒有受控消融的情況下，beam 4 不能直接改掛「最高品質」的招牌。
Classifier-free guidance 透過結合條件與無條件 logits 來強化條件：ℓ=ℓu+s(ℓc−ℓu)。論文最終表格回報 CFG=1 時 Multi F1 為 48.2，CFG=2 時為 47.8。公開預設值因此維持為 1，不預設引導強度越大越好。
3. 145 萬個 MIDI 檔案、11,000 小時真實音訊與 300 筆人工審核轉錄
論文把訓練材料分為三層。D_Synth 包含約 145 萬個來自 Lakh MIDI 與一家商業資料供應商的 MIDI 檔案，透過超過 250 種 SoundFonts 渲染。移調、速度、力度、樂器隨機化與失諧處理，讓同一份符號素材接觸更廣的音色範圍。合成渲染能給出精確的事件邊界，但無法完整重現麥克風串音、母帶處理、演奏者雜音，以及真實製作的長尾分布。
D_Real 包含約 170,000 筆內部錄音，合計約 11,000 小時。其音符標籤來自音訊-符號對齊，而非樣本級的人工標註。真實混音拓寬了製作分布，同時也引入曲名匹配、版本差異、外掛延遲與對齊誤差。D_RL 接著挑選 300 筆經人工審核的高品質轉錄，用於 GRPO/REINFORCE 風格的後訓練。三個階段分別處理覆蓋率、領域偏移與序列偏好，但真實錄音與獎勵資料集均未公開。
監督式學習最小化 token 級的負對數似然，後訓練則使用由起音、止音、幀級、鼓組與多樂器度量組裝而成的獎勵。序列級最佳化可以懲罰獨立 token 分類所遺漏的結構性失敗。由於審核過的獎勵集只有 300 軌，稀有樂器、極端速度與非西方傳統的覆蓋程度，仍有待公開的外部評估。
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFT監督式訓練期間的序列交叉熵R(y)對一份完成轉錄的綜合獎勵D_RL300 筆人工審核轉錄，並非公開基準
4. 35 個介面名稱與 36 個學習群組之間的嚴格白名單
MuScriptor 把 128 個 General MIDI 音色編號映射到 MT3_FULL_PLUS 樂器群組。模型學習 36 個群組，公開 demo 則提供 35 個可選名稱，包括原聲與電鋼琴、三個吉他群組、原聲與電貝斯、弦樂、銅管、木管、合成器、人聲與鼓組等。這個差距反映的是內部表示與可選介面之間的邊界；不應把 35 個介面選項回報為模型學到的全部類別數。
樂器欄位留空時，模型可以偵測任何支援的群組。一旦選取一個或多個名稱，解碼器就會硬遮罩所有其他樂器 token。這是嚴格的白名單，不是軟性偏好。編制已知時，它可以減少樂器洩漏；但也可能抹掉使用者漏選的真實聲部。對已知的鋼琴三重奏而言，鋼琴、貝斯、鼓可能是好約束；編制不確定時，自動偵測更安全。
約束必須從介面一路傳到 tokenizer 的 token 遮罩。被 API 丟棄的已選標籤會造成假控制，而不受限制的字串則把拼字錯誤延到執行時才爆發。忠實的契約只接受官方 35 個識別碼、拒絕重複項，並把空陣列定義為自動偵測。
5. 解讀私有 D_Test 上的大幅增益
論文表 1 在同一個私有 D_Test 上比較 YourMT3+ YPTF.MoE+Multi (noPS) 與 MuScriptor 各訓練階段。最終 large 模型在 CFG=1 時回報 Onset 60.4、Frame 73.3、Offset 49.0、Drums 50.2、Multi 48.2；YourMT3+ 回報 32.52、45.54、17.79、41.4 與 21.9。差距相當可觀，支持作者的主張：在其真實混音分布與標註協定下，更大的資料、模型與後訓練配方確實帶來實質的性能提升。
| 同一私有 D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 要求樂器、音高、起音與止音同時滿足匹配規則，因此不能與只檢查較少欄位的分數混為一談。MIROS 在 2025 AMT Challenge 中得分 0.5998，使用的是另一組 76 段約二十秒的合成片段，以及 program + pitch + onset 的 Multi Onset F1。MuScriptor 並未參加該項同協定測試。把 48.2 與 0.5998 並排比較，等於拿不同的分母與不同的事件定義互比。
D_Test 包含 372 首取自內部素材的多樂器作品，並以曲名過濾來降低訓練-測試洩漏。曲名過濾有用，但不等同於公開、可重現的去重稽核。音訊、標註、版本選擇與重疊清理規則均無法取得。這個頭條數字因此必須始終標示為作者在私有資料集上回報的結果。
6. 跨領域表格與重疊音符消融暴露失敗區域
八個外部資料集呈現更不均勻的面貌。相對 YourMT3+，MuScriptor 在 7/8 個資料集上贏得 Frame F1、在 6/8 上贏得 Multi F1，但 Onset F1 只在 4/8 上勝出。在 RWC-C 上，起音、幀級、止音與多樂器指標全面落後；RWC-R 上止音、鼓組與多樂器落後；Bach10 上起音與止音落後。持續音活動與整體音軌內容的強勢，不代表在每種瞬態、樂器家族或錄音分布上都佔優。
tokenizer 有一個具體的表示極限：同樂器、同音高的同時重疊音符，無法被乾淨地同時表示。論文在主要的 D_Test 評估中移除了較短的重疊音符。不做此移除時，Onset F1 從 60.4 降至 51.8，Offset 從 49.0 降至 41.9，Multi 從 48.2 降至 42.0。踩著延音踏板反覆彈奏的同音高鋼琴音、弦樂齊奏與疊加吉他，都可能撞上這個衝突。
模型規模消融應與最終比較分開列表。論文表 4 僅在 D_Real 上訓練並加入樂器條件。在 60M、100M、300M 與 1.3B 標籤下，Multi F1 從 35.2 依序升至 38.2、39.7 與 40.5。這顯示在該設定下規模仍持續帶來收益，但此實驗不含最終的合成預訓練與強化階段，也不是公開 small、medium、large 檔案的直接基準。
| 論文規模標籤 | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
聆聽檢查應集中在密集的齊奏、鼓與貝斯共享的瞬態、破音吉他、合唱、稀有音色與重殘響。彙總分數可能依然亮眼，而音軌卻出現短碎片、跨軌洩漏、被截斷的延音，或一把樂器被拆到多個聲道。平均值描述的是群體行為，無法取代鋼琴捲簾檢視與重新合成的試聽。
7. Type-1 多軌 MIDI 保留了什麼，writer 又固定了什麼
目前的 writer 產出 Type-1 MIDI：中繼資料獨佔一軌，每個樂器軌各自攜帶名稱、音色編號、聲道、note-on 與 note-off 事件。鼓組遵循 General MIDI 第 10 聲道慣例。與把所有內容壓平成 Type-0 相比，這種結構在 DAW 中更容易靜音、獨奏與編輯，也讓樂器漂移更容易被看見。
輸出不會還原演奏力度。公開程式碼把音符力度固定寫為 100。MIDI 中的力度欄位只是滿足檔案格式要求，不能作為模型從錄音推斷出表情的證據。鼓組只提供起音。模型也不推斷樂曲的速度圖、拍號或節拍網格。writer 使用固定的 120 BPM 速度事件，把事件秒數映射為 tick。「固定為 120 BPM」絕不能被說成「偵測到 120 BPM」。
連續的時間資訊可以大致保留，但記譜軟體顯示的記譜值取決於那個固定速度與後續量化。Rubato、swing、自由拍段落與速度變化，都需要另外做節拍與結構分析。可演奏的事件、可編輯的音軌、可出版的記譜是三個不同的層次；聲部配置、連結線、踏板、等音拼寫、反覆記號與表情，仍需要音樂上的判斷。
長音訊以重疊片段處理時，起音歸屬必須以全域秒數指派，跨邊界仍未結束的音符則要向後傳遞。直接拼接各片段的 MIDI 檔案，可能複製邊界上的音頭、切斷延音，或丟失音軌名稱、音色編號與鼓聲道。驗收時應檢查是否有懸空音符、音軌中繼資料是否保留，以及片段銜接處是否沒有系統性的時間漂移。
8. 授權資訊
MuScriptor 程式碼採用 MIT 授權。large 權重採用 CC BY-NC 4.0，透過需申請的 Hugging Face 頁面發布。取得存取權需要登入帳號、接受頁面條款，並確認使用者對所轉錄的音樂持有必要權利。
程式碼與權重分屬不同授權。取得權重檔案並不改變其 NonCommercial 條件；鎖定的模型卡與授權條文是判斷許可用途的主要依據。
9. 結論與主要來源
MuScriptor-large 的價值很具體：它是公開家族中最大的成員，參數量 1.366B，鎖定真實完整混音，支援硬性樂器白名單，產出可編輯的 Type-1 多軌 MIDI，並在私有 D_Test 上回報了相對 YourMT3+ 的大幅增益。它的限制同樣具體：頭條資料未公開，外部指標並非全勝，同音高重疊音符會在 tokenizer 中衝突，缺少力度與真實速度圖，且權重以非商業授權釋出。
「最高品質的 MuScriptor checkpoint」有依據；「經獨立確認的通用音訊轉 MIDI SOTA」則沒有。一旦有公開的重現研究在相同錄音、事件定義、匹配容差與重疊政策下比較 MuScriptor-large、YourMT3+ 與 MIROS，這個評估就可能改變。