Demucs v3 薩克斯風專模:14.22 dB 與窄域曲庫 A/B
樂器分離 / 技術筆記

樂器分離 / 技術筆記

© 2026 TelkNet. 保留所有權利。
樂器分離 / 技術筆記
薩克斯風並不是一段固定的頻帶。基頻、簧片噪聲、泛音和空間殘響都會與人聲、銅管及失真吉他重疊。這個 checkpoint 的價值來自訓練資料分布,而不是手寫的帶通濾波器。
對於 x=s_sax+s_back,編碼器會降低時間取樣率,序列瓶頸交換長距離脈絡,再由解碼器上採樣出兩個估計結果。可將訓練目標簡寫為:
L = ||ŝ_sax-s_sax||₁ + ||ŝ_back-s_back||₁ + λ||ŝ_sax+ŝ_back-x||₁
一致性項可避免混音能量遺失。高音域、長混響,以及與主唱同時延續的音符仍可能產生串音——模型報告也承認這些限制。
論文報告的是窄域爵士薩克斯風資料集上約 14.22 dB 的 SDR,而引用的商用 Wind 基準約為 14.03 dB。兩者差距不大,變異範圍又有重疊,因此只適合在同一張表的窄範圍內比較,不能據此宣稱模型在所有曲風與音域都達到普遍 SOTA。
這項工作用於重建 Charlie Parker Omnibook:先分離歷史錄音,再交給 FiloSax 轉錄。高音域、銅管齊奏、強混響與失真吉他仍然難以處理,因此檢視串音時,也必須一併考慮後續轉錄的漏音與起音錯誤。
這個薩克斯風專模保留 Demucs v3 的波形編碼器、序列瓶頸與解碼器,但效能提升來自更窄的音源範圍:FiloSax 資料與薩克斯風專用目標,讓模型容量集中在簧片噪聲、泛音、滑音以及與伴奏重疊的情況。Checkpoint 檔名記錄了 14.22 dB SDR,模型卡也將高音域列為弱點。
論文把分離放進 Charlie Parker 與 Omnibook 的研究鏈:先從歷史爵士錄音中抽離薩克斯風,再用 FiloSax 轉錄。分離只是上游步驟。同一張表也列出 LALAL.AI Wind 的 14.03 dB 結果;這個微小差距支持比較,卻不足以宣稱全面勝出。

[ŝ_sax,ŝ_back]=D(B(E(x))), L=Σ_k ℓ(ŝ_k,s_k)E波形編碼器B雙向序列瓶頸D目標 stem 解碼器編碼器壓縮波形,序列瓶頸交換長距離脈絡,再由兩條解碼路徑重建薩克斯風與伴奏。專項資料讓模型容量集中在簧片噪聲、滑音和爵士伴奏重疊的情況。
14.22 dB 與 14.03 dB 兩列使用同一篇論文的窄域測試集,差距只有 0.19 dB。高音域、銅管齊奏與失真吉他仍需針對曲庫進行 A/B 測試。
可循 Demucs v3 薩克斯風權重 / 薩克斯風分離報告 / Demucs 原始碼查閱論文、程式碼與權重。


每一列都保留原有的架構、指標或任務定義;未採用共同協議的結果仍分開呈現。
| 模型 | 架構或證據 | 適用範圍 |
|---|---|---|
| Demucs v3 + FiloSax | 14.22 dB SDR | 論文表格中的專項模型列 |
| LALAL.AI Wind | 14.03 dB SDR | 同一張表中的商用基準 |
| Mega53 saxophone | 沒有相符的表格數值 | 僅限同一曲目的聆聽比較 |
高音、強混響、銅管齊奏與失真吉他都很容易發生串音。除了 SDR,還要檢查起音是否變鈍、伴奏中是否留下薩克斯風殘影,以及所有 stem 相加後是否仍與原混音一致。
Mega53 saxophone 可用於同一曲目的聆聽比較,但論文表格中沒有對應數值。每套曲庫與樂器音域都應重新評估模型選擇。
測試材料以爵士薩克斯風為主,無法代表所有曲風、效果鏈或薩克斯風音域。報告中的離差也顯示不同曲目的變異相當明顯。
專項分離會改變波形,並非鑑識式復原。用於再混音或製作資料集時,應保留原始檔案與處理紀錄。
模型名稱、數值與限制均可追溯至下列論文、儲存庫或模型卡。