模型
四軌音訊分離技術解析:從 MSS 架構演進看 Huge-SCNet 的模型取捨
TelkNet 目前四軌工具使用 Huge-SCNet-4stems V1.2,把完整混音分離為 Vocals、Drums、Bass 和 Other。文章從 MSS 架構演進、Mel-Band RoFormer 的強項與局限、SCNet 的子帶建模和公開四軌分數解釋這次模型取捨。
模型解讀 / TelkNet
TelkNet 目前四軌工具使用 Huge-SCNet-4stems V1.2,把完整混音分離為 Vocals、Drums、Bass 和 Other。文章從 MSS 架構演進、Mel-Band RoFormer 的強項與局限、SCNet 的子帶建模和公開四軌分數解釋這次模型取捨。
架構取捨
Mel-Band RoFormer 的 mel-band 與 RoPE 設計對人聲很友好,但四軌還要處理鼓、貝斯和 other 中的高頻樂器細節。
SCNet 路線透過子帶建模和稀疏壓縮更均衡地覆蓋四個 stem,Huge-SCNet-4stems V1.2 因此成為目前四軌工具的模型口徑。
MVSep Ensemble 可以作為品質上限參照,但應寫成多模型流程,而不是單體模型。
參考資料
- huggingface.co/Aname-Tommy/Huge-SCNet-4stems/tree
- ZFTurbo pretrained models
- MVSep Multisong Leaderboard
- mvsep.com/algorithms/6
- mvsep.com/algorithms/49
- lucidrains/BS-RoFormer
- Kimberley Jensen Mel-Band Roformer Vocal Model
- Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
- sigsep.github.io/datasets/musdb.html
- SCNet
- github.com/thuhcsi/SCNet
- Mel-Band RoFormer
- BS-RoFormer
- HTDemucs
來源與參考資料
模型卡huggingface.co/Aname-Tommy/Huge-SCNet-4stems/tree程式碼倉庫ZFTurbo pretrained models來源MVSep Multisong Leaderboard官方資料mvsep.com/algorithms/6來源mvsep.com/algorithms/49程式碼倉庫lucidrains/BS-RoFormer程式碼倉庫Kimberley Jensen Mel-Band Roformer Vocal Model研究論文Mel-RoFormer for Vocal Separation and Vocal Melody Transcription來源sigsep.github.io/datasets/musdb.html研究論文SCNet程式碼倉庫github.com/thuhcsi/SCNet研究論文Mel-Band RoFormer研究論文BS-RoFormer研究論文HTDemucs