モデル
4ステム音源分離ホワイトペーパー: Huge-SCNet が MSS 目標に合う理由
TelkNet の現在の 4ステムツールは Huge-SCNet-4stems V1.2 を使い、フルミックスを vocals、drums、bass、other に分離します。この記事では MSS アーキテクチャの流れ、Mel-Band RoFormer の強みと限界、SCNet のサブバンドモデリング、公開 4ステムスコアから選択理由を説明します。
モデル分析 / TelkNet
TelkNet の現在の 4ステムツールは Huge-SCNet-4stems V1.2 を使い、フルミックスを vocals、drums、bass、other に分離します。この記事では MSS アーキテクチャの流れ、Mel-Band RoFormer の強みと限界、SCNet のサブバンドモデリング、公開 4ステムスコアから選択理由を説明します。
アーキテクチャの取捨選択
Mel-Band RoFormer は mel-band と RoPE によりボーカル細部に強い一方、4ステム分離では drums、bass、other 内の高周波楽器細部も守る必要があります。
SCNet 系はサブバンドモデリングと sparse compression で 4 つの stem をより均衡して扱います。そのため Huge-SCNet-4stems V1.2 が現在の 4ステムツールのモデル境界です。
MVSep Ensemble は品質上限の参照になりますが、単一モデルではなく複数モデル workflow として説明する必要があります。
参考資料
- huggingface.co/Aname-Tommy/Huge-SCNet-4stems/tree
- ZFTurbo pretrained models
- MVSep Multisong Leaderboard
- mvsep.com/algorithms/6
- mvsep.com/algorithms/49
- lucidrains/BS-RoFormer
- Kimberley Jensen Mel-Band Roformer Vocal Model
- Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
- sigsep.github.io/datasets/musdb.html
- SCNet
- github.com/thuhcsi/SCNet
- Mel-Band RoFormer
- BS-RoFormer
- HTDemucs
参考資料
モデルカードhuggingface.co/Aname-Tommy/Huge-SCNet-4stems/treeリポジトリZFTurbo pretrained models出典MVSep Multisong Leaderboard公式mvsep.com/algorithms/6出典mvsep.com/algorithms/49リポジトリlucidrains/BS-RoFormerリポジトリKimberley Jensen Mel-Band Roformer Vocal Model研究Mel-RoFormer for Vocal Separation and Vocal Melody Transcription出典sigsep.github.io/datasets/musdb.html研究SCNetリポジトリgithub.com/thuhcsi/SCNet研究Mel-Band RoFormer研究BS-RoFormer研究HTDemucs