4ステム音源分離ホワイトペーパー: Huge-SCNet が MSS 目標に合う理由

4ステムは伴奏トラックの別名ではない

標準的な4ステム分離は通常、vocals、drums、bass、otherを意味する。vocalsは歌声、drumsはドラムキット、bassはベースパート、otherには残りの楽器、すなわちギター、ピアノ、ストリングス、シンセ、ブラス、エフェクトなどが入る。ボーカルをミュートした後に聞こえる伴奏は、実際にはdrums、bass、otherを合算したものだ。

この目標は、音楽音源分離における主要データセットと評価の伝統に由来する。MUSDB18とMUSDB18-HQは長年、この4ステムを軸にモデルの学習と評価を形作ってきた。コミュニティで「4-stem」と言う場合、通常はこの出力目標を指す。

この違いによって選ぶツールも変わる。クリーンなボーカルやボーカルなしのインストゥルメンタルが目的なら、2ステムのボーカル分離器がより直接的だ。ドラム練習、ベース分析、サンプリング、リミックス、編集可能な素材のクリーンアップが目的なら、4ステムのほうが役に立つ。otherは質を落とした伴奏ではなく、システム内で最も難しい楽器の集合だ。

U-NetからSCNetまでの4段階

音楽音源分離は、時間と周波数にまたがる一つの混合波形から複数の音源を復元する試みである。初期のモデルでも聴ける出力は得られたが、ボーカルの漏れ、ドラムの被り、濁ったベース、高域のにじみ、密なアレンジで位相が裂けたように聞こえる質感など、特徴的なアーティファクトが残った。

この経緯から、モデル選定をボーカル品質だけに還元できない理由が分かる。4ステム分離では、ドラムのトランジェント、ベースの基音と倍音、ボーカルの境界、otherに含まれる高域の細部も保たなければならない。

時期の扱いにも出典上の範囲がある。SCNet論文が公開されたのは2024年1月で、Huge-SCNet-4stems V1.2はそれより後の公開チェックポイントという文脈に属する。そのため、この年表はSCNet自体が2025年以降に初めて登場したと誤解させないよう、2024-2026としている。

Mel-Band RoFormer：ボーカルの強みと4ステムでの限界

Mel-Band RoFormerは、ByteDanceのSpeech, Audio, and Music Intelligence（SAMI）チームが提案した。論文著者はJu-Chiang Wang、Wei-Tsung Lu、Minz Wonで、タイトルページの所属はSAMI, ByteDanceと記されている。コミュニティのページではこの系譜をByteDance AI Labsと要約することもあるが、出典に最も忠実な表現は論文著者とSAMI, ByteDanceである。

このモデルの魅力は、人間の聴覚に近い形で周波数帯を構成する点にある。耳は低域から中域に敏感で、そこにはボーカルの基音、子音、ブレス、多くの音高の手がかりが存在する。メルバンド投影はこの範囲をより細かく表現し、リード、バックボーカル、スライド、ビブラート、リバーブテールの追跡を助ける。

RoFormerファミリーは、時間系列とサブバンド系列の両方に回転位置エンコーディング、すなわちRoPEを用いる。これにより、アテンションスコアは相対位置に依存する。スライド、サステイン、反復フレーズはこの性質を理解するうえで有用な直感例だが、論文が直接検証しているのはRoPEありとRoPEなしの統制モデルだけで、スライドや長いハーモニーを個別に測る指標は報告していない。

論文で定義された信号経路

BS-RoFormerはまず、混合波形を複素スペクトログラムに変換する。バンド投影と階層型Transformerが複素マスクを推定し、そのマスクを混合スペクトルに適用して、逆STFTで対象波形を再構成する。Mel-RoFormerが変更するのはf_θ内部の投影であり、重なりのあるメルバンドがヒューリスティックな非重複分割に置き換わる。再構成経路全体を置き換えるわけではない。

これが、Mel-Band RoFormerがボーカル／伴奏、リード／バックボーカル、クリーンなボーカル抽出に有力な経路となる理由だ。問題は、4ステム分離がボーカルだけを対象にしないことである。drums、bass、otherも分けなければならず、otherには最も難しい高域の楽器ディテールが含まれることが多い。

論文発表後：RoFormerがオープンなツールエコシステムになった過程

BS-RoFormerは2023年9月、一つの論文で2種類の根拠を示した。MUSDB18HQと社内楽曲500曲で学習した大規模なL=12システムは、SAMI-ByteDanceによるSDX23首位の提出システムを記録している。より小さなMUSDB18HQのみのモデルは、RoPE、バンド分割、overlap-and-average再構成の統制アブレーションを提供した。論文はアーキテクチャ、学習条件、結果表を公開したが、元のSDX23チェックポイントを添付せず、ByteDance/SAMIの学習・推論リポジトリにもリンクしていない。

Mel-Band RoFormerは2023年10月に続いた。RoPE Transformer、バンド内／バンド間の系列モデリング、複素マスク、波形再構成を維持しながら、人手で設計した非重複分割を60個の重複メルバンドに置き換えた。この1か月の間隔には意味がある。これは先行論文が自ら示した限界を受けて周波数投影を公開改訂したもので、論文と同時に公開された2つ目の公式チェックポイントパッケージではない。

実行可能なコードは論文の外で蓄積していった。lucidrainsのリポジトリは図と数式をPyTorchのモデルクラスに落とし込み、分離器の再現を広く呼びかけた。ステレオ処理、複数出力ステム、Mel-Band版によって構造は再利用可能になったが、コードだけでは社内楽曲、オプティマイザの状態、学習時間、最終的な競技用パラメータを復元できなかった。

次にMusic-Source-Separation-Trainingが、その再利用可能な構造へ共通の作業場を与えた。データセットローダー、データ拡張、学習、検証、チェックポイントからの再開、チャンク推論、オーバーラップ、アンサンブルが揃う。READMEでは、論文からRoFormerモデルを再現したlucidrainsをクレジットし、コミュニティによるモデル提供を受け付けている。一つのアーキテクチャを、ボーカル／インストゥルメンタル分離、4ステム、ドラムのサブステム、その他の専門ターゲットに向けて学習できるようになった。コミュニティの標準となる単一の重みは存在しなかった。

Kimberley Jensenのボーカルモデルは、その過程を具体化した。リポジトリによれば、ZFTurboのコードを使い、より多くのデータで学習され、デフォルトでは8秒のチャンクを用いる。また、推論時間が長くなる代わりに接合部のアーティファクトを抑えるnum_overlapを公開している。データセットの貢献者にもクレジットが記されている。こうした詳細によって、ダウンロード可能なチェックポイントには、アーキテクチャ名だけでは説明できない固有の性格が生まれる。

現在のMVSepページは、最初の高品質な公開重みをKimberley Jensenによるものとし、その後にオープンな重みが改変され、継続学習された経緯を説明している。同じページにはBas Curtiz、unwa、becruily、gaboxなどの版が並び、音の厚み、漏れ、ノイズ、SDRのトレードオフが異なる。これは枝分かれした重みの系譜である。モデルはMel-Band RoFormerを共有していても、データ、目的関数、ファインチューニングの履歴、最終的な音は同じではない。

一つのアーキテクチャ名が、競技システム、論文のアブレーション、ボーカル用チェックポイント、4ステム用チェックポイント、プラットフォームのアンサンブルを指し得るようになった。正確に記述するには、誰がアーキテクチャを提案したか、現在の重みがどこから来たか、どの推論レシピで結果を出すかという3点を明示しなければならない。これらが揃わなければ、「ByteDance公式モデル」や「Mel-Bandの4ステム競技スコア」といった表現は、この歴史の異なる時点に属する別々の成果物をひそかにつなぎ合わせてしまう。

統制比較：MelがすべてのステムでBSを置き換えるわけではない

最も明快な根拠は、MVSepの各ページと無関係なコミュニティチェックポイントを混ぜた比較ではなく、2023年のMel-Band論文による統制比較である。以下の各行はいずれも追加楽曲なしのMUSDB18HQを使用している。同じ深さでは、主な変更点は投影であり、BS-RoFormerのヒューリスティックな非重複バンドを60個の重複メルバンドに置き換えている。

結果は全面的な勝利ではなく、トレードオフとなった。L=6ではvocalsが10.78から11.21 dB、drumsが9.61から9.91 dBへ上昇した一方、bassは11.43から9.64 dBへ低下し、otherも7.86から7.81 dBへわずかに下がった。L=9ではvocalsが0.58 dB、otherが0.13 dB向上し、drumsは0.32 dB低下した。bassは学習の進行が遅すぎたため報告されていない。

論文はbassの結果を周波数マッピングと関連づけている。BS-RoFormerは意図的に低周波へ細かなバンドを割り当てる一方、メル投影はvocalsや一部のbass以外のターゲットにより有効だった。したがって、実用的な工学上の結論はタスクごとに異なる。メル投影はボーカルに強い選択肢だが、心理音響的な動機だけでは4ステムでの優位を証明できない。

SCNetと4ステムの目標

SCNetはスペクトルを、より情報指向の視点から捉える。論文著者にはWeinan Tong、Jiaxu Zhu、Jun Chen、Shiyin Kang、Tao Jiang、Yang Li、Zhiyong Wu、Helen Mengが含まれ、タイトルページの所属にはShenzhen International Graduate School, Tsinghua University、Skywork AI PTE. LTD.、Peng Cheng Lab、The Chinese University of Hong Kongなどが記されている。アーキテクチャ上、SCNetは混合スペクトログラムを明示的にサブバンドへ分割し、スパース圧縮によって各バンドの情報密度の違いを扱う。平たく言えば、ほぼすべての容量をボーカル帯域に注ぎ込むのではなく、実際に有用な楽器信号を含む時間周波数領域へモデルの注意を向ける。

これは4ステムで重要になる。bassは低域に位置するが、重要な倍音も持つ。drumsには極めて短いトランジェントに加え、シンバルやルームサウンドがある。otherにはギター、ピアノ、ストリングス、シンセ、エフェクトが同時に入ることもある。サブバンドモデリングは周波数領域ごとに焦点を絞った処理を施し、スパース圧縮は空白または情報量の少ない領域へ注意が向くのを抑える。

SCNet論文はシステム全体を、オーディオエンコーダ、dual-path RNNに基づく分離ネットワーク、オーディオデコーダとして説明している。エンコーダは混合信号を周波数領域のサブバンド表現へ写像し、分離ネットワークが時間と周波数にまたがる構造をモデル化し、デコーダが対象ステムを再構成する。

Huge-SCNet-4stems V1.2はこの系譜に属する。出力仕様はvocals、drums、bass、otherを均衡よく揃えたファイル一式で、ボーカルだけに最適化するのではなく、その後のリミックスや採譜へ進める。

SCNet論文とHuge-SCNet-4stems V1.2チェックポイントを分けて考えることも重要だ。論文が示すのはスパース圧縮アーキテクチャ、サブバンド設計、MUSDB18-HQでの研究結果であり、ダウンロード可能な成果物はHugging Faceで公開されているチェックポイントhuge_scnet_4stems_v1.2.ckptである。データと公開経緯が異なるため、このコミュニティチェックポイントに論文のMUSDB18-HQにおける9.0 dBという結果を引き継がせることはできない。

コードの境界も分けておく必要がある。論文著者は公式実装リポジトリとしてthuhcsi/SCNetを公開しているが、同リポジトリには学習コードがまだ未完成であると記され、暫定的な学習フレームワークとしてHTDemucs、Music-Source-Separation-Training、SCNet-PyTorchを案内している。したがって、Huge-SCNet-4stems V1.2はSCNetの系譜に属する公開4ステムチェックポイントの選択肢と記すべきで、SCNet論文の公式モデルパッケージと表現すべきではない。

プラットフォームのワークフローとしてのMVSep Ensemble

MVSep Ensemble 2025.06.30は、プラットフォームレベルのマルチモデルワークフローである。公開アルゴリズムページには複数のモデルファミリーが記載されている。ボーカル経路ではUVR-MDX-NET、Demucs、MDX23C、VitLarge23、BS Roformer、Mel Roformer、SCNet XLなどを利用でき、bass、drums、otherでは別のDemucsや関連モデルを呼び出せる。

この種のアンサンブルの強みは専門化にある。ボーカル中心の素材をボーカル専門モデルに、低周波やトランジェント中心の素材をより強い楽器分離器に割り当て、結果を融合する。品質の上限を示す参照にはなるが、一つのチェックポイントではなく、ユーザーが単一ファイルをダウンロードして再現できる独立モデルでもない。

MVSepは2025.06.30版アンサンブルの平均SDRを13.67と掲載している。この数値はホスト型プラットフォームの上限値として有用だが、独立チェックポイントと同じ行に置くべきではない。最終結果を出す前に、ボーカル、楽器、bass、drums、other、追加の楽器別経路を組み合わせられるサーバー側ワークフローを反映した数値だからだ。

したがって、ダウンロード可能な単一の4ステムモデルを論じる際には、プラットフォームのアンサンブルを単一モデルの分類から外す必要がある。そうしなければ、比較対象がモデルアーキテクチャからホスト型ワークフローへすり替わってしまう。

公開4ステムモデルの比較

以下の表は、引用した公開モデルページとベンチマークページの数値を用いている。各スコアは、同じ4ステム目標の中で各モデルの位置を把握する助けになる。すべての楽曲、ジャンル、試聴条件に対する絶対的な判定と読むべきではない。

出典の範囲は意図的に絞っている。Huge-SCNet-4stems V1.2の10.02 dBという行は公開HF / MVSep資料に基づき、SCNet XL IHF、BS Roformer、HTDemucs4は公開ZFTurbo / MVSep Multisongの行を使用している。SCNet論文のMUSDB18-HQ結果、Mel-Bandのボーカルページ、MVSep Ensembleのホスト型ワークフロースコアを混在させた表ではない。

スコアの読み方

SDRが高いほど、通常は参照ステムに対する歪みが少ない。ただし、平均SDRは試聴の代わりにはならず、すべてのステムを一つの答えに平準化することもできない。bassとdrumsに強いモデルもあれば、vocalsをよりクリーンに保つモデルもある。otherは多くの楽器を含むため、特に難しい。

Huge-SCNet-4stems V1.2の価値は、成果物の境界が明確な点にある。一つの公開チェックポイント名、標準的な4ステム出力、追跡可能な公開参照値が揃っている。SCNet XL IHFも重要な比較対象であり、MVSep Ensembleはホスト型の品質上限を示す参照であり続ける。それぞれが答える問いは異なる。

まず出力目標から選ぶべきだ。最もクリーンなボーカルにはボーカル分離を使う。編集可能なvocals、drums、bass、otherが必要なら4ステム分離を使う。ギターとピアノを個別ファイルにする必要がある場合は6ステム分離を使う。

出力の境界：4ステムの均衡と6ステムの細分化

6ステム分離では、otherをさらにギター、ピアノ、残りのotherへ分ける。ギターのストローク、ピアノのアタック、キーボードの質感、高域の倍音に、より敏感な処理が必要になる。そのため、BS Roformer SWの6ステムチェックポイントは、Huge-SCNet-4stems V1.2とは異なる目標と学習仕様を持つ。

これらの説明は別々の層に属する。RoFormerはアーキテクチャのファミリーを、Mel-Bandはボーカル表現の狙いを、SCNetは4ステムの均衡を表し、MVSepのアンサンブルはホストされた複数コンポーネントを組み合わせる。それぞれが、アーキテクチャ、出力目標、公開状況、ワークフロー形態、推論仕様について異なる問いに答えている。

結論：流行語ではなくアーキテクチャを選ぶ

4ステム分離は、伴奏トラックの言い換えでも、最も人気のあるボーカルモデルをあらゆる楽器に当てはめる場でもない。モデルにはvocals、drums、bass、otherの均衡、特にドラムのトランジェント、ベースの低域、楽器の高域倍音、otherにまとめられた複数楽器を扱うことが求められる。

Huge-SCNet-4stems V1.2は、その標準的な4ステム目標の中で明確な位置を占める。Mel-Band RoFormerはボーカル分離を理解するうえで引き続き重要であり、MVSep Ensembleはホスト型の品質参照として有用である。それぞれが研究と実装の歴史における異なる層に属している。