Input-Adaptive Spectral Feature Compression by Sequence Modeling for Source Separation
arXiv - 2026
映画やテレビの音声から明瞭なセリフを抽出し、背景音を音楽と効果音の2つのトラックに分離します。
読み込み中...
映像の音声を台詞、音楽、効果音に分け、吹き替えやミックスに使えます。
入力
mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkvなどのフォーマットでの入力をサポートしています。
対応フォーマット
出力
WAV
ユースケース
映像の音声を台詞、音楽、効果音に分け、吹き替えやミックスに使えます。
素材と用途に合ったモデルを選び、例を確認してから送信してください。
料金、時間、形式、パラメータは選択したモデルによって異なります。
フィードバックにはツール名、操作手順、発生した問題を記載してください。スクリーンショットも確認に役立ちます。
時周波数モデルで映像音声を3分離。2話者用TIGERとは別のTIGER DnRです。
台詞、音楽、効果音の3ステムを出力。吹替、動画編集、背景のリミックス向けです。
帯域分割ネットワークで台詞・音楽・効果音を分離。台詞の混入と背景の細部を比較できます。
映画や動画の音声を、せりふ・音楽・効果音に分離します。 出力は 44.1 kHz のモノラルです。ステレオ入力は先にモノラルに合成されます。
arXiv - 2026
映画やテレビの音声から明瞭なセリフを抽出し、背景音を音楽と効果音の2つのトラックに分離します。
IEEE OJSP - 2024
映画やテレビの音声から明瞭なセリフを抽出し、背景音を音楽と効果音の2つのトラックに分離します。
arXiv - 2024
映画やテレビの音声から明瞭なセリフを抽出し、背景音を音楽と効果音の2つのトラックに分離します。
arXiv - 2026
映画や動画の音声を、せりふ・音楽・効果音に分離します。 出力は 44.1 kHz のモノラルです。ステレオ入力は先にモノラルに合成されます。
CVPR - 2026
AV-CASS の映像・音声条件を使って動画から音声、効果音、音楽を分離します。音声のみの条件でも直接比較できます。
出力項目：3
公開された推論実装と対応する重みを確認できた記録、および重みを必要としないアルゴリズムのみを表示します。非公開サービス、未公開の重み、実験版との対応が未確認の記録は除外しています。全モデルの総合順位ではありません。
同じ評価条件のランキングでは、同一の重みを1つにまとめ、選択した指標の公開評価で最も高い成績を表示します。総合スコアは1回の評価から算出します。展開すると各評価と設定を確認できます。
重みの公開だけでは完全なオープンソースライセンスは確認できません。データを展開すると、宣言された重みのライセンスとアクセス条件を確認できます。未記載のライセンスは別途表示します。
印は当サイトで使用するモデルや構成モデルを示します。スコアと設定は引用元の公開評価に基づき、サイトの処理全体を再評価した結果ではありません。
選択中のモデルには対応する検証済みの公開成績がないため、順位を付けていません。
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
| 指標別順位 | モデル | 音楽↑SDR (dB) ↑ | 効果音↑SDR (dB) ↑ | 台詞↑SDR (dB) ↑ |
|---|---|---|---|---|
| 1 | bandit_v2_multi.ckpt | 9.0271 | 10.7765 | 12.2494 |
| 2 | bandit_63_zfturbo.ckpt | 8.2894 | 9.7179 | 11.1476 |
| 3 | bandit_57_zfturbo.ckpt | 8.0260 | 9.2388 | 10.8392 |
| 4 | bandit_30_zfturbo.ckpt | 8.2824 | 9.4532 | 10.7387 |
| 5 | bandit_plus.ckpt | 6.8979 | 8.9382 | 9.8945 |
| 6 | demucs4_cdx_zfturbo_1.ckpt | 6.5774 | 8.9141 | 9.3908 |
| 7 | demucs4_cdx_zfturbo_3.ckpt | 6.4663 | 8.8205 | 9.3759 |
| 8 | demucs4_cdx_zfturbo_2.ckpt | 6.4385 | 8.7004 | 9.2300 |
| 9 | bandit_last.ckpt | 6.4951 | 8.6135 | 8.2862 |
データセット・バージョン・条件を分け、掲載可能な行がない評価も出典を残します。
展開可能 9 / 原表 21 · 確認日：2026-10-25
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
PT2 · MVSep Ensemble (SCNet + Mel) (2024.11) · MVSep SCNet DnR (2024.11) · MVSep MelBand Roformer DnR (v1, 2024.11) · Bandit v2 (multi) · test_scheme2 · test_scheme1 · test1012 · test_4stems_dnr_0908 · Bandit Plus (no resample) · Bandit Plus (with resample) · test_scheme3
展開可能 2 / 原表 10
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
展開可能 2 / 原表 2
スコアは記載のデータセット、指標、モデル版に対する結果です。異なるテストの数値は直接比較できません。
表には、公開ウェイトまたは設定があり、ローカルで実行できるモデルだけを掲載しています。
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
展開可能 2 / 原表 10
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
数値はリンク先の公開資料に基づきます。行ラベルはテストセットやチェックポイントを示し、未報告のスコアは - で表示します。
| 指標別順位 | モデル | 評価条件 | Params. | Speech | Music | Sfx | Average | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | ||||
| 1 | SFC-Locoformer (Medium) | D3 · SFC-CA (64) | 16.0 M | 16.38 | 16.32 | 9.70 | 9.28 | 10.56 | 9.88 | 12.21 | 11.83 |
| 2 | BandIt †公開の重み · 推論コード | Band-split (64) | 37.0 M | 15.7 | 15.6 | 8.7 | 8.0 | 9.8 | 8.2 | 11.4 | 10.9 |
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
著者が DnR v2 のテスト音源 973 本を全長で評価した SI-SDR です。各モデルの公式ウィンドウ長とホップ長を使用し、平均は音楽・台詞・効果音を対象とします。TelkNet の実測値ではなく、異なるデータセットや学習条件のスコアとは統合しません。
| 指標別順位 | モデル | 評価条件 | 平均 SI-SDR (dB) ↑ | MX SI-SDR (dB) ↑ | DX SI-SDR (dB) ↑ | FX SI-SDR (dB) ↑ | パラメータ数 (M) |
|---|---|---|---|---|---|---|---|
| 1 | DBS-TIGER (128)公開の重み · 推論コード | DnR v2 · 973 · 6 s / 3 s | 10.13 | 7.78 | 15.9 | 6.7 | 1 |
| 2 | DBS-BSRNN (128)公開の重み · 推論コード | DnR v2 · 973 · 3 s / 1.5 s | 9.07 | 6.48 | 15.01 | 5.73 | 4.7 |