SFC-Locoformer: 11.8 dB DnR の適応スペクトル圧縮と対話境界

論文精読 / 映画音響の分離

DnR は番組のミックスを対話、音楽、効果音に分離する。これらの音源は時間と周波数の両方で重なり合うため、この問題は音声区間の検出へと還元できない。SFC-Locoformer、BandIt、TIGER-DnR は同じ課題に、それぞれ異なる圧縮方式、系列コスト、公開された証拠で取り組んでいる。

スペクトル圧縮

STFT は複素スペクトル X(t,f) を生成する。隣接するすべてのビンに同じチャネル予算を与えると、相関の高い特徴に計算資源を費やすことになる。SFC はコンパクトなスペクトル軸への射影を学習する。

Z(t,k)=Σ_f C(k,f)·[Re X(t,f), Im X(t,f)]

デコーダはクロスアテンションを使い、圧縮された表現を目的の周波数ビンへ戻す。これは高域のカットではない。子音の立ち上がり、持続する倍音、広帯域の効果音は、分離器から引き続き利用できる。

局所コンテキストと長距離コンテキスト

局所ブロックは衝撃音、破裂音、ドラムのアタックをモデル化し、ウィンドウをまたぐ通信が音楽のベッド、セリフ、環境音を運ぶ。単一の密なアテンション場では、メモリは時間長に応じて急増する。Locoformer は局所的な混合と経済的な長距離交換を組み合わせ、公開されている medium チェックポイントを実用的な規模に保っている。

11.8 dB を正しく読む

Table II は、同一の DnR テストプロトコルのもとで SFC-Locoformer medium が 11.8 dB、BandIt が 10.9 dB と報告している。スケール不変の目的関数は次の通りだ。

SI-SDR=10 log10(||s_target||² / ||e_noise||²)

この値が支持するのは同一プロトコル内での順位付けであり、MUSDB、別版の DnR、恣意的に選んだクリップとの比較ではない。0.9 dB のリードがあっても、あらゆる映画の抜粋で勝つことは保証されない。摩擦音、環境音の広がり、効果音の立ち上がりは、依然としてブラインド試聴を要する。

公開されたコードと重み

著者らは SFC-CA、SFC-Mamba、BandIt の各エンコーダ、TF-Locoformer 分離器、そして MUSDB18-HQ と DnR の事前学習済み重みを公開している。したがって、論文のアーキテクチャ、リポジトリの実装、モデルカードのファイルは相互に照合できる。それでも 11.8 dB は、あくまで Table II の DnR v2 プロトコルにのみ属する値だ。