AudioSep-Hive：用一句文字查詢分離任意聲音

聲音分離 / 技術筆記

固定 stem 的分離器在推論之前就先決定了答案空間。AudioSep-Hive 先讀一段描述，再依此判斷混音中哪個成分才是目標。

以查詢為條件的目標函數

對 x(t)=s(t)+n(t) 而言，文字編碼器產生 q=E_text(c)。分離器估計 M=F(X,q)，再重建 Ŝ=M⊙X。目標函數可簡潔表示為：

L = ||ŝ-s||₁ + λ[1-cos(E_audio(ŝ),q)]

語意項讓相關描述佔據連續的查詢空間。它並未消除歧義：寬泛的提示、微弱的目標與語意重疊的描述，仍是困難的案例。

輸出的適用範圍

釋出的推論路徑以 32 kHz 單聲道為主，適合以語言查詢的擷取與開放領域研究，但無法取代 44.1 kHz 立體聲的製作用 stem。改動描述就會改動條件向量，目標邊界也可能隨之移動。

從 AudioSep 到 Hive

AudioSep 在 2023 年以自然語言查詢實現開放領域分離。Hive 延續這條路線，採用語意一致的資料建構與資料效率更高的訓練。論文、Hive 儲存庫與模型卡分別記載方法、資料集實作與釋出的權重。