Mel-Band RoFormer for Music Source Separation
arXiv / ISMIR late-breaking demo - 2023
Mel-RoFormer 以重疊的 mel-band 子帶取代了啟發式非重疊帶,並報告在 MUSDB18HQ 上的人聲、鼓和其他主幹方面比 BS-RoFormer 具有更好的分離度。
想先拿到更乾淨人聲,再做練習、配唱或二次創作的使用者
人聲與伴奏分軌,可繼續練唱、取樣、轉寫或接入翻唱鏈路
輸入
完整歌曲、翻唱素材或帶伴奏的人聲檔;先做 RoFormer stem 分離
音訊格式
輸出
人聲與伴奏分軌,可繼續練唱、取樣、轉寫或接入翻唱鏈路
最適合
想先拿到更乾淨人聲,再做練習、配唱或二次創作的使用者
人聲/伴奏分離現在是固定的 RoFormer 分離器鏈。它不呼叫 YourMT3,輸出帶和聲的人聲、不帶和聲的伴奏、原始人聲和帶和聲的伴奏。
主要人聲/伴奏分離階段。TelkNet 使用針對人聲和 RVC 輸入優化的 audio-separator RoFormer ensemble,而不是轉錄模型。
第二遍主唱/後唱分離。它僅在提取的聲幹上運行,因此可以保留和聲作為和聲感知的伴奏。
UVR/MVSep 風格分離器 checkpoint 的執行時間封裝。它提供該工具使用的模型載入、WAV stem 導出和 FFmpeg 音訊格式處理。
arXiv / ISMIR late-breaking demo - 2023
Mel-RoFormer 以重疊的 mel-band 子帶取代了啟發式非重疊帶,並報告在 MUSDB18HQ 上的人聲、鼓和其他主幹方面比 BS-RoFormer 具有更好的分離度。
SDX23 music separation track - 2023
BS-RoFormer 使用分割頻譜圖功能加上 RoPE Transformer; SDX23系統在音樂來源分離音軌中排名第一,較小的版本在MUSDB18HQ上報告了9.80 dB平均SDR。
TISMIR - 2024
SDX23 音樂解混論文記錄了強大的 MSS 基準測試、聽力測試,最佳系統在 MDXDB21 上比之前的挑戰提高了 1.6 dB SDR 以上。