Iterative Audio Separation with Mixture Consistency via MIMO Model Extension
arXiv - 2026
README Sony a revisione fissa: MUSDB18-HQ, mediana delle mediane museval. Confrontare solo entro questo protocollo, separatamente da MVSEP e altri articoli.
Caricamento...
Separa voce principale, armonie e accompagnamento o estrai voce asciutta per cover e karaoke.
Input
Supporta ingressi in formati come mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Formati supportati
Produzione
2 × WAV
Caso d'uso
Sony MIMO BS-RoFormer separa voce e accompagnamento in tre iterazioni, con modelli Large e Small. Nei mix complessi possono restare contaminazioni; manca un confronto equivalente con Leap del sito.
Scegli un modello adatto al materiale e allo scopo, poi consulta gli esempi prima di inviare.
Costo, tempo, formati e parametri dipendono dal modello scelto.
Nel feedback indica lo strumento, i passaggi e il problema. Gli screenshot possono aiutare a individuarlo.
Sony MIMO BS-RoFormer separa voce e accompagnamento, con versioni Large e Small. Nei mix complessi possono restare contaminazioni tra le tracce.
Wrapper runtime per separatori in stile UVR/MVSep checkpoints. Fornisce il caricamento dei modelli, l'esportazione WAV stem e la gestione del formato audio supportato da FFmpeg utilizzati da questo strumento.
Separazione delle armonie: MVSep 9205 fornisce la parte lead/accompagnamento con armonia, BS-RoFormer Leap XE 90 fornisce vocals armonia, e BS-RoFormer Leap Instrumental band fornisce il riferimento all'accompagnamento.
Estrazione della voce dry: Leap XE 90 bands fornisce la voce principale, BS-RoFormer Leap Instrumental il riferimento di accompagnamento, MVSep 9205 BS-Kar AVG rimuove le armonie di sottofondo e il modello dereverb anvuew BS-RoFormer elimina il riverbero.
MelBand Aspiration separa respiri e soffi dal resto, con modelli standard e meno aggressivo. Può estrarre anche consonanti fricative: usare voci isolate e controllare l'articolazione.
MelBand Aspiration separa respiri e soffi dal resto, con modelli standard e meno aggressivo. Può estrarre anche consonanti fricative: usare voci isolate e controllare l'articolazione.
arXiv - 2026
README Sony a revisione fissa: MUSDB18-HQ, mediana delle mediane museval. Confrontare solo entro questo protocollo, separatamente da MVSEP e altri articoli.
SDX23 music separation track - 2023
BS-RoFormer utilizza caratteristiche dello spettrogramma a banda divisa più trasformatori RoPE; il sistema SDX23 si è classificato primo nella traccia di separazione della sorgente musicale e una versione più piccola ha riportato una media di 9,80 dB SDR su MUSDB18HQ.
TISMIR - 2024
La carta per il demix musicale SDX23 documenta benchmark MSS robusti, test di ascolto e il fatto che il miglior sistema migliorato rispetto alla sfida precedente di oltre 1,6 dB SDR su MDXDB21.
arXiv / ISMIR late-breaking demo - 2023
Mel-RoFormer sostituisce le bande euristiche non sovrapposte con sottobande mel-band sovrapposte e riporta una separazione migliore rispetto a BS-RoFormer per vocals, drums e altri stems su MUSDB18HQ.
2 categorie di uscita
Sono mostrati solo risultati con implementazione pubblica di inferenza e pesi corrispondenti verificati, oltre agli algoritmi che non richiedono pesi. Sono esclusi servizi chiusi, pesi non pubblicati e versioni sperimentali non identificate. Non è una classifica di tutti i modelli.
Ogni insieme di pesi compare una sola volta per prova, con il miglior risultato pubblicato per la metrica selezionata. Il punteggio complessivo proviene da una sola valutazione. Espandi per confrontare valutazioni e impostazioni.
I pesi pubblici non dimostrano l’esistenza di una licenza open source completa. Espandi i dati per consultare le licenze dichiarate e le condizioni di accesso. Le licenze non dichiarate sono indicate separatamente.
Le etichette indicano modelli o componenti usati qui. Punteggi e impostazioni provengono dai test citati, non da una nuova valutazione dell’intero processo del sito.
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 4 / righe originali 4
README Sony a revisione fissa: MUSDB18-HQ, mediana delle mediane museval. Confrontare solo entro questo protocollo, separatamente da MVSEP e altri articoli.
| Classifica per metrica | Modello | Condizione di test | Params | Input length | Batch Size | Training Steps | museval SDR · (Vocals / Accomp) | Download |
|---|---|---|---|---|---|---|---|---|
| - | Sony BS-RoFormer Small baselinePesi pubblici · Codice di inferenza | Small | 12.1 M | 4 sec | 96 | 1,000,000 | 9.64 / 16.80 | Download |
| - | Sony MIMO BS-RoFormer SmallPesi pubblici · Codice di inferenza | Small | 16.3 M | 4 sec | 96 | 1,000,000 | 10.17 / 17.64 | Download |
| - | Sony BS-RoFormer Large baselinePesi pubblici · Codice di inferenza | Large | 72.2 M | 8 sec | 96 | 1,000,000 | 11.40 / 18.48 | Download |
| - | Sony MIMO BS-RoFormer LargeModello usato quiPesi pubblici · Codice di inferenza | Large | 71.4 M | 8 sec | 96 | 1,000,000 | 11.62 / 19.04 | Download |
Le etichette indicano modelli o componenti usati qui. Punteggi e impostazioni provengono dai test citati, non da una nuova valutazione dell’intero processo del sito.
Dataset, versioni e condizioni restano separati, anche per fonti senza righe ammesse in classifica.
Voci distribuibili 4 / righe originali 4
I punteggi si riferiscono al dataset, alla metrica e alla versione indicati; test diversi non sono direttamente confrontabili.
La tabella include solo modelli con pesi o configurazioni pubbliche eseguibili in locale.
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 4 / righe originali 4
README Sony a revisione fissa: MUSDB18-HQ, mediana delle mediane museval. Confrontare solo entro questo protocollo, separatamente da MVSEP e altri articoli.
| Classifica per metrica | Modello | Condizione di test | Params | Input length | Batch Size | Training Steps | museval SDR · (Vocals / Accomp) | Download |
|---|---|---|---|---|---|---|---|---|
| - | Sony BS-RoFormer Small baselinePesi pubblici · Codice di inferenza | Small | 12.1 M | 4 sec | 96 | 1,000,000 | 9.64 / 16.80 | Download |
| - | Sony MIMO BS-RoFormer SmallPesi pubblici · Codice di inferenza | Small | 16.3 M | 4 sec | 96 | 1,000,000 | 10.17 / 17.64 | Download |
| - | Sony BS-RoFormer Large baselinePesi pubblici · Codice di inferenza | Large | 72.2 M | 8 sec | 96 | 1,000,000 | 11.40 / 18.48 | Download |
| - | Sony MIMO BS-RoFormer LargePesi pubblici · Codice di inferenza | Large | 71.4 M | 8 sec | 96 | 1,000,000 | 11.62 / 19.04 | Download |