Input-Adaptive Spectral Feature Compression by Sequence Modeling for Source Separation
arXiv - 2026
Extraiga diálogos claros del audio de cine y televisión y divida el fondo en pistas independientes de música y efectos de sonido.
Cargando...
Separa audio audiovisual en diálogo, música y efectos para doblaje y mezcla de posproducción.
Entrada
Soporta entradas en formatos como mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Formatos soportados
Producción
WAV
Caso de uso
Separa audio audiovisual en diálogo, música y efectos para doblaje y mezcla de posproducción.
Elige un modelo según tu material y objetivo y revisa los ejemplos antes de enviar.
Coste, tiempo, formatos y parámetros dependen del modelo elegido.
Indica la herramienta, los pasos y el problema en tus comentarios. Las capturas de pantalla ayudan a localizarlo.
Modelo tiempo-frecuencia para tres pistas cinematográficas; TIGER DnR es distinto del TIGER de dos hablantes.
Exporta diálogo, música y efectos en tres pistas para doblaje, montaje y remezcla.
Red por bandas para diálogo, música y efectos; compara filtraciones y detalles del fondo.
Separa el audio de películas y vídeos en diálogo, música y efectos de sonido. La salida es mono a 44.1 kHz; la entrada estéreo se mezcla primero a mono.
arXiv - 2026
Extraiga diálogos claros del audio de cine y televisión y divida el fondo en pistas independientes de música y efectos de sonido.
IEEE OJSP - 2024
Extraiga diálogos claros del audio de cine y televisión y divida el fondo en pistas independientes de música y efectos de sonido.
arXiv - 2024
Extraiga diálogos claros del audio de cine y televisión y divida el fondo en pistas independientes de música y efectos de sonido.
arXiv - 2026
Separa el audio de películas y vídeos en diálogo, música y efectos de sonido. La salida es mono a 44.1 kHz; la entrada estéreo se mezcla primero a mono.
CVPR - 2026
Usa las condiciones visuales y de audio de AV-CASS para separar diálogo, efectos y música de un vídeo; también permite comparar con condicionamiento solo de audio.
3 categorías de salida
Solo se muestran registros con implementación pública de inferencia y pesos correspondientes verificados, además de algoritmos que no necesitan pesos. Se excluyen servicios cerrados, pesos no publicados y versiones experimentales sin correspondencia comprobada. No es una clasificación de todos los modelos.
Cada conjunto de pesos aparece una sola vez por prueba, con su mejor resultado publicado para la métrica seleccionada. La puntuación global procede de una única evaluación. Despliega para comparar evaluaciones y ajustes.
Publicar los pesos no demuestra que exista una licencia de código abierto completa. Despliega los datos para consultar las licencias declaradas y las condiciones de acceso. Las licencias no declaradas se indican por separado.
Las marcas identifican modelos o componentes usados aquí. Las puntuaciones y los ajustes proceden de las pruebas citadas, no de una nueva evaluación de todo el proceso del sitio.
El modelo seleccionado no tiene un resultado público correspondiente verificado y no se le ha asignado una posición.
Elige un conjunto de datos para ver todas las métricas de cada modelo. Las filas siguen la clasificación oficial o la métrica seleccionada. La negrita indica el mejor valor comparable de cada columna, incluidos los empates. Los protocolos de evaluación diferentes se clasifican por separado; las puntuaciones ausentes se muestran como -.
| Clasificación por métrica | Modelo | Música↑SDR (dB) ↑ | Efectos↑SDR (dB) ↑ | Diálogo↑SDR (dB) ↑ |
|---|---|---|---|---|
| 1 | bandit_v2_multi.ckptPesos públicos · Código de inferencia | 9.0271 | 10.7765 | 12.2494 |
| 2 | bandit_63_zfturbo.ckptPesos públicos · Código de inferencia | 8.2894 | 9.7179 | 11.1476 |
| 3 | bandit_57_zfturbo.ckptPesos públicos · Código de inferencia | 8.0260 | 9.2388 | 10.8392 |
| 4 | bandit_30_zfturbo.ckptPesos públicos · Código de inferencia | 8.2824 | 9.4532 | 10.7387 |
| 5 | bandit_plus.ckptPesos públicos · Código de inferencia | 6.8979 | 8.9382 | 9.8945 |
| 6 | demucs4_cdx_zfturbo_1.ckptPesos públicos · Código de inferenciaPesos públicosCódigo de inferencia htdemucs/demucs4_cdx_zfturbo_1.ckptLicencia de los pesos no declarada | 6.5774 | 8.9141 | 9.3908 |
| 7 | demucs4_cdx_zfturbo_3.ckptPesos públicos · Código de inferenciaPesos públicosCódigo de inferencia htdemucs/demucs4_cdx_zfturbo_3.ckptLicencia de los pesos no declarada | 6.4663 | 8.8205 | 9.3759 |
| 8 | demucs4_cdx_zfturbo_2.ckptPesos públicos · Código de inferenciaPesos públicosCódigo de inferencia htdemucs/demucs4_cdx_zfturbo_2.ckptLicencia de los pesos no declarada | 6.4385 | 8.7004 | 9.2300 |
| 9 | bandit_last.ckptPesos públicos · Código de inferencia | 6.4951 | 8.6135 | 8.2862 |
Se separan conjuntos, versiones y condiciones, incluidas fuentes sin filas aptas para el ranking.
Entradas desplegables 9 / filas originales 21 · Revisado: 2026-10-25
No se ha verificado un paquete completo de inferencia pública para estos experimentos. Otros pesos con el mismo nombre no son equivalentes.
PT2 · MVSep Ensemble (SCNet + Mel) (2024.11) · MVSep SCNet DnR (2024.11) · MVSep MelBand Roformer DnR (v1, 2024.11) · Bandit v2 (multi) · test_scheme2 · test_scheme1 · test1012 · test_4stems_dnr_0908 · Bandit Plus (no resample) · Bandit Plus (with resample) · test_scheme3
Entradas desplegables 2 / filas originales 10
No se ha verificado un paquete completo de inferencia pública para estos experimentos. Otros pesos con el mismo nombre no son equivalentes.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Entradas desplegables 2 / filas originales 2
Las puntuaciones corresponden al conjunto de datos, métrica y versión indicados; no son comparables entre pruebas distintas.
La tabla solo incluye modelos con pesos o configuraciones públicas que pueden ejecutarse localmente.
Elige un conjunto de datos para ver todas las métricas de cada modelo. Las filas siguen la clasificación oficial o la métrica seleccionada. La negrita indica el mejor valor comparable de cada columna, incluidos los empates. Los protocolos de evaluación diferentes se clasifican por separado; las puntuaciones ausentes se muestran como -.
Entradas desplegables 2 / filas originales 10
No se ha verificado un paquete completo de inferencia pública para estos experimentos. Otros pesos con el mismo nombre no son equivalentes.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Los valores proceden de la fuente pública enlazada. Las etiquetas de las filas indican el conjunto de prueba o el checkpoint; las puntuaciones no publicadas se muestran como -.
| Clasificación por métrica | Modelo | Condición de prueba | Params. | Speech | Music | Sfx | Average | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | ||||
| 1 | SFC-Locoformer (Medium) | D3 · SFC-CA (64) | 16.0 M | 16.38 | 16.32 | 9.70 | 9.28 | 10.56 | 9.88 | 12.21 | 11.83 |
| 2 | BandIt †Pesos públicos · Código de inferencia | Band-split (64) | 37.0 M | 15.7 | 15.6 | 8.7 | 8.0 | 9.8 | 8.2 | 11.4 | 10.9 |
Elige un conjunto de datos para ver todas las métricas de cada modelo. Las filas siguen la clasificación oficial o la métrica seleccionada. La negrita indica el mejor valor comparable de cada columna, incluidos los empates. Los protocolos de evaluación diferentes se clasifican por separado; las puntuaciones ausentes se muestran como -.
SI-SDR publicado por los autores sobre 973 pistas completas de prueba de DnR v2. Cada modelo usa su ventana y salto oficiales; la media incluye música, diálogo y efectos. No son mediciones de TelkNet ni se combinan con otros conjuntos de datos o condiciones de entrenamiento.
| Clasificación por métrica | Modelo | Condición de prueba | SI-SDR medio (dB) ↑ | MX SI-SDR (dB) ↑ | DX SI-SDR (dB) ↑ | FX SI-SDR (dB) ↑ | Parámetros (M) |
|---|---|---|---|---|---|---|---|
| 1 | DBS-TIGER (128)Pesos públicos · Código de inferencia | DnR v2 · 973 · 6 s / 3 s | 10.13 | 7.78 | 15.9 | 6.7 | 1 |
| 2 | DBS-BSRNN (128)Pesos públicos · Código de inferencia | DnR v2 · 973 · 3 s / 1.5 s | 9.07 | 6.48 | 15.01 | 5.73 | 4.7 |