Separación de sonido guiada por texto y referencia (AudioSep-Hive)

Q: ¿En qué tareas Separación de sonido guiada por texto y referencia (AudioSep-Hive) puede ayudar?

Separación y stem separación; WAV; Remezclar, practicar con acompañamiento y editar partes por separado.; Soporta entradas en formatos como mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv; AudioSep-Hive; FlowSep-Hive

Q: ¿Qué entidades de modelo y palabras clave están conectadas con Separación de sonido guiada por texto y referencia (AudioSep-Hive)?

AudioSep-Hive, FlowSep-Hive, CLAPSep, Banquet, Hive source (pinned), AudioSep-Hive weights (pinned), FlowSep-Hive weights (pinned), Hive paper

Modelos, parámetros y fuentes

AudioSep-HiveFlowSep-HiveCLAPSepBanquetHive source (pinned)AudioSep-Hive weights (pinned)FlowSep-Hive weights (pinned)Hive paperCLAPSep source (pinned)Official CLAPSep Space artifacts (pinned)CLAPSep paperBanquet source (pinned)

Las puntuaciones solo corresponden al conjunto de datos, métrica y versión citados. Liderar esta tabla no significa un récord mundial actual ni un resultado de este servicio. Las capacidades y pruebas pueden priorizar modelos sin puntuaciones comparables.

Gráfico de referencia: Separación de sonido guiada por texto y referencia

La tabla solo incluye modelos con pesos o configuraciones públicas que pueden ejecutarse localmente.

Separación de sonido guiada por texto y referencia

Hive paper, main test table

Las cifras proceden de la fuente pública enlazada. Cada fila indica el conjunto o checkpoint; se omiten los modelos sin un resultado equivalente.

Fuentes públicas verificadas: 2026-09-10

Rango	Condición de prueba	Modelo	SI-SDR (dB) ↑	Métricas detalladas
#1	Conjunto de prueba Hive	AudioSep-HiveTelkNetHive paper	5.02Mejor	SDR (dB) ↑5.67MejorLPAPS ↓3.86MejorFAD ↓0.80MejorCLAP-Audio ↑0.65MejorCLAP-T ↑0.31MejorMUSHRA ↑68.40MejorOQ ↑3.34MejorRec ↑4.81Pre ↑3.40MejorFai ↑4.39
#2	Conjunto de prueba Hive	AudioSep (original)Hive paper	1.58	SDR (dB) ↑2.37LPAPS ↓4.22FAD ↓0.90CLAP-Audio ↑0.57CLAP-T ↑0.26MUSHRA ↑60.90OQ ↑2.94Rec ↑4.86MejorPre ↑2.96Fai ↑4.47Mejor

Separación de sonido guiada por texto y referencia

Hive paper, main test table

Las fuentes usan condiciones de entrenamiento o tareas distintas; compara las cifras solo dentro del protocolo indicado.

Fuentes públicas verificadas: 2026-09-10

Condición de prueba	Modelo	FAD ↓	Métricas detalladas
Salida de separación · prueba Hive	AudioSep-HiveTelkNetHive paper	0.80	SDR (dB) ↑5.67SI-SDR (dB) ↑5.02LPAPS ↓3.86CLAP-Audio ↑0.65CLAP-T ↑0.31MUSHRA ↑68.40OQ ↑3.34Rec ↑4.81Pre ↑3.40Fai ↑4.39
Salida generativa · prueba Hive	FlowSep-HiveTelkNetHive paper	0.84	LPAPS ↓4.25CLAP-Audio ↑0.61CLAP-T ↑0.19MUSHRA ↑61.80OQ ↑3.05Rec ↑4.18Pre ↑3.35Fai ↑3.70

Separación de sonido guiada por texto y referencia

CLAPSep paper, Table V

Las cifras proceden de la fuente pública enlazada. Cada fila indica el conjunto o checkpoint; se omiten los modelos sin un resultado equivalente.

Fuentes públicas verificadas: 2026-09-10

± indica la desviación estándar.

Rango	Condición de prueba	Modelo	SDRi (dB) ↑	Métricas detalladas
#3	2 fuentes · 1 objetivo	AudioSepCLAPSep paper Table V	8.60 ± 8.86	SI-SDRi (dB) ↑7.38 ± 9.48
#2	2 fuentes · 1 objetivo	CLAPSep-PTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	10.03 ± 11.27	SI-SDRi (dB) ↑8.70 ± 12.64
#1	2 fuentes · 1 objetivo	CLAPSep-PNTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	12.67 ± 7.80Mejor	SI-SDRi (dB) ↑11.79 ± 8.23Mejor
#3	3 fuentes · 1 objetivo	AudioSepCLAPSep paper Table V	4.90 ± 6.13	SI-SDRi (dB) ↑4.20 ± 6.42
#2	3 fuentes · 1 objetivo	CLAPSep-PTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	6.48 ± 7.82	SI-SDRi (dB) ↑5.73 ± 8.50
#1	3 fuentes · 1 objetivo	CLAPSep-PNTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	8.96 ± 6.13Mejor	SI-SDRi (dB) ↑8.09 ± 6.17Mejor
#3	3 fuentes · 2 objetivos	AudioSepCLAPSep paper Table V	5.30 ± 5.38	SI-SDRi (dB) ↑2.96 ± 5.54
#2	3 fuentes · 2 objetivos	CLAPSep-PTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	6.35 ± 7.36	SI-SDRi (dB) ↑4.88 ± 8.10
#1	3 fuentes · 2 objetivos	CLAPSep-PNTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	8.90 ± 5.78Mejor	SI-SDRi (dB) ↑7.82 ± 6.32Mejor
#3	4 fuentes · 1 objetivo	AudioSepCLAPSep paper Table V	3.52 ± 5.21	SI-SDRi (dB) ↑2.81 ± 5.76
#2	4 fuentes · 1 objetivo	CLAPSep-PTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	5.94 ± 7.58	SI-SDRi (dB) ↑4.85 ± 8.29
#1	4 fuentes · 1 objetivo	CLAPSep-PNTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	7.73 ± 5.79Mejor	SI-SDRi (dB) ↑6.80 ± 6.00Mejor
#3	4 fuentes · 2 objetivos	AudioSepCLAPSep paper Table V	2.37 ± 4.26	SI-SDRi (dB) ↑0.65 ± 4.32
#2	4 fuentes · 2 objetivos	CLAPSep-PTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	2.91 ± 5.54	SI-SDRi (dB) ↑1.37 ± 5.98
#1	4 fuentes · 2 objetivos	CLAPSep-PNTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	5.20 ± 4.63Mejor	SI-SDRi (dB) ↑4.01 ± 4.95Mejor
#3	4 fuentes · 3 objetivos	AudioSepCLAPSep paper Table V	4.20 ± 4.51	SI-SDRi (dB) ↑2.03 ± 4.27
#2	4 fuentes · 3 objetivos	CLAPSep-PTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	5.34 ± 6.70	SI-SDRi (dB) ↑3.79 ± 7.09
#1	4 fuentes · 3 objetivos	CLAPSep-PNTelkNetModelo correspondiente de la herramienta: CLAPSepCLAPSep paper Table V	8.00 ± 4.87Mejor	SI-SDRi (dB) ↑6.73 ± 5.20Mejor

Notas en papel y benchmarks

A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation

ICML - 2026

Paper

CLAPSep: Leveraging Contrastive Pre-trained Model for Multi-Modal Query-Conditioned Target Sound Extraction

IEEE/ACM TASLP - 2024

Paper

A Stem-Agnostic Single-Decoder System for Music Source Separation Beyond Four Stems

ISMIR - 2024

Paper

Oficiales / repositorios

Hive source (pinned)AudioSep-Hive weights (pinned)FlowSep-Hive weights (pinned)CLAPSep source (pinned)Official CLAPSep Space artifacts (pinned)Banquet source (pinned)Official Banquet checkpoint

Artículos / notas técnicas

Hive paper CLAPSep paper Banquet paper

Guía de parámetros

Describe con lenguaje natural el sonido que se debe extraer; AudioSep-Hive y FlowSep-Hive lo requieren.
Elige para CLAPSep texto positivo, audio de referencia o ambos.
Describe el sonido objetivo que CLAPSep debe conservar.
Opcional: describe un sonido que CLAPSep debe suprimir.
Sube un audio que ejemplifique el sonido objetivo.
Opcional: sube un audio del sonido que se debe suprimir.
Sube el audio de referencia de Banquet. El contrato oficial usa un fragmento de consulta de 10 segundos.
Pasos de generación de FlowSep-Hive. El valor oficial es 20; más pasos tardan más.
Escala classifier-free guidance de FlowSep-Hive. El valor oficial es 1,0.
Tamaño de lote de bandas de consulta de Banquet. El valor oficial de inferencia es 12.

Separación de sonido guiada por texto y referencia

Modelos, parámetros y fuentes

AudioSep-Hive

FlowSep-Hive

CLAPSep

Banquet

Gráfico de referencia: Separación de sonido guiada por texto y referencia

Separación de sonido guiada por texto y referencia

Separación de sonido guiada por texto y referencia

Separación de sonido guiada por texto y referencia

Notas en papel y benchmarks

A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation

CLAPSep: Leveraging Contrastive Pre-trained Model for Multi-Modal Query-Conditioned Target Sound Extraction

A Stem-Agnostic Single-Decoder System for Music Source Separation Beyond Four Stems

Oficiales / repositorios

Artículos / notas técnicas

Guía de parámetros

Flujo de trabajo

Antes de enviar

Comentarios rápidos