Separação sonora guiada por texto e referência (AudioSep-Hive)

Q: Com quais tarefas Separação sonora guiada por texto e referência (AudioSep-Hive) pode ajudar?

Separação e stem separação; WAV; Criar remixes, praticar com acompanhamento e editar partes separadas.; Suporta entradas em formatos como mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv; AudioSep-Hive; FlowSep-Hive

Q: Quais modelos e entidades de palavras-chave estão conectados ao Separação sonora guiada por texto e referência (AudioSep-Hive)?

AudioSep-Hive, FlowSep-Hive, CLAPSep, Banquet, Hive source (pinned), AudioSep-Hive weights (pinned), FlowSep-Hive weights (pinned), Hive paper

Modelos, parâmetros e fontes

AudioSep-HiveFlowSep-HiveCLAPSepBanquetHive source (pinned)AudioSep-Hive weights (pinned)FlowSep-Hive weights (pinned)Hive paperCLAPSep source (pinned)Official CLAPSep Space artifacts (pinned)CLAPSep paperBanquet source (pinned)

As notas valem apenas para o conjunto de dados, a métrica e a versão citados. Liderar a tabela não significa recorde mundial atual nem resultado deste serviço. Capacidades e testes podem priorizar modelos sem notas comparáveis.

Gráfico de referência: Separação sonora guiada por texto e referência

A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.

Separação sonora guiada por texto e referência

Hive paper, main test table

Os números vêm da fonte pública indicada. As linhas informam o conjunto de teste ou checkpoint; modelos sem resultado equivalente ficam de fora.

Fontes públicas verificadas: 2026-09-10

Patente	Condição de teste	Modelo	SI-SDR (dB) ↑	Métricas detalhadas
#1	Conjunto de teste Hive	AudioSep-HiveTelkNetHive paper	5.02Melhor	SDR (dB) ↑5.67MelhorLPAPS ↓3.86MelhorFAD ↓0.80MelhorPontuação CLAP de áudio ↑0.65MelhorCLAP-T ↑0.31MelhorMUSHRA ↑68.40MelhorOQ ↑3.34MelhorRec ↑4.81Pre ↑3.40MelhorFai ↑4.39
#2	Conjunto de teste Hive	AudioSep (original)Hive paper	1.58	SDR (dB) ↑2.37LPAPS ↓4.22FAD ↓0.90Pontuação CLAP de áudio ↑0.57CLAP-T ↑0.26MUSHRA ↑60.90OQ ↑2.94Rec ↑4.86MelhorPre ↑2.96Fai ↑4.47Melhor

Separação sonora guiada por texto e referência

Hive paper, main test table

As fontes usam condições de treino ou tarefas diferentes; compare os números apenas dentro do protocolo informado.

Fontes públicas verificadas: 2026-09-10

Condição de teste	Modelo	FAD ↓	Métricas detalhadas
Saída de separação · teste Hive	AudioSep-HiveTelkNetHive paper	0.80	SDR (dB) ↑5.67SI-SDR (dB) ↑5.02LPAPS ↓3.86Pontuação CLAP de áudio ↑0.65CLAP-T ↑0.31MUSHRA ↑68.40OQ ↑3.34Rec ↑4.81Pre ↑3.40Fai ↑4.39
Saída generativa · teste Hive	FlowSep-HiveTelkNetHive paper	0.84	LPAPS ↓4.25Pontuação CLAP de áudio ↑0.61CLAP-T ↑0.19MUSHRA ↑61.80OQ ↑3.05Rec ↑4.18Pre ↑3.35Fai ↑3.70

Separação sonora guiada por texto e referência

CLAPSep paper, Table V

Os números vêm da fonte pública indicada. As linhas informam o conjunto de teste ou checkpoint; modelos sem resultado equivalente ficam de fora.

Fontes públicas verificadas: 2026-09-10

± indica o desvio padrão.

Patente	Condição de teste	Modelo	SDRi (dB) ↑	Métricas detalhadas
#3	2 fontes · 1 alvo	AudioSepCLAPSep paper Table V	8.60 ± 8.86	SI-SDRi (dB) ↑7.38 ± 9.48
#2	2 fontes · 1 alvo	CLAPSep-PTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	10.03 ± 11.27	SI-SDRi (dB) ↑8.70 ± 12.64
#1	2 fontes · 1 alvo	CLAPSep-PNTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	12.67 ± 7.80Melhor	SI-SDRi (dB) ↑11.79 ± 8.23Melhor
#3	3 fontes · 1 alvo	AudioSepCLAPSep paper Table V	4.90 ± 6.13	SI-SDRi (dB) ↑4.20 ± 6.42
#2	3 fontes · 1 alvo	CLAPSep-PTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	6.48 ± 7.82	SI-SDRi (dB) ↑5.73 ± 8.50
#1	3 fontes · 1 alvo	CLAPSep-PNTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	8.96 ± 6.13Melhor	SI-SDRi (dB) ↑8.09 ± 6.17Melhor
#3	3 fontes · 2 alvos	AudioSepCLAPSep paper Table V	5.30 ± 5.38	SI-SDRi (dB) ↑2.96 ± 5.54
#2	3 fontes · 2 alvos	CLAPSep-PTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	6.35 ± 7.36	SI-SDRi (dB) ↑4.88 ± 8.10
#1	3 fontes · 2 alvos	CLAPSep-PNTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	8.90 ± 5.78Melhor	SI-SDRi (dB) ↑7.82 ± 6.32Melhor
#3	4 fontes · 1 alvo	AudioSepCLAPSep paper Table V	3.52 ± 5.21	SI-SDRi (dB) ↑2.81 ± 5.76
#2	4 fontes · 1 alvo	CLAPSep-PTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	5.94 ± 7.58	SI-SDRi (dB) ↑4.85 ± 8.29
#1	4 fontes · 1 alvo	CLAPSep-PNTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	7.73 ± 5.79Melhor	SI-SDRi (dB) ↑6.80 ± 6.00Melhor
#3	4 fontes · 2 alvos	AudioSepCLAPSep paper Table V	2.37 ± 4.26	SI-SDRi (dB) ↑0.65 ± 4.32
#2	4 fontes · 2 alvos	CLAPSep-PTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	2.91 ± 5.54	SI-SDRi (dB) ↑1.37 ± 5.98
#1	4 fontes · 2 alvos	CLAPSep-PNTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	5.20 ± 4.63Melhor	SI-SDRi (dB) ↑4.01 ± 4.95Melhor
#3	4 fontes · 3 alvos	AudioSepCLAPSep paper Table V	4.20 ± 4.51	SI-SDRi (dB) ↑2.03 ± 4.27
#2	4 fontes · 3 alvos	CLAPSep-PTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	5.34 ± 6.70	SI-SDRi (dB) ↑3.79 ± 7.09
#1	4 fontes · 3 alvos	CLAPSep-PNTelkNetModelo correspondente da ferramenta: CLAPSepCLAPSep paper Table V	8.00 ± 4.87Melhor	SI-SDRi (dB) ↑6.73 ± 5.20Melhor

Notas de papel e benchmarks

A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation

ICML - 2026

Paper

CLAPSep: Leveraging Contrastive Pre-trained Model for Multi-Modal Query-Conditioned Target Sound Extraction

IEEE/ACM TASLP - 2024

Paper

A Stem-Agnostic Single-Decoder System for Music Source Separation Beyond Four Stems

ISMIR - 2024

Paper

Oficiais / repositórios

Hive source (pinned)AudioSep-Hive weights (pinned)FlowSep-Hive weights (pinned)CLAPSep source (pinned)Official CLAPSep Space artifacts (pinned)Banquet source (pinned)Official Banquet checkpoint

Artigos / notas técnicas

Hive paper CLAPSep paper Banquet paper

Guia de parâmetros

Descreva o som a extrair; AudioSep-Hive e FlowSep-Hive exigem este campo.
Escolha para o CLAPSep texto positivo, áudio de referência ou ambos.
Descreva o som-alvo que o CLAPSep deve manter.
Opcional: descreva um som que o CLAPSep deve suprimir.
Envie um áudio que represente o som-alvo.
Opcional: envie um áudio do som a suprimir.
Envie a referência do Banquet. O contrato oficial usa um trecho de consulta de 10 segundos.
Etapas de geração do FlowSep-Hive. Padrão oficial: 20; mais etapas demoram mais.
Escala classifier-free guidance do FlowSep-Hive. Padrão oficial: 1,0.
Tamanho do lote das bandas de consulta do Banquet. Padrão oficial de inferência: 12.

Separação sonora guiada por texto e referência

Modelos, parâmetros e fontes

AudioSep-Hive

FlowSep-Hive

CLAPSep

Banquet

Gráfico de referência: Separação sonora guiada por texto e referência

Separação sonora guiada por texto e referência

Separação sonora guiada por texto e referência

Separação sonora guiada por texto e referência

Notas de papel e benchmarks

A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation

CLAPSep: Leveraging Contrastive Pre-trained Model for Multi-Modal Query-Conditioned Target Sound Extraction

A Stem-Agnostic Single-Decoder System for Music Source Separation Beyond Four Stems

Oficiais / repositórios

Artigos / notas técnicas

Guia de parâmetros

Fluxo de trabalho

Antes de enviar

Feedback rápido