Modelo
AudioSep-Hive: Separe sons arbitrários com uma consulta de texto
Separação de som/notas técnicas
Separação de som/notas técnicas
© 2026 TelkNet. Todos os direitos reservados.
SEPARAÇÃO DE SOM / NOTA TÉCNICA
Um separador de stems fixos decide o espaço de respostas antes mesmo da inferência. O AudioSep-Hive primeiro lê uma descrição e a usa para decidir qual componente da mistura é o alvo.
Para x(t)=s(t)+n(t), o codificador de texto produz q=E_text(c). O separador estima M=F(X,q) e reconstrói Ŝ=M⊙X. Uma visão compacta do objetivo:
L = ||ŝ-s||₁ + λ[1-cos(E_audio(ŝ),q)]
O termo semântico faz com que descrições relacionadas ocupem um espaço contínuo de consultas. Isso não elimina a ambiguidade: comandos amplos, alvos fracos e descrições semanticamente sobrepostas continuam sendo casos difíceis.
O caminho de inferência disponibilizado é, sobretudo, mono a 32 kHz. Ele serve bem para extração consultada por linguagem e para pesquisa em domínio aberto, mas não substitui stems de produção em estéreo a 44.1 kHz. Mudar a descrição muda o vetor de condição e pode deslocar a fronteira do alvo.
O AudioSep apresentou, em 2023, a separação em domínio aberto por meio de consultas em linguagem natural. O Hive dá continuidade a essa linha com construção de dados semanticamente consistente e treinamento eficiente em dados. O artigo, o repositório do Hive e o cartão do modelo documentam, respectivamente, o método, a implementação do conjunto de dados e os pesos publicados.
Os separadores de música tradicionais definem vocais, bateria e baixo antes do treinamento. O AudioSep conectou representações texto-áudio do CLAP a um separador, permitindo alvos como uma sirene, um saxofone tenor ou uma voz feminina. O Hive segue essa linha com uma cobertura áudio-texto maior e fracamente rotulada para categorias abertas.
Vocabulário aberto não significa 283 checkpoints independentes. As classes de treinamento oferecem cobertura acústica e linguística; o que muda na inferência é o vetor de texto. Passar de 'dog' para 'small dog barking behind music' desloca a condição, mas a linguagem não cria uma fronteira de fonte separável que não exista na mistura.
ŝ_q=iSTFT(Mθ(X,e_q)⊙X)XSTFT da misturae_qembedding da consulta de textoMθmáscara condicionada pela consultaA consulta q é embutida em um espaço compartilhado de áudio e linguagem como e_q, que condiciona um estimador de máscara. Os 283 rótulos descrevem a cobertura de treinamento; não são 283 stems de saída fixos em uma única tarefa.
Um mesmo som admite muitas formulações, e negações ou relações podem mudar o resultado. Mantenha o áudio fixo, parafraseie a consulta e então examine a retenção do alvo, o vazamento e a consistência da mistura.
O artigo, o código e os pesos podem ser acompanhados pelos links Hive source / AudioSep-Hive weights / AudioSep paper.
A comparação trata de contratos de entrada e de validação, não de pontuações de tarefas incompatíveis.
| Rota | Consulta | Verificação principal de aceitação |
|---|---|---|
| AudioSep-Hive | alvo em linguagem natural | a saída corresponde ao som solicitado |
| stems musicais fixos | classes predefinidas | vazamento entre canais e preservação do estéreo |
| detecção de eventos sonoros | classe mais intervalo de tempo | localiza eventos, mas não devolve uma forma de onda limpa |
Um substantivo amplo obriga o modelo a transigir entre candidatos; uma descrição longa demais pode perder modificadores raros. Comece pela fonte audível e depois acrescente localização, registro ou ação, em vez de uma narrativa abstrata da cena.
O caminho de categorias abertas é, em essência, inferência de pesquisa em mono a 32 kHz, útil para recuperação, limpeza e descoberta. Stems musicais fixos em estéreo a 44.1 kHz continuam sendo uma tarefa de produção distinta.
Fontes altamente correlacionadas, alvos fracos e reverberação forte não ganham uma máscara única só porque suas semânticas diferem. O áudio de cenas vizinhas pode vazar para o resultado.
A consulta em linguagem é, ela mesma, uma variável experimental. As comparações devem manter a mistura e o modelo fixos, auditando a retenção do alvo, o vazamento de não alvos e a consistência da mistura após a recombinação.
Nomes de modelos, números e limitações remetem aos artigos, repositórios ou cartões de modelo abaixo.