Modelo
HQ-SVC e YingMusic-SVC: desmontando o conteúdo, F0, energia e timbre da conversão de voz cantada
Conversão de voz cantada/comparação de tecnologia
Conversão de voz cantada/comparação de tecnologia
CONVERSÃO DE VOZ CANTADA
A SVC não mistura a referência de destino com a fonte. Ela precisa preservar letra, tempo e melodia da fonte enquanto substitui as estatísticas de timbre. O vazamento de conteúdo se transforma em erros de pronúncia ou interferência de fundo.
A altura pode ser expressa em semitons como p=69+12log₂(f₀/440). O deslocamento automático de extensão ajuda quando há grandes diferenças de registro, mas erros de F0 transformam slides, respiração e harmonia em indicações melódicas incorretas.
O cartão de modelo do HQ-SVC reúne código de inferência, FACodec, RMVPE e recursos de vocoder. O YingMusic-SVC publica um adaptador sensível a F0, correspondência de fluxo com equilíbrio de energia e treinamento para contaminação harmônica de situações reais. Sem um conjunto de teste comum, os materiais públicos não permitem apontar um vencedor entre os projetos.
O vazamento do acompanhamento na fonte ganha outro timbre durante a conversão, enquanto reverberação ou ruído de fundo na amostra de destino podem ser confundidos com identidade. Tanto a fonte de vocal principal quanto a referência de destino devem estar limpas, e o áudio convertido precisa ser claramente identificado como sintético.
A conversão de voz cantada preserva a letra e a melodia de uma interpretação enquanto substitui a representação relacionada ao timbre. O HQ-SVC enfatiza uma cadeia de conversão de alta qualidade; o YingMusic-SVC oferece outro projeto de condicionamento por conteúdo, F0 e cantor. Diferentemente da síntese, a entrada é uma interpretação cantada já existente.
A SVC evoluiu do mapeamento espectral para codificadores de conteúdo, F0 explícito, decodificadores generativos e representações mais fortes de cantor. A separação ainda é incompleta: sotaque, dinâmica e formantes da fonte podem vazar, enquanto o som ambiente da referência de destino pode ser copiado.
ŷ=G(c(x_src),F0(x_src),E(x_src),e(x_ref))c(x_src)conteúdo linguísticoF0,Emelodia e energiae(x_ref)condição do timbre de destinoConteúdo, F0 e energia vêm da interpretação de origem; o timbre de destino vem da referência. Uma separação imperfeita deixa traços da identidade de origem ou transfere a coloração do ambiente.
Uma mixagem completa primeiro precisa de uma faixa limpa de vocal principal. O vazamento da separação recebe outro timbre na conversão e pode se tornar mais difícil de remover, por isso as duas etapas precisam ser avaliadas em conjunto.
Os artigos, o código e os pesos podem ser consultados em HQ-SVC / YingMusic-SVC / artigo do YingMusic-SVC.
Cada linha preserva a arquitetura, a métrica ou a definição da tarefa de sua fonte; resultados sem um protocolo comum permanecem separados.
| Modelo | Arquitetura ou evidência | Escopo |
|---|---|---|
| HQ-SVC | cadeia padrão de alta qualidade | fidelidade, clareza e estabilidade nos agudos |
| YingMusic-SVC | comparação entre conteúdo/F0/timbre | preservação entre cantores e idiomas |
| separação de fontes + SVC | caminho completo para entrada mixada | o vazamento da separação se propaga para a conversão |
Verifique primeiro a letra e o ritmo; depois, os saltos de altura, as sibilantes, a voz soprosa e as quebras nos agudos. A transposição automática muda o esforço vocal e não pode ser resumida pela semelhança média.
Use uma referência de destino seca, solo, sem acompanhamento e com uma extensão útil. Uma amostra curta e reverberante pode transformar a coloração do ambiente em uma aparente identidade.
A conversão não elimina direitos autorais nem direitos do intérprete. A publicação exige autorização tanto para a interpretação de origem quanto para a identidade de destino.
O sistema não garante anonimização; características da fonte podem permanecer, portanto a SVC não é um filtro de privacidade.
Os nomes dos modelos, os números e as limitações têm origem nos artigos, repositórios ou cartões de modelo abaixo.