Modelo
HQ-SVC y YingMusic-SVC: desmantelamiento del contenido, F0, energía y timbre de la conversión de voz cantada
Conversión de voz cantada / Comparación de tecnología
Conversión de voz cantada / Comparación de tecnología
CONVERSIÓN DE VOZ CANTADA
SVC no mezcla la referencia de destino con la fuente. Debe conservar la letra, la sincronía y la melodía de origen mientras sustituye las estadísticas de timbre. La filtración de contenido se convierte en errores de pronunciación o en contaminación de fondo.
La altura puede expresarse en semitonos como p=69+12log₂(f₀/440). El desplazamiento automático de tesitura ayuda cuando hay grandes diferencias de registro, pero los errores de F0 convierten deslizamientos, respiraciones y armonías en indicios melódicos equivocados.
La ficha de modelo de HQ-SVC reúne el código de inferencia, FACodec, RMVPE y los recursos del vocoder. YingMusic-SVC publica un adaptador sensible a F0, correspondencia de flujo con energía equilibrada y entrenamiento para la contaminación armónica de grabaciones reales. Sin un conjunto de prueba compartido, los materiales públicos no permiten declarar un único ganador entre proyectos.
La filtración del acompañamiento en la fuente se vuelve a colorear durante la conversión, mientras que la reverberación o el sonido de fondo de la indicación de destino pueden confundirse con la identidad. Tanto la voz principal de origen como la referencia de destino deben estar limpias, y el audio convertido debe identificarse claramente como sintético.
La conversión de voz cantada conserva la letra y la melodía de una interpretación mientras sustituye la representación relacionada con el timbre. HQ-SVC destaca una cadena de conversión de alta calidad; YingMusic-SVC ofrece otro diseño de condicionamiento de contenido, F0 y hablante. A diferencia de la síntesis, la entrada es una interpretación cantada existente.
SVC evolucionó del mapeo espectral a los codificadores de contenido, el F0 explícito, los decodificadores generativos y las representaciones de hablante más robustas. La separación sigue siendo incompleta: pueden filtrarse el acento, la dinámica y los formantes de origen, y copiarse el sonido de sala de la referencia de destino.
ŷ=G(c(x_src),F0(x_src),E(x_src),e(x_ref))c(x_src)contenido lingüísticoF0,Emelodía y energíae(x_ref)condición de timbre de destinoEl contenido, F0 y la energía proceden de la interpretación de origen; el timbre de destino procede de la referencia. Una separación imperfecta deja parte de la identidad de origen o transfiere la coloración de la sala.
Una mezcla completa necesita primero un stem limpio de la voz principal. La filtración de la separación se vuelve a colorear durante la conversión y puede ser más difícil de eliminar, por lo que ambas etapas deben auditarse juntas.
El artículo, el código y los pesos pueden consultarse en HQ-SVC / YingMusic-SVC / artículo de YingMusic-SVC.
Cada fila conserva la arquitectura, la métrica o la definición de tarea de su fuente; los resultados sin un protocolo común se mantienen separados.
| Modelo | Arquitectura o evidencia | Ámbito |
|---|---|---|
| HQ-SVC | cadena predeterminada de alta calidad | fidelidad, claridad y estabilidad en registros agudos |
| YingMusic-SVC | comparación de contenido/F0/timbre | conservación entre cantantes y lenguas |
| separación de fuentes + SVC | ruta completa para una entrada mezclada | la filtración de la separación se propaga a la conversión |
Primero hay que verificar la letra y el ritmo; después, los saltos de altura, las sibilantes, el aire de la voz y las roturas en el registro agudo. La transposición automática cambia el esfuerzo vocal y no puede resumirse mediante la similitud media.
La referencia de destino debe ser seca, solista, sin acompañamiento y cubrir una tesitura útil. Una muestra breve con reverberación puede convertir la coloración de la sala en una aparente identidad.
La conversión no elimina los derechos de autor ni los derechos de los intérpretes. La publicación exige autorización tanto para la interpretación de origen como para la identidad de destino.
El sistema no garantiza el anonimato; pueden quedar rasgos de la fuente, por lo que SVC no es un filtro de privacidad.
Los nombres de los modelos, las cifras y las limitaciones se remontan a los artículos, repositorios o fichas de modelo que figuran a continuación.