Cargando...

Conversión de voz RVC y versiones de canciones con IA · TelkNet

Voz y cantoGPU carga de trabajoAI-RVC v1.6.0 · Registro de cambios RVC · Código AI-RVC · Código RVC v2 · Artículo RMVPE · Código RMVPE · Artículo MelBandRoformers · Pesos bs-roformer-karaoke · Pesos karaoke_bs_roformer · Pesos MVSep 9205 BS-Kar AVG (lead/back vocals) · Artículo BS-Roformer-Leap · Pesos python-audio-separator · Código demucs · Código Leap XE / Leap Instrumental / Karaoke separation · Artículo Leap XE / Leap Instrumental / Karaoke separation · Artículo

Voces de versiones de AI

30 créditos/usoEntrada de archivo de audioMáximo 2048 MBSe estima 180-900 segundos

Entrada

Limpia vocals, material de recubrimiento o vocal stems separados a través de una cadena de conversión RVC v2

Formatos de audio

mp3wavflacoggm4aaac

Producción

vocals convertido, referencias originales de vocal y audio descargable para demos y pruebas de escucha

Caso de uso

Conversión de color de voz, demos de portadas y experimentos con voces de personajes

Comentarios rápidos

Indica la herramienta, los pasos y el problema en tus comentarios. Las capturas de pantalla ayudan a localizarlo.

Modelos, parámetros y fuentes

El pipeline de covers de IA combina separación, conversión de voz con RVC y mezcla. Las entradas principales son un archivo vocal y un modelo de voz objetivo.

RVC v2RMVPEMVSep 9205 BS-Kar AVG (lead/back vocals)BS-RoFormer Leap XE 90 bands (vocals pre-separation)BS-RoFormer Leap Instrumental (accompaniment pre-separation)Leap XE / Leap Instrumental / Karaoke separationDemucs / UVR5 fallbackRMVPE Interspeech Table 1 — MIR-1KRMVPEPolyCREPEHARMOF0JDC

RVC v2

RVC v2 convierte el timbre de entrada vocal el timbre en el modelo de voz de personaje seleccionado.

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

Separación estándar de vocal/acompañamiento. BS-RoFormer bandas Leap XE 90 emiten la vocal stem, y las bandas BS-RoFormer Leap Instrumental la stem de acompañamiento.
Modelo de voz: selecciona los pesos de los caracteres objetivo y el índice de recuperación.

RMVPE

AI-RVC v1.6.0 utiliza RMVPE de forma predeterminada para extraer el tono de la voz.

RVC Project Dream-High/RMVPE RMVPE

Función de la altura: rastrea la fuente vocal F0 antes de la conversión, así que el timbre objetivo sigue la melodía.
Este modo utiliza RMVPE para extraer el tono.
Evidencia pública: el artículo RMVPE Interspeech informa de los mejores RPA/RCA/OA en múltiples conjuntos de datos de altura polifónica vocal altura.

MVSep 9205 BS-Kar AVG (lead/back vocals)

Separación de armonías: MVSep 9205 proporciona la parte principal/acompañamiento con armonía, BS-RoFormer las bandas Leap XE 90 aportan vocals armonía, y las bandas BS-RoFormer Leap Instrumental proporcionan la referencia de acompañamiento.

MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer Mel-Band RoFormer

Activos MVSep 9205 checkpoints: BS-Kar-Gabox_IS, BS-Kar-Frazer y Becruily y BS-Kar-Anvuew con avg_wave conjunto.
MVSep 9205 salidas: vocals_without_harmony más acompañamiento+instrumental de la mezcla completa original.

Leap XE / Leap Instrumental / Karaoke separation

La pipeline de cobertura de IA separa vocals/acompañamiento antes de la conversión y la mezcla.

pcunwa Leap XE weights MVSep 10178 Leap XE Leap Instrumental configuration Leap Instrumental checkpoint python-audio-separator facebookresearch/demucs MVSep algorithms BS-RoFormer HT Demucs

Separador principal: Leap XE 90 prepara vocals y Leap Instrumental público 62 prepara el acompañamiento antes de RVC.
Camino de armonía: MVSep 9205 lead/back pueden exportar vocal stems de lead y backing antes de RVC mezcla.
Separador: usa RoFormer, UVR5 o Demucs antes de la conversión.

Comparación de modelos

Modelo

Función

Por qué se utiliza

Impacto en la salida

ModeloRVC v2

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

FunciónNúcleo de conversión de voz

Por qué se utilizaRVC v2 suministra el timbre objetivo seleccionado y la conversión asistida por índice.

Impacto en la salidaConvertida vocals

ModeloRMVPE

RVC Project Dream-High/RMVPE RMVPE

FunciónExtracción de podo

Por qué se utilizaFunción de la altura: rastrea la fuente vocal F0 antes de la conversión, así que el timbre objetivo sigue la melodía.

Impacto en la salidaMelodía/Contorno F0

ModeloBS-RoFormer Leap XE 90 bands (vocals pre-separation)

pcunwa Leap XE weights MVSep 10178 Leap XE BS-RoFormer

FunciónPreparación vocal

Por qué se utilizaSeparación estándar de vocal/acompañamiento. BS-RoFormer bandas Leap XE 90 emiten la vocal stem, y las bandas BS-RoFormer Leap Instrumental la stem de acompañamiento.

Impacto en la salidaVoces y acompañamiento stems

ModeloBS-RoFormer Leap Instrumental (accompaniment pre-separation)

Leap Instrumental configuration Leap Instrumental checkpoint BS-RoFormer

FunciónPreparación vocal

Por qué se utilizaSeparación estándar de vocal/acompañamiento. BS-RoFormer bandas Leap XE 90 emiten la vocal stem, y las bandas BS-RoFormer Leap Instrumental la stem de acompañamiento.

Impacto en la salidaVoces y acompañamiento stems

ModeloDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

FunciónSeparador de compatibilidad

Por qué se utilizaLos demucs/UVR5 siguen siendo útiles cuando una fuente específica se comporta mejor fuera de RoFormer.

Impacto en la salidaAlternativa stems

Todas las fuentes de evaluación (1)

Se separan conjuntos, versiones y condiciones, incluidas fuentes sin filas aptas para el ranking.

RMVPE · Table 1 ↗
Entradas desplegables 0 / filas originales 6
Sin clasificar: 6
No se ha verificado un paquete completo de inferencia pública para estos experimentos. Otros pesos con el mismo nombre no son equivalentes.
PYIN [6] · CREPE [7] · HARMOF0 [9] · CRN-Raw [13] · JDC [14] · RMVPEPoly

Notas en papel y benchmarks

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT proporciona representaciones de voz auto-supervisadas utilizadas por las canaletas de conversión de voz de estilo RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE es un estimador robusto de vocal de tono de Interspeech 2023 diseñado para música polifónica y utilizado para la extracción de F0 con prioridad de calidad.

ISCA PDF Dream-High/RMVPE

RVC Project

Official repository - current

El proyecto RVC es la fuente técnica oficial para el flujo de trabajo de conversión de voz basado en recuperación VITS/HuBERT.

RVC WebUI AI-RVC workflow AI-RVC v1.6.0

Guía de parámetros

Modelo de voz: selecciona los pesos de los caracteres objetivo y el índice de recuperación.
Desplazamiento de tono: ajusta la fuente en semitonos para ajustarse al rango objetivo.
Índice de ratio: controla cuánto afecta el índice de recuperación al color de la voz.
Modo Oficial · Usa la separación UVR5 y la conversión de voz de RVC/Applio, sin eliminación de reverberación ni posprocesado adicionales.
Controles de mezcla: ajustar vocals, acompañamiento, reverberación y mezcla de vocal original.

Casos de uso

Builds cover demos y pruebas de voz entre personajes y voces
Valida la dirección de una voz antes de una producción más profunda
Feed vocals separados en un flujo de trabajo posterior de canto

Flujo de trabajo

1Prefiero subir material ya separado vocal
2Entrega la tarea de conversión con la dirección de voz objetivo
3Escucha el resultado antes de decidir si quieres seguir mezclando o puliendo

Qué revisar

Cuanto más limpia sea la vocal, más estable será el resultado de conversión
Separar vocals primero suele superar a que el audio mezclado se RVC
Revisa consonantes, notas sostenidas y agudas: claridad, saltos de tono y nivel de la voz al mezclarla con el acompañamiento.

Guías de uso relacionadas

Encuentra métodos y pasos adecuados para tu material.

Conversión de voz con RVC · herramienta online y guía del modelo Crear versiones con IA · herramienta online y guía del modelo Clonación de voz ZONOS2 TTS · herramienta online y guía del modelo