Carregando...

Conversão de voz RVC e covers de músicas com IA · TelkNet

Voz e cantoGPU carga de trabalhoAI-RVC v1.6.0 · Registro de alterações RVC · Código-fonte AI-RVC · Código-fonte RVC v2 · Artigo RMVPE · Código-fonte RMVPE · Artigo MelBandRoformers · Pesos bs-roformer-karaoke · Pesos karaoke_bs_roformer · Pesos MVSep 9205 BS-Kar AVG (lead/back vocals) · Artigo BS-Roformer-Leap · Pesos python-audio-separator · Código-fonte demucs · Código-fonte Leap XE / Leap Instrumental / Karaoke separation · Artigo Leap XE / Leap Instrumental / Karaoke separation · Artigo

Vocais de Cover de AI

30 créditos/usoEntrada de arquivo de áudioMáximo 2048 MBEstimado em 180-900 segundos

Entrada

Limpeza vocals, material de cobertura ou vocal stems separados por meio de uma cadeia de conversão RVC v2

Formatos de áudio

mp3wavflacoggm4aaac

Produção

vocals convertido, referências originais de vocal e áudio para download para demos e testes de escuta

Caso de uso

Conversão de voz-cor, demos de covers e experimentos de vozes de personagens

Feedback rápido

No feedback, informe a ferramenta, os passos e o problema encontrado. Capturas de tela ajudam a localizá-lo.

Modelos, parâmetros e fontes

O pipeline de covers de IA combina separação, RVC conversão de voz e mixdown. As entradas principais são um arquivo vocal e um modelo de voz alvo.

RVC v2RMVPEMVSep 9205 BS-Kar AVG (lead/back vocals)BS-RoFormer Leap XE 90 bands (vocals pre-separation)BS-RoFormer Leap Instrumental (accompaniment pre-separation)Leap XE / Leap Instrumental / Karaoke separationDemucs / UVR5 fallbackRMVPE Interspeech Table 1 — MIR-1KRMVPEPolyCREPEHARMOF0JDC

RVC v2

RVC v2 converte o timbre vocal entrada no modelo de voz do personagem selecionado.

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

Separação padrão de vocal/acompanhamento. BS-RoFormer faixas Leap XE 90 produzem a vocal stem, e as bandas BS-RoFormer Leap Instrumental geram o acompanhamento stem.
Modelo de voz: seleciona os pesos dos caracteres alvo e o índice de recuperação.

RMVPE

O AI-RVC v1.6.0 usa o RMVPE por padrão para extrair a altura da voz.

RVC Project Dream-High/RMVPE RMVPE

Função de afinação: acompanha a fonte vocal F0 antes da conversão para que o timbre alvo siga a melodia.
Este modo usa RMVPE para extrair a altura das notas.
Evidência pública: o artigo RMVPE Interspeech relata os melhores RPA/RCA/OA em múltiplos conjuntos de dados de altura polifônica vocal.

MVSep 9205 BS-Kar AVG (lead/back vocals)

Separação de harmonia: MVSep 9205 fornece a parte principal/acompanhamento com harmonia, BS-RoFormer as bandas Leap XE 90 fornecem vocals com harmonia, e as bandas BS-RoFormer Leap Instrumental fornecem a referência de acompanhamento.

MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer Mel-Band RoFormer

MVSep 9205 checkpoints ativo: BS-Kar-Gabox_IS, BS-Kar-Frazer & Becruily e BS-Kar-Anvuew com avg_wave conjunto.
MVSep 9205 saídas: vocals_without_harmony mais acompanhamento+instrumental da mixagem completa original.

Leap XE / Leap Instrumental / Karaoke separation

O pipeline de cobertura da IA separa vocals/acompanhamento antes da conversão e mixagem.

pcunwa Leap XE weights MVSep 10178 Leap XE Leap Instrumental configuration Leap Instrumental checkpoint python-audio-separator facebookresearch/demucs MVSep algorithms BS-RoFormer HT Demucs

Separador primário: Leap XE 90 prepara vocals e Leap Instrumental público 62 prepara o acompanhamento antes da RVC.
Caminho de harmonia: MVSep 9205 lead/back pode exportar vocal stems de lead e backing antes de RVC mixagem.
Separador: usa RoFormer, UVR5 ou Demucs antes da conversão.

Comparação de modelos

Modelo

Função

Por que ele é usado

Impacto na saída

ModeloRVC v2

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

FunçãoNúcleo de conversão de voz

Por que ele é usadoRVC v2 fornece o timbre alvo selecionado e a conversão assistida por índice.

Impacto na saídaConvertida vocals

ModeloRMVPE

RVC Project Dream-High/RMVPE RMVPE

FunçãoExtração de pitch

Por que ele é usadoFunção de afinação: acompanha a fonte vocal F0 antes da conversão para que o timbre alvo siga a melodia.

Impacto na saídaContorno de Melodia/F0

ModeloBS-RoFormer Leap XE 90 bands (vocals pre-separation)

pcunwa Leap XE weights MVSep 10178 Leap XE BS-RoFormer

FunçãoPreparação vocal

Por que ele é usadoSeparação padrão de vocal/acompanhamento. BS-RoFormer faixas Leap XE 90 produzem a vocal stem, e as bandas BS-RoFormer Leap Instrumental geram o acompanhamento stem.

Impacto na saídaVocais e acompanhamento stems

ModeloBS-RoFormer Leap Instrumental (accompaniment pre-separation)

Leap Instrumental configuration Leap Instrumental checkpoint BS-RoFormer

FunçãoPreparação vocal

Por que ele é usadoSeparação padrão de vocal/acompanhamento. BS-RoFormer faixas Leap XE 90 produzem a vocal stem, e as bandas BS-RoFormer Leap Instrumental geram o acompanhamento stem.

Impacto na saídaVocais e acompanhamento stems

ModeloDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

FunçãoSeparador de compatibilidade

Por que ele é usadoDemucs/UVR5 continuam úteis quando uma fonte específica se comporta melhor fora de RoFormer.

Impacto na saídaAlternativa stems

Todas as fontes de avaliação (1)

Conjuntos, versões e condições ficam separados, inclusive fontes sem linhas elegíveis.

RMVPE · Table 1 ↗
Entradas implantáveis 0 / linhas originais 6
Fora do ranking: 6
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
PYIN [6] · CREPE [7] · HARMOF0 [9] · CRN-Raw [13] · JDC [14] · RMVPEPoly

Notas de papel e benchmarks

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

O HuBERT fornece representações de fala auto-supervisionadas usadas por pipelines de conversão de voz no estilo RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

O RMVPE é um estimador robusto de vocal de altura Interspeech 2023, projetado para música polifônica e usado para extração F0 com qualidade em primeiro lugar.

ISCA PDF Dream-High/RMVPE

RVC Project

Official repository - current

O projeto RVC é a fonte técnica oficial para o fluxo de trabalho de conversão de voz baseado em recuperação VITS/HuBERT.

RVC WebUI AI-RVC workflow AI-RVC v1.6.0

Guia de parâmetros

Modelo de voz: seleciona os pesos dos caracteres alvo e o índice de recuperação.
Pitch shift: ajusta a fonte em semitons para corresponder à faixa alvo.
Índice de índice: controla o quanto o índice de recuperação afeta a cor da voz.
Modo Oficial · Usa a separação UVR5 e a conversão de voz do RVC/Applio, sem remoção de reverberação ou pós-processamento adicionais.
Controles de mixagem: ajuste vocals, acompanhamento, reverberação e mistura de vocal original.

Casos de uso

Builds cover demos e desafios de voz de personagem
Valide a direção da voz antes de uma produção mais profunda
Feed separava vocals em um fluxo de trabalho de canto a jusante

Fluxo de trabalho

1Prefiro enviar material já separado vocal
2Envie a tarefa de conversão com a direção de voz alvo
3Ouça o resultado antes de decidir sobre mais mixagem ou polimento

O que conferir

Quanto mais limpo o vocal, mais estável será o resultado da conversão
Separar vocals primeiro geralmente é melhor que alimentar áudio mixado diretamente para RVC
Confira consoantes, notas longas e agudas: clareza da pronúncia, saltos de afinação e volume da voz junto ao acompanhamento.

Guias de uso relacionados

Encontre métodos e etapas adequados ao seu material.

Conversão de voz com RVC · ferramenta online e guia do modelo Criar covers com IA · ferramenta online e guia do modelo Clonagem de voz ZONOS2 TTS · ferramenta online e guia do modelo