Caricamento...

Conversione vocale RVC e cover musicali con IA · TelkNet

Voce e cantoGPU carico di lavoroAI-RVC v1.6.0 · Registro delle modifiche RVC · Codice sorgente AI-RVC · Codice sorgente RVC v2 · Articolo RMVPE · Codice sorgente RMVPE · Articolo MelBandRoformers · Pesi bs-roformer-karaoke · Pesi karaoke_bs_roformer · Pesi MVSep 9205 BS-Kar AVG (lead/back vocals) · Articolo BS-Roformer-Leap · Pesi python-audio-separator · Codice sorgente demucs · Codice sorgente Leap XE / Leap Instrumental / Karaoke separation · Articolo Leap XE / Leap Instrumental / Karaoke separation · Articolo

Cover vocali AI

30 crediti/utilizzoInput audioMassimo 2048 MBStima 180-900 secondi

Input

Pulire vocals, rivestire materiale o vocal stems separate tramite una catena di conversione RVC v2

Formati audio

mp3wavflacoggm4aaac

Produzione

vocals convertiti, riferimenti vocal originali e audio scaricabile per demo e test d'ascolto

Caso d'uso

Conversione del colore delle voci, demo di cover ed esperimenti sulle voci dei personaggi

Feedback rapido

Nel feedback indica lo strumento, i passaggi e il problema. Gli screenshot possono aiutare a individuarlo.

Modelli, parametri e fonti

La pipeline di cover AI combina separazione, conversione vocale RVC e mixdown. Gli input principali sono un file vocal e un modello vocale target.

RVC v2RMVPEMVSep 9205 BS-Kar AVG (lead/back vocals)BS-RoFormer Leap XE 90 bands (vocals pre-separation)BS-RoFormer Leap Instrumental (accompaniment pre-separation)Leap XE / Leap Instrumental / Karaoke separationDemucs / UVR5 fallbackRMVPE Interspeech Table 1 — MIR-1KRMVPEPolyCREPEHARMOF0JDC

RVC v2

RVC v2 converte il timbro vocal l'ingresso nel modello vocale del personaggio selezionato.

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

Separazione standard vocal/accompagnamento. BS-RoFormer Leap XE 90 banda emette in uscita il vocal stem, mentre BS-RoFormer Leap Instrumental bande produce l'accompagnamento stem.
Modello vocale: seleziona i pesi dei caratteri di destinazione e l'indice di recupero.

RMVPE

AI-RVC v1.6.0 usa RMVPE per impostazione predefinita per rilevare l’altezza della voce.

RVC Project Dream-High/RMVPE RMVPE

Ruolo dell'intonazione: traccia la sorgente vocal F0 prima della conversione, così il timbro target segue la melodia.
Questa modalità usa RMVPE per estrarre l’intonazione.
Prove pubbliche: l'articolo RMVPE Interspeech riporta i migliori RPA/RCA/OA su molteplici dataset polifonici vocal di intonazione.

MVSep 9205 BS-Kar AVG (lead/back vocals)

Separazione delle armonie: MVSep 9205 fornisce la parte lead/accompagnamento con armonia, BS-RoFormer Leap XE 90 fornisce vocals armonia, e BS-RoFormer Leap Instrumental band fornisce il riferimento all'accompagnamento.

MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer Mel-Band RoFormer

MVSep 9205 checkpoints attive: BS-Kar-Gabox_IS, BS-Kar-Frazer & Becruily e BS-Kar-Anvuew con avg_wave ensemble.
MVSep 9205 uscite: vocals_without_harmony più supporto+strumentale dal mix completo originale.

Leap XE / Leap Instrumental / Karaoke separation

La pipeline di copertura AI separa vocals/accompagnamento prima della conversione e del mixdown.

pcunwa Leap XE weights MVSep 10178 Leap XE Leap Instrumental configuration Leap Instrumental checkpoint python-audio-separator facebookresearch/demucs MVSep algorithms BS-RoFormer HT Demucs

Separatore primario: Leap XE 90 prepara vocals e Leap Instrumental pubblico 62 prepara l'accompagnamento prima di RVC.
Percorso armonioso: MVSep 9205 lead/back può esportare vocal stems lead e backing prima di RVC il mixaggio.
Separatore: usa RoFormer, UVR5 o Demuc prima della conversione.

Confronto modelli

Modello

Ruolo

Perché viene usato

Impatto sulla produzione

ModelloRVC v2

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

RuoloNucleo di conversione vocale

Perché viene usatoRVC v2 fornisce il timbro selezionato del bersaglio e la conversione assistita dall'indice.

Impatto sulla produzioneConvertito vocals

ModelloRMVPE

RVC Project Dream-High/RMVPE RMVPE

RuoloEstrazione del becco

Perché viene usatoRuolo dell'intonazione: traccia la sorgente vocal F0 prima della conversione, così il timbro target segue la melodia.

Impatto sulla produzioneContorno Melodia/F0

ModelloBS-RoFormer Leap XE 90 bands (vocals pre-separation)

pcunwa Leap XE weights MVSep 10178 Leap XE BS-RoFormer

RuoloPreparazione vocale

Perché viene usatoSeparazione standard vocal/accompagnamento. BS-RoFormer Leap XE 90 banda emette in uscita il vocal stem, mentre BS-RoFormer Leap Instrumental bande produce l'accompagnamento stem.

Impatto sulla produzioneVoce e accompagnamento stems

ModelloBS-RoFormer Leap Instrumental (accompaniment pre-separation)

Leap Instrumental configuration Leap Instrumental checkpoint BS-RoFormer

RuoloPreparazione vocale

Perché viene usatoSeparazione standard vocal/accompagnamento. BS-RoFormer Leap XE 90 banda emette in uscita il vocal stem, mentre BS-RoFormer Leap Instrumental bande produce l'accompagnamento stem.

Impatto sulla produzioneVoce e accompagnamento stems

ModelloDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

RuoloSeparatore di compatibilità

Perché viene usatoDemuc/UVR5 rimangono utili quando una specifica sorgente si comporta meglio fuori dal RoFormer.

Impatto sulla produzioneAlternativa stems

Tutte le fonti di valutazione (1)

Dataset, versioni e condizioni restano separati, anche per fonti senza righe ammesse in classifica.

RMVPE · Table 1 ↗
Voci distribuibili 0 / righe originali 6
Non classificati: 6
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
PYIN [6] · CREPE [7] · HARMOF0 [9] · CRN-Raw [13] · JDC [14] · RMVPEPoly

Note di carta e benchmark

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT fornisce rappresentazioni vocali auto-supervisionate utilizzate dalle pipeline di conversione vocale in stile RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE è un robusto stimatizzatore di vocal di altezza Interspeech 2023, progettato per musica polifonica e utilizzato per l'estrazione F0 con priorità di qualità.

ISCA PDF Dream-High/RMVPE

RVC Project

Official repository - current

Il progetto RVC è la fonte tecnica ufficiale per il flusso di lavoro di conversione vocale basato sul recupero VITS/HuBERT.

RVC WebUI AI-RVC workflow AI-RVC v1.6.0

Guida ai parametri

Modello vocale: seleziona i pesi dei caratteri di destinazione e l'indice di recupero.
Spostamento di intonazione: regola la sorgente per semitoni per adattarla alla gamma target.
Rapporto indice: controlla quanto l'indice di recupero influisce sul colore della voce.
Modalità ufficiale · Usa separazione UVR5 e conversione vocale RVC/Applio, senza ulteriore rimozione del riverbero o post-elaborazione.
Controlli del mix: regolare vocals, accompagnamento, riverbero e blend originale-vocal.

Casi d'uso

Crea demo di cover e prove vocali tra personaggi
Valida la direzione della voce prima di una produzione più approfondita
Feed separate vocals in un flusso di lavoro di canto a valle

Flusso di lavoro

1Preferisco caricare materiale già separato vocal
2Invia il compito di conversione con la direzione vocale target
3Ascolta il risultato prima di decidere se aggiungere ulteriormente il mixaggio o la lucidatura

Cosa controllare

Più pulito è il vocal, più stabile sarà il risultato della conversione
Separare vocals prima di solito batte l'audio mixato direttamente nel RVC
Controlla consonanti, note lunghe e acute: chiarezza della pronuncia, salti d'intonazione e livello della voce insieme all'accompagnamento.

Guide d'uso correlate

Trova metodi e passaggi adatti al tuo materiale.

Conversione vocale RVC · tool online e guida al modello Creare cover con IA · tool online e guida al modello Clonazione vocale ZONOS2 TTS · tool online e guida al modello