AI Cover vocale · TelkNet

Voce e coriCarico di lavoro GPU

AI Cover vocale

Utenti che effettuano esperimenti sul colore della voce, demo di cover o prove vocali dei personaggi

Voci convertite, riferimenti vocali originali e audio scaricabile per demo e test di ascolto

Crediti/utilizzo 5Ingresso file audioMassimo 100 MBSecondi 180-900 stimati

Ingresso

Voci pulite, materiale di copertina o radici vocali separate attraverso una catena di conversione RVC v2

Formati audio

mp3wavflacoggm4aaac

Uscita

Voci convertite, riferimenti vocali originali e audio scaricabile per demo e test di ascolto

Meglio per

Utenti che effettuano esperimenti sul colore della voce, demo di cover o prove vocali dei personaggi

Modelli, parametri e fonti

La pipeline di copertura AI combina separazione, conversione vocale RVC e mixdown. Gli input principali sono un file vocale e un modello vocale di destinazione.

RVC v2

RVC v2 converte il timbro vocale in ingresso nel modello vocale del personaggio selezionato.

RVC Project TelkNet AI-RVC adapter HuBERT

Pipeline: RVC v2 converte la voce sorgente separata nel modello vocale selezionato, quindi la mixa con l'accompagnamento.
Impostazioni predefinite TelkNet consigliate: pipeline corrente, separatore RoFormer, ensemble:vocal_rvc, ibrido F0, indice_ratio 0,50.
Modello vocale: il voice_model_id selezionato sceglie il checkpoint RVC e l'indice FAISS opzionale.

RMVPE / hybrid F0

RMVPE è il robusto stimatore del tono vocale utilizzato dal percorso RVC e dall'opzione ibrida F0.

RVC Project RMVPE

Ruolo dell'intonazione: tiene traccia della voce sorgente F0 prima della conversione in modo che il timbro di destinazione segua la melodia.
Modalità ibrida: combina RMVPE con estrattori alternativi per una copertura del canto di prima qualità.
Prove pubbliche: il documento RMVPE Interspeech riporta i migliori RPA/RCA/OA su più set di dati di tonalità vocali polifoniche.

RoFormer / Karaoke / Demucs separation

La pipeline di cover AI separa voce/accompagnamento prima della conversione e del mixdown.

python-audio-separator facebookresearch/demucs MVSep algorithms Mel-Band RoFormer BS-RoFormer HT Demucs

Separatore primario: l'ensemble RoFormer vocal_rvc prepara la voce pulita e l'accompagnamento prima di RVC.
Percorso dell'armonia: la separazione solista/back del Karaoke può esportare voci soliste, cori e accompagnamenti consapevoli dell'armonia.
Fallback: i percorsi Demucs e UVR5 rimangono selezionabili per compatibilità, ma RoFormer è l'impostazione predefinita di prima qualità.

Confronto dei modelli

Modello

Ruolo

Perché viene utilizzato

Impatto sulla produzione

ModelloRVC v2

RVC Project TelkNet AI-RVC adapter HuBERT

RuoloNucleo di conversione vocale

Perché viene utilizzatoRVC v2 fornisce il timbro target selezionato e la conversione assistita da indice.

Impatto sulla produzioneVoci convertite

ModelloRMVPE / hybrid F0

RVC Project RMVPE

RuoloEstrazione della pece

Perché viene utilizzatoRMVPE è robusto per il canto polifonico ed è il percorso di qualità di prima qualità.

Impatto sulla produzioneContorno melodia/fa0

ModelloRoFormer vocal_rvc ensemble

python-audio-separator MVSep algorithms Mel-Band RoFormer BS-RoFormer

RuoloPreparazione vocale

Perché viene utilizzatoRoFormer vocal_rvc è il separatore predefinito per un input RVC più pulito.

Impatto sulla produzioneVoce e steli di accompagnamento

ModelloDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

RuoloSeparatore di compatibilità

Perché viene utilizzatoDemucs/UVR5 rimangono utili quando una sorgente specifica si comporta meglio al di fuori di RoFormer.

Impatto sulla produzioneSteli alternativi

Note cartacee e di benchmark

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT fornisce rappresentazioni vocali auto-supervisionate utilizzate dalle pipeline di conversione vocale in stile RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE è un robusto stimatore del tono vocale Interspeech 2023 progettato per la musica polifonica e utilizzato per l'estrazione F0 di prima qualità.

ISCA PDF

RVC Project

Official repository - current

Il progetto RVC è la fonte tecnica ufficiale per il flusso di lavoro di conversione vocale basato sul recupero VITS/HuBERT.

RVC WebUI

Ufficiale/repository

RVC Project TelkNet AI-RVC adapter python-audio-separator facebookresearch/demucs MVSep algorithms

Documenti/note tecniche

HuBERT RMVPE Mel-Band RoFormer BS-RoFormer HT Demucs

Guida ai parametri

Modello vocale: seleziona i pesi dei caratteri di destinazione e l'indice di recupero.
Pitch Shift: regola la sorgente in semitoni per adattarla all'intervallo target.
Rapporto indice: controlla quanto l'indice di recupero influisce sul colore della voce.
Metodo F0: seleziona RMVPE, CREPE, Harvest o un altro percorso di estrazione della pece.
Separatore: utilizza RoFormer, UVR5 o Demucs prima della conversione.
Pipeline di conversione: per impostazione predefinita viene utilizzata la catena di copertura AI-RVC in bundle; il percorso ufficiale 1:1 può ancora essere selezionato manualmente.
Controlli del mix: regola la voce, l'accompagnamento, il riverbero e la miscela vocale originale.

Casi d'uso

Costruisci demo di copertina e prove con la voce dei personaggi
Convalida una direzione vocale prima della produzione più profonda
Inserisci le voci separate in un flusso di lavoro di canto a valle

Flusso di lavoro

1Preferisci caricare materiale vocale già separato
2Invia l'attività di conversione con la direzione vocale di destinazione
3Ascolta il risultato prima di decidere se procedere alla miscelazione o alla lucidatura

Lista di controllo pre-volo

Più la voce è pulita, più stabile sarà il risultato della conversione
Separare prima le voci solitamente è meglio che fornire l'audio mixato direttamente a RVC
L'output si adatta alle demo e alla convalida della direzione: la post-produzione è ancora consigliata prima del rilascio al pubblico

Per utilizzare questo strumento è necessario effettuare il login

Accedi o crea un account per caricare file, inviare attività ed esaminare i risultati nel tuo spazio di lavoro.

Le informazioni sullo strumento di navigazione sono sempre gratuite: non è necessario alcun account.