Chargement...

Conversion vocale RVC et reprises de chansons par IA · TelkNet

Voix et chantGPU charge de travailAI-RVC v1.6.0 · Journal des modifications RVC · Code source AI-RVC · Code source RVC v2 · Article RMVPE · Code source RMVPE · Article MelBandRoformers · Poids bs-roformer-karaoke · Poids karaoke_bs_roformer · Poids MVSep 9205 BS-Kar AVG (lead/back vocals) · Article BS-Roformer-Leap · Poids python-audio-separator · Code source demucs · Code source Leap XE / Leap Instrumental / Karaoke separation · Article Leap XE / Leap Instrumental / Karaoke separation · Article

Chants de reprises d’AI

30 crédits/utilisationEntrée audioMaximum 2048 MBEstimation 180-900 secondes

Entrée

Des vocals propres, du matériau de recouvrement ou des vocal stems séparés via une chaîne de conversion RVC v2

Formats audio

mp3wavflacoggm4aaac

Production

vocals converti, références vocal originales, et audio téléchargeable pour les démos et les tests d’écoute

Cas d’utilisation

Conversion des voix en couleur, démos de reprises et expériences de voix de personnages

Avis rapide

Précisez l'outil, les étapes et le problème dans votre retour. Des captures d'écran peuvent aider à le localiser.

Modèles, paramètres et sources

Le pipeline de covers IA combine séparation, conversion vocale RVC et mixage. Les entrées principales sont un fichier vocal et un modèle vocal cible.

RVC v2RMVPEMVSep 9205 BS-Kar AVG (lead/back vocals)BS-RoFormer Leap XE 90 bands (vocals pre-separation)BS-RoFormer Leap Instrumental (accompaniment pre-separation)Leap XE / Leap Instrumental / Karaoke separationDemucs / UVR5 fallbackRMVPE Interspeech Table 1 — MIR-1KRMVPEPolyCREPEHARMOF0JDC

RVC v2

RVC v2 convertit l’entrée vocal le timbre en modèle vocal de personnage sélectionné.

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

Séparation standard vocal/accompagnement. BS-RoFormer bandes Leap XE 90 sortent les vocal stem, et BS-RoFormer Leap Instrumental bandes produisent l’accompagnement stem.
Modèle de voix : sélectionne les poids des caractères cibles et l’index de récupération.

RMVPE

AI-RVC v1.6.0 utilise RMVPE par défaut pour extraire la hauteur de la voix.

RVC Project Dream-High/RMVPE RMVPE

Rôle de la hauteur : la source vocal F0 avant conversion pour que le timbre cible suive la mélodie.
Ce mode utilise RMVPE pour extraire la hauteur.
Preuve publique : l’article RMVPE Interspeech rapporte les meilleurs RPA/RCA/OA sur plusieurs ensembles de données de hauteur polyphoniques vocal de hauteurs.

MVSep 9205 BS-Kar AVG (lead/back vocals)

Séparation des harmonies : MVSep 9205 fournit la partie lead/accompagnement avec harmonie, BS-RoFormer groupes Leap XE 90 fournit vocals harmonie, et BS-RoFormer Leap Instrumental groupes fournit la référence d’accompagnement.

MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer Mel-Band RoFormer

Actif MVSep 9205 checkpoints : BS-Kar-Gabox_IS, BS-Kar-Frazer & Becruily, et BS-Kar-Anvuew avec avg_wave ensemble.
MVSep 9205 sorties : vocals_without_harmony plus accompagnement + instrumental du mix complet original.

Leap XE / Leap Instrumental / Karaoke separation

Le pipeline de couverture IA sépare vocals/accompagnement avant conversion et mixdown.

pcunwa Leap XE weights MVSep 10178 Leap XE Leap Instrumental configuration Leap Instrumental checkpoint python-audio-separator facebookresearch/demucs MVSep algorithms BS-RoFormer HT Demucs

Séparateur principal : Leap XE 90 prépare vocals et Leap Instrumental prépare l’accompagnement avant RVC.
Chemin d’harmonie : MVSep 9205 lead/back peut exporter les vocal stems lead et backing avant RVC mixage.
Séparateur : utilise RoFormer, UVR5 ou Demucs avant la conversion.

Comparaison de modèles

Modèle

Rôle

Pourquoi il est utilisé

Impact sur la sortie

ModèleRVC v2

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

RôleCylindre de conversion vocale

Pourquoi il est utiliséRVC v2 fournit le timbre cible sélectionné et la conversion assistée par indice.

Impact sur la sortieConverti vocals

ModèleRMVPE

RVC Project Dream-High/RMVPE RMVPE

RôleExtraction de la poche

Pourquoi il est utiliséRôle de la hauteur : la source vocal F0 avant conversion pour que le timbre cible suive la mélodie.

Impact sur la sortieContour mélodie/F0

ModèleBS-RoFormer Leap XE 90 bands (vocals pre-separation)

pcunwa Leap XE weights MVSep 10178 Leap XE BS-RoFormer

RôlePréparation vocale

Pourquoi il est utiliséSéparation standard vocal/accompagnement. BS-RoFormer bandes Leap XE 90 sortent les vocal stem, et BS-RoFormer Leap Instrumental bandes produisent l’accompagnement stem.

Impact sur la sortieVoix et accompagnement stems

ModèleBS-RoFormer Leap Instrumental (accompaniment pre-separation)

Leap Instrumental configuration Leap Instrumental checkpoint BS-RoFormer

RôlePréparation vocale

Pourquoi il est utiliséSéparation standard vocal/accompagnement. BS-RoFormer bandes Leap XE 90 sortent les vocal stem, et BS-RoFormer Leap Instrumental bandes produisent l’accompagnement stem.

Impact sur la sortieVoix et accompagnement stems

ModèleDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

RôleSéparateur de compatibilité

Pourquoi il est utiliséLes demucs/UVR5 restent utiles lorsqu’une source spécifique se comporte mieux en dehors de RoFormer.

Impact sur la sortieAlternative stems

Toutes les sources d’évaluation (1)

Jeux de données, versions et conditions restent distincts, même sans lignes admissibles au classement.

RMVPE · Table 1 ↗
Entrées déployables 0 / lignes d’origine 6
Non classées : 6
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
PYIN [6] · CREPE [7] · HARMOF0 [9] · CRN-Raw [13] · JDC [14] · RMVPEPoly

Notes de papier et de référence

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT fournit des représentations vocales auto-supervisées utilisées par les pipelines de conversion vocale de style RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

Le RMVPE est un estimateur robuste de hauteur vocal Interspeech 2023 conçu pour la musique polyphonique et utilisé pour l’extraction F0 de qualité prioritaire.

ISCA PDF Dream-High/RMVPE

RVC Project

Official repository - current

Le projet RVC est la source technique officielle pour le flux de travail de conversion vocale basé sur la recherche VITS/HuBERT.

RVC WebUI AI-RVC workflow AI-RVC v1.6.0

Guide des paramètres

Modèle de voix : sélectionne les poids des caractères cibles et l’index de récupération.
Décalage de hauteur : ajuste la source de demi-tons pour correspondre à la plage cible.
Ratio d’index : contrôle dans quelle mesure l’indice de récupération influence la couleur de la voix.
Mode officiel · Utilise la séparation UVR5 et la conversion vocale de RVC/Applio, sans suppression de réverbération ni post-traitement supplémentaires.
Contrôles de mixage : ajuster vocals, accompagnement, réverbération et mélange vocal original.

Cas d’utilisation

Démos de cover de construction et épreuves de voix de personnage
Validez la direction d’une voix avant une production plus profonde
Feed séparé vocals dans un flux de travail chanté en aval

Flux de travail

1Je préfère téléverser du contenu vocal déjà séparé
2Soumettez la tâche de conversion avec la direction vocale cible
3Écoutez le résultat avant de décider pour un mixage ou un polissage supplémentaire

Points à vérifier

Plus le vocal est propre, plus le résultat de conversion est stable
Séparer vocals premier est généralement mieux que d’envoyer directement du son mixte dans RVC
Vérifiez les consonnes, les notes tenues et les aigus : articulation, sauts de hauteur et niveau de la voix dans l'accompagnement.

Guides d'usage liés

Trouvez les méthodes et les étapes adaptées à vos fichiers.

Conversion vocale RVC · outil en ligne et guide du modèle Créer des reprises avec l'IA · outil en ligne et guide du modèle Clonage vocal ZONOS2 TTS · outil en ligne et guide du modèle

Chants de reprises d’AI

Avis rapide

Modèles, paramètres et sources

RVC v2

RMVPE

MVSep 9205 BS-Kar AVG (lead/back vocals)

Leap XE / Leap Instrumental / Karaoke separation

Comparaison de modèles

Notes de papier et de référence

HuBERT: Self-Supervised Speech Representation Learning

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

RVC Project

Officiel / dépôts

Articles / notes techniques

Guide des paramètres

Cas d’utilisation

Flux de travail

Points à vérifier

Guides d'usage liés