AI Reprise Voix · TelkNet

Voix et chantCharge de travail GPU

AI Reprise Voix

Utilisateurs réalisant des expériences sur la couleur de la voix, des démos de couverture ou des essais de voix de personnages

Voix converties, références vocales originales et audio téléchargeable pour les démos et les tests d'écoute

5 crédits/utilisationEntrée de fichier audioMax. 100 MBEstimation des secondes 180-900

Entrée

Voix claires, matériel de reprise ou tiges vocales séparées via une chaîne de conversion RVC v2

Formats audio

mp3wavflacoggm4aaac

Sortie

Voix converties, références vocales originales et audio téléchargeable pour les démos et les tests d'écoute

Idéal pour

Utilisateurs réalisant des expériences sur la couleur de la voix, des démos de couverture ou des essais de voix de personnages

Modèles, paramètres et sources

Le pipeline de couverture AI combine la séparation, la conversion vocale RVC et le mixage. Les entrées principales sont un fichier vocal et un modèle vocal cible.

RVC v2

RVC v2 convertit le timbre vocal d'entrée en modèle de voix de personnage sélectionné.

RVC Project TelkNet AI-RVC adapter HuBERT

Pipeline : RVC v2 convertit la voix source séparée en modèle de voix sélectionné, puis la mixe avec l'accompagnement.
Valeurs par défaut TelkNet recommandées : pipeline actuel, séparateur RoFormer, ensemble:vocal_rvc, hybride F0, index_ratio 0,50.
Modèle vocal : le voice_model_id sélectionné choisit le point de contrôle RVC et l'index FAISS facultatif.

RMVPE / hybrid F0

RMVPE est l'estimateur de hauteur vocale robuste utilisé par le chemin RVC et l'option hybride F0.

RVC Project RMVPE

Rôle de pitch : suit la voix source F0 avant la conversion afin que le timbre cible suive la mélodie.
Mode hybride : combine RMVPE avec des extracteurs alternatifs pour une couverture de chant de qualité supérieure.
Preuve publique : l'article RMVPE Interspeech rapporte les meilleurs RPA/RCA/OA sur plusieurs ensembles de données de hauteur vocale polyphonique.

RoFormer / Karaoke / Demucs separation

Le pipeline de couverture AI sépare les voix/accompagnement avant la conversion et le mixage.

python-audio-separator facebookresearch/demucs MVSep algorithms Mel-Band RoFormer BS-RoFormer HT Demucs

Séparateur primaire : l'ensemble RoFormer vocal_rvc prépare le chant clair et l'accompagnement avant RVC.
Chemin d'harmonie : la séparation lead/back du karaoké peut exporter le chant principal, les choeurs et l'accompagnement sensible à l'harmonie.
Solutions de secours : les routes Demucs et UVR5 restent sélectionnables pour des raisons de compatibilité, mais RoFormer est la qualité par défaut.

Comparaison de modèles

Modèle

Rôle

Pourquoi il est utilisé

Impact sur les résultats

ModèleRVC v2

RVC Project TelkNet AI-RVC adapter HuBERT

RôleNoyau de conversion vocale

Pourquoi il est utiliséRVC v2 fournit le timbre cible sélectionné et la conversion assistée par index.

Impact sur les résultatsVoix convertie

ModèleRMVPE / hybrid F0

RVC Project RMVPE

RôleExtraction de hauteur

Pourquoi il est utiliséRMVPE est robuste sur le chant polyphonique et constitue la première voie de qualité.

Impact sur les résultatsContour Mélodie/F0

ModèleRoFormer vocal_rvc ensemble

python-audio-separator MVSep algorithms Mel-Band RoFormer BS-RoFormer

RôlePréparation vocale

Pourquoi il est utiliséRoFormer vocal_rvc est le séparateur par défaut pour une entrée RVC plus propre.

Impact sur les résultatsVoix et tiges d'accompagnement

ModèleDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

RôleSéparateur de compatibilité

Pourquoi il est utiliséDemucs/UVR5 restent utiles lorsqu'une source spécifique se comporte mieux en dehors de RoFormer.

Impact sur les résultatsTiges alternatives

Notes papier et de référence

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT fournit des représentations vocales auto-supervisées utilisées par les pipelines de conversion vocale de type RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE est un estimateur de hauteur vocale robuste d'Interspeech 2023 conçu pour la musique polyphonique et utilisé pour une extraction F0 de qualité supérieure.

ISCA PDF

RVC Project

Official repository - current

Le projet RVC est la source technique officielle du flux de travail de conversion vocale basé sur la récupération VITS/HuBERT.

RVC WebUI

Officiel / référentiels

RVC Project TelkNet AI-RVC adapter python-audio-separator facebookresearch/demucs MVSep algorithms

Documents / notes techniques

HuBERT RMVPE Mel-Band RoFormer BS-RoFormer HT Demucs

Guide des paramètres

Modèle vocal: sélectionne les poids des caractères cibles et l'indice de récupération.
Pitch Shift: ajuste la source par demi-tons pour correspondre à la plage cible.
Rapport d'index: contrôle dans quelle mesure l'index de récupération affecte la couleur de la voix.
Méthode F0: sélectionne RMVPE, CREPE, Harvest ou un autre chemin d'extraction de hauteur.
Séparateur: utilise RoFormer, UVR5 ou Demucs avant la conversion.
Pipeline de conversion: par défaut, la chaîne de couverture AI-RVC groupée; l'itinéraire officiel 1:1 peut toujours être sélectionné manuellement.
Commandes de mixage: ajustez les voix, l'accompagnement, la réverbération et le mélange des voix originales.

Cas d'utilisation

Créez des démos de couverture et des essais de voix de personnages
Valider une direction vocale avant une production plus approfondie
Introduisez des voix séparées dans un flux de travail de chant en aval

Flux de travail

1Préfère télécharger du matériel vocal déjà séparé
2Soumettez la tâche de conversion avec la direction vocale cible
3Écoutez le résultat avant de décider d'un mélange ou d'un polissage ultérieur

Liste de contrôle avant le vol

Plus la voix est claire, plus le résultat de la conversion est stable
Séparer d'abord les voix est généralement préférable à l'alimentation de l'audio mixé directement dans RVC
Le résultat convient aux démos et à la validation de la direction – la post-production est toujours recommandée avant la sortie publique

Connexion requise pour utiliser cet outil

Connectez-vous ou créez un compte pour télécharger des fichiers, soumettre des tâches et consulter les résultats dans votre espace de travail.

Les informations sur l'outil de navigation sont toujours gratuites - aucun compte n'est nécessaire.