Modèle
HQ-SVC et YingMusic-SVC : démantèlement du contenu, F0, énergie et timbre de la conversion de la voix chantée
Conversion de voix chantée/Comparaison de technologies
Conversion de voix chantée/Comparaison de technologies
CONVERSION DE VOIX CHANTÉE
SVC ne mélange pas la référence cible à la source. Il doit préserver les paroles, le calage et la mélodie de la source tout en remplaçant les statistiques de timbre. Les fuites de contenu se traduisent par des erreurs de prononciation ou des bruits de fond.
La hauteur peut s’exprimer en demi-tons sous la forme p=69+12log₂(f₀/440). Le décalage automatique de tessiture aide à gérer de grands écarts de registre, mais les erreurs de F0 transforment glissés, respirations et harmonies en indications mélodiques erronées.
La fiche de modèle HQ-SVC regroupe le code d’inférence, FACodec, RMVPE et les ressources du vocodeur. YingMusic-SVC publie un adaptateur sensible à F0, un flow matching équilibré en énergie et un entraînement adapté à la contamination harmonique des enregistrements réels. Sans jeu de test commun, les ressources publiques ne permettent pas de désigner un vainqueur entre les projets.
Les fuites d’accompagnement dans la source sont recolorées par la conversion, tandis que la réverbération ou le bruit de fond de la consigne cible peuvent être pris pour des marqueurs d’identité. La voix principale source et la référence cible doivent toutes deux être propres, et l’audio converti doit être clairement signalé comme synthétique.
La conversion de voix chantée conserve les paroles et la mélodie d’une interprétation tout en remplaçant la représentation liée au timbre. HQ-SVC met l’accent sur une chaîne de conversion de haute qualité ; YingMusic-SVC propose une autre conception du conditionnement par le contenu, F0 et le locuteur. Contrairement à la synthèse, l’entrée est une interprétation chantée existante.
SVC est passé de la transformation spectrale aux encodeurs de contenu, au F0 explicite, aux décodeurs génératifs et à des représentations du locuteur plus robustes. La dissociation reste incomplète : l’accent, la dynamique et les formants de la source peuvent transparaître, tandis que l’acoustique de la pièce de la référence cible peut être copiée.
ŷ=G(c(x_src),F0(x_src),E(x_src),e(x_ref))c(x_src)contenu linguistiqueF0,Emélodie et énergiee(x_ref)condition de timbre cibleLe contenu, F0 et l’énergie proviennent de l’interprétation source ; le timbre cible vient de la référence. Une dissociation imparfaite conserve l’identité source ou transfère la coloration de la pièce.
Un mixage complet exige d’abord un stem propre de la voix principale. Les fuites issues de la séparation sont recolorées par la conversion et peuvent devenir plus difficiles à supprimer ; les deux étapes doivent donc être contrôlées ensemble.
L’article, le code et les poids sont accessibles via HQ-SVC / YingMusic-SVC / l’article YingMusic-SVC.
Chaque ligne conserve l’architecture, la métrique ou la définition de tâche de sa source ; les résultats dépourvus de protocole commun restent séparés.
| Modèle | Architecture ou élément probant | Périmètre |
|---|---|---|
| HQ-SVC | chaîne par défaut de haute qualité | fidélité, clarté et stabilité dans l’aigu |
| YingMusic-SVC | comparaison contenu/F0/timbre | préservation entre chanteurs et entre langues |
| séparation des sources + SVC | parcours complet pour une entrée mixée | les fuites de séparation se propagent à la conversion |
Il faut d’abord vérifier les paroles et le rythme, puis les sauts de hauteur, les sifflantes, le souffle et les ruptures dans l’aigu. La transposition automatique modifie la contrainte vocale et ne se résume pas par une similitude moyenne.
La référence cible doit être sèche, soliste, sans accompagnement et couvrir une tessiture utile. Un court extrait réverbéré peut faire passer la coloration de la pièce pour un trait d’identité.
La conversion n’efface ni le droit d’auteur ni les droits des interprètes. Toute diffusion publique exige une autorisation pour l’interprétation source comme pour l’identité cible.
Le système ne garantit pas l’anonymisation ; des caractéristiques de la source peuvent subsister, SVC n’est donc pas un filtre de confidentialité.
Les noms de modèles, les chiffres et les limites renvoient aux articles, dépôts ou fiches de modèle ci-dessous.