Modello
HQ-SVC e YingMusic-SVC: smantellamento del contenuto, F0, energia e timbro della conversione della voce cantata
Conversione vocale del canto / Confronto tecnologico
Conversione vocale del canto / Confronto tecnologico
© 2026 TelkNet. Tutti i diritti riservati.
CONVERSIONE DELLA VOCE CANTATA
SVC non mescola il riferimento di destinazione con la sorgente. Deve preservare testo, tempi e melodia della sorgente sostituendo al contempo le statistiche timbriche. Le infiltrazioni di contenuto diventano errori di pronuncia o contaminazione di fondo.
L’altezza può essere espressa in semitoni come p=69+12log₂(f₀/440). Lo spostamento automatico dell’estensione aiuta in caso di grandi differenze di registro, ma gli errori di F0 trasformano glissati, respiri e armonie in indicazioni melodiche errate.
La scheda modello di HQ-SVC riunisce codice di inferenza, FACodec, RMVPE e risorse del vocoder. YingMusic-SVC pubblica un adattatore sensibile a F0, flow matching bilanciato per l’energia e addestramento per la contaminazione armonica delle registrazioni reali. Senza un set di test condiviso, i materiali pubblici non consentono di indicare un unico vincitore tra i progetti.
Le infiltrazioni dell’accompagnamento nella sorgente vengono ricolorate dalla conversione, mentre il riverbero o il rumore di fondo nel prompt di destinazione possono essere scambiati per identità. La voce principale sorgente e il riferimento di destinazione devono essere entrambi puliti, e l’audio convertito deve essere chiaramente dichiarato sintetico.
La conversione della voce cantata conserva testo e melodia di un’esecuzione sostituendo la rappresentazione legata al timbro. HQ-SVC pone l’accento su una catena di conversione di alta qualità; YingMusic-SVC offre un’altra architettura di condizionamento su contenuto, F0 e parlante. A differenza della sintesi, l’input è un’esecuzione cantata già esistente.
SVC si è evoluto dalla mappatura spettrale agli encoder di contenuto, al F0 esplicito, ai decoder generativi e a rappresentazioni del parlante più robuste. Il disaccoppiamento resta incompleto: accento, dinamica e formanti della sorgente possono trapelare, mentre il suono ambientale del riferimento di destinazione può essere copiato.
ŷ=G(c(x_src),F0(x_src),E(x_src),e(x_ref))c(x_src)contenuto linguisticoF0,Emelodia ed energiae(x_ref)condizione del timbro di destinazioneContenuto, F0 ed energia provengono dall’esecuzione sorgente; il timbro di destinazione viene dal riferimento. Un disaccoppiamento imperfetto lascia l’identità della sorgente o trasferisce la colorazione dell’ambiente.
Un mix completo richiede prima uno stem pulito della voce principale. Le infiltrazioni della separazione vengono ricolorate dalla conversione e possono diventare più difficili da eliminare, quindi le due fasi vanno verificate insieme.
Articolo, codice e pesi sono consultabili tramite HQ-SVC / YingMusic-SVC / articolo di YingMusic-SVC.
Ogni riga mantiene l’architettura, la metrica o la definizione del compito della propria fonte; i risultati privi di un protocollo condiviso restano separati.
| Modello | Architettura o evidenza | Ambito |
|---|---|---|
| HQ-SVC | catena predefinita di alta qualità | fedeltà, chiarezza e stabilità nel registro acuto |
| YingMusic-SVC | confronto contenuto/F0/timbro | conservazione tra cantanti e lingue |
| separazione delle sorgenti + SVC | percorso completo per input mixati | le infiltrazioni della separazione si propagano nella conversione |
Verificare prima testo e ritmo, quindi salti di altezza, sibilanti, voce soffiata e rotture nel registro acuto. La trasposizione automatica cambia lo sforzo vocale e non può essere riassunta dalla somiglianza media.
Il riferimento di destinazione deve essere asciutto, solista, privo di accompagnamento e coprire un’estensione utile. Un breve campione riverberato può far sembrare la colorazione ambientale un tratto d’identità.
La conversione non annulla il diritto d’autore o i diritti degli interpreti. La pubblicazione richiede l’autorizzazione sia per l’esecuzione sorgente sia per l’identità di destinazione.
Il sistema non garantisce l’anonimizzazione; possono restare tratti della sorgente, quindi SVC non è un filtro per la privacy.
Nomi dei modelli, numeri e limitazioni rimandano agli articoli, ai repository o alle schede modello elencati di seguito.