HQ-SVC 與 YingMusic-SVC:拆解歌聲轉換的內容、F0、能量與音色
歌聲轉換 / 技術比較

歌聲轉換
SVC 並不是把目標參考混入來源。它必須保留來源的歌詞、時序與旋律,同時替換音色統計。內容洩漏會變成發音錯誤或背景串音。
音高條件
音高可以用半音表示為 p=69+12log₂(f₀/440)。自動移調有助於處理音域差距較大的情況,但 F0 錯誤會把滑音、氣聲與和聲變成錯誤的旋律線索。
兩項發布實際提供的內容
HQ-SVC 模型卡封裝了推論程式碼、FACodec、RMVPE 與聲碼器資產。YingMusic-SVC 公開 F0 感知適配器、能量平衡流匹配,以及針對真實世界和聲污染的訓練方法。由於沒有共同測試集,公開資料不足以支持跨專案選出單一勝者。
兩種輸入污染
來源中的伴奏洩漏會在轉換時被重新著色,目標提示中的殘響或背景聲則可能被誤認為身分特徵。主唱來源與目標參考都應保持乾淨,轉換音訊也必須清楚揭露其合成性質。
從固定來源走向條件式分離
歌聲轉換保留一段演唱的歌詞與旋律,同時替換與音色相關的表徵。HQ-SVC 著重高品質轉換鏈;YingMusic-SVC 則提出另一套內容、F0 與歌手條件設計。它與合成不同,輸入是一段既有演唱。
SVC 已從頻譜映射發展至內容編碼器、明確 F0、生成式解碼器與更強的歌手表徵。解耦仍不完整:來源口音、動態與共振峰可能洩漏,目標參考中的空間聲響也可能被複製。

歌聲轉換將內容與目標音色分開
ŷ=G(c(x_src),F0(x_src),E(x_src),e(x_ref))c(x_src)語言內容F0,E旋律與能量e(x_ref)目標音色條件
內容、F0 與能量來自來源演唱;目標音色來自參考。解耦不完整會留下來源身分,或把空間染色轉移到結果。
完整混音必須先取得乾淨的主唱 stem。分離洩漏會在轉換時被重新著色,可能變得更難去除,因此兩個階段必須一併稽核。
論文、程式碼與權重可循 HQ-SVC/YingMusic-SVC/YingMusic-SVC 論文查閱。

以同一種 stem 定義比較結果
每一列保留原始來源中的架構、指標或任務定義;未採用共同規格的結果仍分開呈現。
| 模型 | 架構或證據 | 範圍 |
|---|---|---|
| HQ-SVC | 高品質預設轉換鏈 | 保真度、清晰度與高音域穩定性 |
| YingMusic-SVC | 內容/F0/音色比較 | 跨歌手與跨語言保留 |
| 來源分離 + SVC | 混音輸入的完整路徑 | 分離洩漏會傳入轉換結果 |
聆聽 stem 並檢查混音一致性
先核對歌詞與節奏,再檢查音高跳變、齒音、氣聲與高音域斷裂。自動移調會改變發聲壓力,不能用平均相似度概括。
目標參考應為乾燥、單人、無伴奏且涵蓋實用音域的錄音。帶殘響的短樣本可能把空間染色變成表面上的身分特徵。
資料集 stem 定義的邊界
轉換不會清除著作權或表演者權利。公開發布必須同時取得來源演唱與目標身分的授權。
系統不保證匿名化;來源特徵可能殘留,因此 SVC 不是隱私過濾器。
HQ-SVC 的論文與公開檔案
模型名稱、數字與限制均可追溯至下列論文、儲存庫或模型卡。