載入中...

RVC 人聲換音色與 AI 翻唱製作 · TelkNet

語音與演唱GPU 執行AI-RVC v1.6.0 · 更新日誌 RVC · 原始碼 AI-RVC · 原始碼 RVC v2 · 論文 RMVPE · 原始碼 RMVPE · 論文 MelBandRoformers · 權重 bs-roformer-karaoke · 權重 karaoke_bs_roformer · 權重 MVSep 9205 BS-Kar AVG (lead/back vocals) · 論文 BS-Roformer-Leap · 權重 python-audio-separator · 原始碼 demucs · 原始碼 Leap XE / Leap Instrumental / Karaoke separation · 論文 Leap XE / Leap Instrumental / Karaoke separation · 論文

AI 翻唱

30 積分/次音訊檔案輸入最大 2048 MB預計 180-900 秒

輸入

乾淨人聲、翻唱素材或已分離的人聲 stem；使用 RVC v2 轉換音色

音訊格式

mp3wavflacoggm4aaac

輸出

輸出轉換後人聲，並保留原始人聲對照，方便試聽和繼續混音

適用場景

人聲換音色、翻唱 demo 和角色音色試驗

一鍵回饋

回報時請註明工具名稱、操作步驟和遇到的問題，可附截圖協助定位。

模型、參數和來源

AI 翻唱管線把分離、RVC 音色轉換和混音串成一條流程，輸入一段人聲音訊和一個目標角色模型即可。

RVC v2RMVPEMVSep 9205 BS-Kar AVG (lead/back vocals)BS-RoFormer Leap XE 90 bands (vocals pre-separation)BS-RoFormer Leap Instrumental (accompaniment pre-separation)Leap XE / Leap Instrumental / Karaoke separationDemucs / UVR5 fallbackRMVPE Interspeech Table 1 — MIR-1KRMVPEPolyCREPEHARMOF0JDC

RVC v2

RVC v2 將輸入的聲音音色轉換為選定的角色語音模型。

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

標準人聲/伴奏分離。Leap XE 90 vocals + Leap Instrumental accompaniment 是目前已核驗開放權重、可本機部署的鏈路，用於匯出人聲和伴奏 WAV stem。
角色模型：選擇目標音色權重和索引。

RMVPE

AI-RVC v1.6.0 預設使用 RMVPE 提取人聲音高。

RVC Project Dream-High/RMVPE RMVPE

音高作用：轉換前追蹤來源人聲 F0，让目標音色跟随旋律。
目前模式使用 RMVPE 提取音高。
公開依據：RMVPE Interspeech 论文在多個複調人聲音高資料集上報告最高 RPA/RCA/OA。

MVSep 9205 BS-Kar AVG (lead/back vocals)

和聲分離：MVSep 9205 提供主唱/帶和聲伴奏，Leap XE 90 bands 提供含和聲人聲，BS-RoFormer Leap Instrumental 提供伴奏參考。

MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer Mel-Band RoFormer

MVSep 9205 components: BS-Kar-Gabox_IS, BS-Kar-Frazer&Becruily, BS-Kar-Anvuew; avg_wave AVG.
MVSep 9205 輸出：來自原始整曲的 vocals_without_harmony 和 backing+instrumental。

Leap XE / Leap Instrumental / Karaoke separation

AI 翻唱管道在轉換和混音之前將人聲/伴奏分開。

pcunwa Leap XE weights MVSep 10178 Leap XE Leap Instrumental configuration Leap Instrumental checkpoint python-audio-separator facebookresearch/demucs MVSep algorithms BS-RoFormer HT Demucs

主分離器：Leap XE 90 vocals + Leap Instrumental accompaniment 在 RVC 前準備更乾淨的人聲和伴奏。
和聲路徑：MVSep 9205 lead/back 可在 RVC 混音前匯出主唱和和聲 stem。
分離器：選擇 RoFormer、UVR5 或 Demucs 先清理人聲/伴奏。

模型對比

模型

作用

選擇原因

影響的輸出

模型RVC v2

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

作用聲音轉換核心

選擇原因RVC v2 提供所選目標音色和 index 辅助轉換。

影響的輸出轉換後人聲

模型RMVPE

RVC Project Dream-High/RMVPE RMVPE

作用音高提取

選擇原因音高作用：轉換前追蹤來源人聲 F0，让目標音色跟随旋律。

影響的輸出旋律 / F0 曲線

模型BS-RoFormer Leap XE 90 bands (vocals pre-separation)

pcunwa Leap XE weights MVSep 10178 Leap XE BS-RoFormer

作用人聲預處理

選擇原因標準人聲/伴奏分離。Leap XE 90 vocals + Leap Instrumental accompaniment 是目前已核驗開放權重、可本機部署的鏈路，用於匯出人聲和伴奏 WAV stem。

影響的輸出人聲與伴奏 stem

模型BS-RoFormer Leap Instrumental (accompaniment pre-separation)

Leap Instrumental configuration Leap Instrumental checkpoint BS-RoFormer

作用人聲預處理

選擇原因標準人聲/伴奏分離。Leap XE 90 vocals + Leap Instrumental accompaniment 是目前已核驗開放權重、可本機部署的鏈路，用於匯出人聲和伴奏 WAV stem。

影響的輸出人聲與伴奏 stem

模型Demucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

作用備用分離器

選擇原因某些素材在 RoFormer 之外表現更好時，Demucs / UVR5 仍然有用。

影響的輸出備選 stem

全部評測來源（1）

資料集、版本和條件分別列出，未納入排行的評測也保留來源。

RMVPE · Table 1 ↗
可部署項目 0 / 原表 6
未納入排行：6 項
以下實驗尚未核實完整的公開推論套件；同名模型的其他權重不能替代。
PYIN [6] · CREPE [7] · HARMOF0 [9] · CRN-Raw [13] · JDC [14] · RMVPEPoly

論文與基準說明

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT 提供 RVC 類聲音轉換管線使用的自監督語音表徵。

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE 是 Interspeech 2023 的複調音樂鲁棒人聲音高估計器，用於品質優先 F0 提取。

ISCA PDF Dream-High/RMVPE

RVC Project

Official repository - current

RVC Project 是 VITS/HuBERT retrieval-based voice conversion 工作流程的官方技術來源。

RVC WebUI AI-RVC workflow AI-RVC v1.6.0

參數指南

角色模型：選擇目標音色權重和索引。
音高移調：按半音調整輸入與目標音域匹配。
索引比例：控制檢索索引對音色的影響程度。
官方模式 · 使用 RVC/Applio 的 UVR5 分離與聲音轉換；不附加去混響或後處理。
混音控制：調節人聲、伴奏、混響和原聲回混比例。

操作建議

1優先上傳已分離的人聲素材
2選擇目標音色後提交轉換任務
3試聽結果後再決定是否繼續混音和後期

檢查重點

人聲越乾淨，轉換結果越穩定
先做分離再進 RVC，通常比直接混合音訊效果更好
試聽子音、長音和高音，檢查發音清晰度、音高跳變以及混回伴奏後的音量。