AI 翻唱 (RVC v2) 是什么？

输出转换后人声，并保留原始人声对照，方便试听和继续混音; 人声换音色、翻唱 demo 和角色音色试验; 干净人声、翻唱素材或已分离的人声 stem；使用 RVC v2 转换音色

AI 翻唱 (RVC v2) 适合谁使用？

语音与演唱输出转换后人声，并保留原始人声对照，方便试听和继续混音; 人声换音色、翻唱 demo 和角色音色试验; 干净人声、翻唱素材或已分离的人声 stem；使用 RVC v2 转换音色

AI 翻唱 (RVC v2) 可以解决哪些任务？

语音与演唱; 输出转换后人声，并保留原始人声对照，方便试听和继续混音; 人声换音色、翻唱 demo 和角色音色试验; 干净人声、翻唱素材或已分离的人声 stem；使用 RVC v2 转换音色; 翻唱 demo 和角色音色试唱; 用短片段试听目标音色，再处理完整歌曲

AI 翻唱 (RVC v2) · TelkNet

语音与演唱GPU 运行GitHub v1.3.0

AI 翻唱

Q: AI 翻唱 (RVC v2) 适合谁使用？

语音与演唱 输出转换后人声，并保留原始人声对照，方便试听和继续混音; 人声换音色、翻唱 demo 和角色音色试验; 干净人声、翻唱素材或已分离的人声 stem；使用 RVC v2 转换音色

Q: AI 翻唱 (RVC v2) 关联哪些模型和关键词？

RVC v2, RMVPE strict F0, MVSep 9205 BS-Kar AVG (lead/back vocals), BS-RoFormer Leap XE 90 bands (vocals pre-separation), BS PolarFormer public ONNX 62 bands (accompaniment pre-separation), RVC Project, TelkNet AI-RVC workflow, AI-RVC v1.3.0 release

人声换音色、翻唱 demo 和角色音色试验

输出转换后人声，并保留原始人声对照，方便试听和继续混音

5 积分/次音频文件输入最大 100 MB预计 180-900 秒

输入

干净人声、翻唱素材或已分离的人声 stem；使用 RVC v2 转换音色

音频格式

mp3wavflacoggm4aaac

输出

输出转换后人声，并保留原始人声对照，方便试听和继续混音

适用场景

人声换音色、翻唱 demo 和角色音色试验

模型、参数和来源

AI 封面管道结合了分离、RVC 语音转换和混音。核心输入是声音文件和目标语音模型。

RVC v2RMVPE strict F0MVSep 9205 BS-Kar AVG (lead/back vocals)BS-RoFormer Leap XE 90 bands (vocals pre-separation)BS PolarFormer public ONNX 62 bands (accompaniment pre-separation)RVC ProjectTelkNet AI-RVC workflowAI-RVC v1.3.0 releaseHuBERTDream-High/RMVPERMVPEMVSep 9205

RVC v2

RVC v2 将输入的声音音色转换为选定的角色语音模型。

RVC Project TelkNet AI-RVC workflow AI-RVC v1.3.0 release HuBERT

链路：RVC v2 把分离出的源人声转换为选择的目标音色，然后与伴奏混合。
TelkNet 推荐默认值：人声预分离使用 BS-RoFormer Leap XE 90 bands，伴奏使用 BS PolarFormer public ONNX 62 bands，严格 RMVPE F0、index_ratio 0.50。
声音模型：voice_model_id 选择 RVC checkpoint 和可选 FAISS index。

RMVPE strict F0

RMVPE 是 AI-RVC v1.3.0 默认使用的鲁棒人声音高估计器。

RVC Project Dream-High/RMVPE RMVPE

音高作用：转换前跟踪源人声 F0，让目标音色跟随旋律。
旧版 Hybrid 模式已不作为当前默认公开控制项。
公开依据：RMVPE Interspeech 论文在多个复调人声音高数据集上报告最高 RPA/RCA/OA。

MVSep 9205 BS-Kar AVG (lead/back vocals)

榜单口径的主唱/和声分离。MVSep 9205 BS-Kar AVG 以 avg_wave 直接处理原始整曲，不用只跑人声 stem 的捷径。

MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer Mel-Band RoFormer

活跃的 MVSep 9205 检查点：BS-Kar-Gabox_IS、BS-Kar-Frazer&Becruily、BS-Kar-Anvuew，使用 avg_wave AVG 融合。
MVSep 9205 输出：来自原始整曲的 vocals_without_harmony 和 backing+instrumental。

Leap XE / PolarFormer / Karaoke separation

AI 翻唱管道在转换和混音之前将人声/伴奏分开。

pcunwa Leap XE weights MVSep 10178 Leap XE BS PolarFormer public ONNX MVSep 10009 PolarFormer public python-audio-separator facebookresearch/demucs MVSep algorithms BS-RoFormer HT Demucs

主分离器：Leap XE 90 负责人声，PolarFormer public 62 负责伴奏，在 RVC 前准备更干净的两个 stem。
和声路径：MVSep 9205 lead/back 可在 RVC 混音前导出主唱和和声 stem。
备用路线：Demucs 和 UVR5 仍可选，但质量优先默认分开使用 Leap XE 90 人声输出和 PolarFormer public 62 伴奏输出。

模型对比

模型

作用

选择原因

影响的输出

模型RVC v2

RVC Project TelkNet AI-RVC workflow AI-RVC v1.3.0 release HuBERT

作用声音转换核心

选择原因RVC v2 提供所选目标音色和 index 辅助转换。

影响的输出转换后人声

模型RMVPE strict F0

RVC Project Dream-High/RMVPE RMVPE

作用音高提取

选择原因RMVPE 对复调歌声稳健，是质量优先的音高路径。

影响的输出旋律 / F0 曲线

模型BS-RoFormer Leap XE 90 bands (vocals pre-separation)

pcunwa Leap XE weights MVSep 10178 Leap XE BS-RoFormer

作用人声预处理

选择原因人声用 Leap XE 90，伴奏用 PolarFormer public 62，分别取两者在公开可部署候选中的强项。

影响的输出人声与伴奏 stem

模型BS PolarFormer public ONNX 62 bands (accompaniment pre-separation)

BS PolarFormer public ONNX MVSep 10009 PolarFormer public BS-RoFormer

作用人声预处理

选择原因人声用 Leap XE 90，伴奏用 PolarFormer public 62，分别取两者在公开可部署候选中的强项。

影响的输出人声与伴奏 stem

模型Demucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

作用备用分离器

选择原因某些素材在 RoFormer 之外表现更好时，Demucs / UVR5 仍然有用。

影响的输出备选 stem

公开排行榜：RMVPE 人声音高估计 / RMVPE 人声音高估计 / RMVPE 人声音高估计 / 已核验公开权重人声排行 / 已核验公开权重伴奏排行 / 已核验公开权重主唱/和声排行

开源可部署范围：这些表只纳入已核实权重或配置可下载、可本地部署的行。SOTA 和“最佳”只相对于当前展示的已核实行，不包含托管 API 或商业闭源系统，也不代表全部模型总榜。

RMVPE 人声音高估计

RMVPE Interspeech Table 1 — MIR-1K

RMVPE 论文在复调歌声数据集上的 RPA、RCA、OA 行。

排名	模型	RPA (%)	详细指标
MIR-1K #1	RMVPEPolyTelkNetRMVPE Interspeech Table 1 — MIR-1K	95.42SOTA	RCA (%)95.84最佳OA (%)91.86最佳
MIR-1K #2	CREPERMVPE Interspeech Table 1 — MIR-1K	91.05	RCA (%)92.16OA (%)88.71
MIR-1K #3	HARMOF0RMVPE Interspeech Table 1 — MIR-1K	88.63	RCA (%)88.97OA (%)87.64
MIR-1K #4	JDCRMVPE Interspeech Table 1 — MIR-1K	82.28	RCA (%)82.98OA (%)78.61
MIR-1K #5	pYINRMVPE Interspeech Table 1 — MIR-1K	77.29	RCA (%)77.86OA (%)71.79

RMVPE 人声音高估计

RMVPE Interspeech Table 1 — MIR ST500

RMVPE 论文在复调歌声数据集上的 RPA、RCA、OA 行。

排名	模型	RPA (%)	详细指标
MIR ST500 #1	RMVPEPolyTelkNetRMVPE Interspeech Table 1 — MIR ST500 论文说明 RMVPEPoly 在 MIR ST500 上比第二名模型高 6.32% RPA。	89.32SOTA	RCA (%)89.84最佳OA (%)84.54最佳
MIR ST500 #2	HARMOF0RMVPE Interspeech Table 1 — MIR ST500	83.00	RCA (%)83.35OA (%)81.80
MIR ST500 #3	CREPERMVPE Interspeech Table 1 — MIR ST500	81.61	RCA (%)82.36OA (%)76.59
MIR ST500 #4	JDCRMVPE Interspeech Table 1 — MIR ST500	80.09	RCA (%)80.38OA (%)82.86
MIR ST500 #5	pYINRMVPE Interspeech Table 1 — MIR ST500	63.85	RCA (%)65.01OA (%)65.27

RMVPE 人声音高估计

RMVPE Interspeech Table 1 — Cmedia

RMVPE 论文在复调歌声数据集上的 RPA、RCA、OA 行。

排名	模型	RPA (%)	详细指标
Cmedia #1	RMVPEPolyTelkNetRMVPE Interspeech Table 1 — Cmedia	83.57SOTA	RCA (%)84.04最佳OA (%)85.09最佳
Cmedia #2	HARMOF0RMVPE Interspeech Table 1 — Cmedia	79.08	RCA (%)79.64OA (%)81.83
Cmedia #3	JDCRMVPE Interspeech Table 1 — Cmedia	79.00	RCA (%)79.25OA (%)82.64
Cmedia #4	CREPERMVPE Interspeech Table 1 — Cmedia	74.61	RCA (%)75.05OA (%)75.19
Cmedia #5	pYINRMVPE Interspeech Table 1 — Cmedia	59.69	RCA (%)60.92OA (%)60.25

已核验公开权重人声排行

MVSep metrics + verified weights

只展示已核验公开权重的 Multisong 人声 SDR 行。本站人声输出使用 Leap XE 90；MVSep 托管、API-only 或权重路径核不到的行不进入此排行。

排名	模型	人声 SDR (dB)	详细指标
MVSep entry 10178	BS-RoFormer Leap XE 90 bands (pcunwa)TelkNetMVSep 10178 metric	11.7577SOTA	伴奏 SDR (dB)17.5303
MVSep entry 10009	BS PolarFormer public ONNX 62 bands (bgkb/ZFTurbo)MVSep 10009 metric	11.7575	伴奏 SDR (dB)18.0650最佳
MVSep entry 10173	BS-RoFormer Leap vocal-only (pcunwa)MVSep 10173 metric	11.7398
MVSep entry 10146	BS-RoFormer Leap 62 bands (pcunwa)MVSep 10146 metric	11.7222	伴奏 SDR (dB)17.7794

已核验公开权重伴奏排行

MVSep metrics + verified weights

只展示已核验公开权重的 Multisong 伴奏 SDR 行。本站伴奏输出使用 BS PolarFormer public ONNX 62；MVSep 托管、API-only 或权重路径核不到的行不进入此排行。

排名	模型	伴奏 SDR (dB)	详细指标
MVSep entry 10009	BS PolarFormer public ONNX 62 bands (bgkb/ZFTurbo)TelkNetMVSep 10009 metric	18.0650SOTA	人声 SDR (dB)11.7575
MVSep entry 10146	BS-RoFormer Leap 62 bands (pcunwa)MVSep 10146 metric	17.7794	人声 SDR (dB)11.7222
MVSep entry 10178	BS-RoFormer Leap XE 90 bands (pcunwa)MVSep 10178 metric	17.5303	人声 SDR (dB)11.7577最佳

已核验公开权重主唱/和声排行

MVSep metrics + verified weights

主唱/和声分离行按 Lead SDR 排序，并且只保留组件权重已核验公开、可部署的行。本工具使用 MVSep 9205 AVG 公开权重原曲路径。

排名	模型	主唱 SDR (dB)	详细指标
MVSep entry 9205	BS-Kar-Gabox_IS + BS-Kar-Frazer&Becruily + BS-Kar-Anvuew (AVG)TelkNetMVSep 9205 metric	10.4296SOTA	和声+伴奏 SDR (dB)15.8159最佳
MVSep entry 9190	BS-karaoke-Frazer&Becruily + BS-Karaoke-Anvuew (AVG)MVSep 9190 metric	10.3596	和声+伴奏 SDR (dB)15.7459
MVSep entry 9209	BS Roformer Karaoke by anvuewMVSep 9209 metric	10.2267	和声+伴奏 SDR (dB)15.6095
MVSep entry 9212	BS-Kar-Gabox_IS + BS-Kar-Frazer&Becruily + BS-Kar-Anvuew (Max Spec)MVSep 9212 metric	10.1718	和声+伴奏 SDR (dB)15.4680
MVSep entry 9180	BS-Roformer Karaoke anvuewMVSep 9180 metric	10.1705	和声+伴奏 SDR (dB)15.5568
MVSep entry 9013	BS-Roformer Karaoke (frazer & becruily)MVSep 9013 metric	10.0640	和声+伴奏 SDR (dB)15.4503
MVSep entry 9198	BS Roformer Karaoke GaboxMVSep 9198 metric	9.8901	和声+伴奏 SDR (dB)15.2763

论文与基准说明

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT 提供 RVC 类声音转换管线使用的自监督语音表征。

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE 是 Interspeech 2023 的复调音乐鲁棒人声音高估计器，用于质量优先 F0 提取。

ISCA PDF Dream-High/RMVPE

RVC Project

Official repository - current

RVC Project 是 VITS/HuBERT retrieval-based voice conversion 工作流的官方技术来源。

RVC WebUI AI-RVC workflow AI-RVC v1.3.0 release

参数指南

角色模型：选择目标音色权重和索引。
音高移调：按半音调整输入与目标音域匹配。
索引比例：控制检索索引音色参与程度。
转换管线：默认走内置 AI-RVC 翻唱链路，也可手动切换官方一比一路径。
混音控制：调节人声、伴奏、混响和原声回混比例。

操作建议

1优先上传已分离的人声素材
2选择目标音色后提交转换任务
3试听结果后再决定是否继续混音和后期

提交前检查

人声越干净，转换结果越稳定
先做分离再进 RVC，通常比直接混合音频效果更好
输出可用于 demo 试听，正式发布前仍建议做后期处理

AI 翻唱

模型、参数和来源

RVC v2

RMVPE strict F0

MVSep 9205 BS-Kar AVG (lead/back vocals)

Leap XE / PolarFormer / Karaoke separation

模型对比

公开排行榜：RMVPE 人声音高估计 / RMVPE 人声音高估计 / RMVPE 人声音高估计 / 已核验公开权重人声排行 / 已核验公开权重伴奏排行 / 已核验公开权重主唱/和声排行

RMVPE 人声音高估计

RMVPE 人声音高估计

RMVPE 人声音高估计

已核验公开权重人声排行

已核验公开权重伴奏排行

已核验公开权重主唱/和声排行

论文与基准说明

HuBERT: Self-Supervised Speech Representation Learning

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

RVC Project

官方 / 仓库

论文/技术笔记

参数指南

推荐场景

操作建议

提交前检查

相关场景指南

本次运行使用的模型依据

RVC v2

RMVPE strict F0

MVSep 9205 BS-Kar AVG (lead/back vocals)

BS-RoFormer Leap XE 90 bands (vocals pre-separation)

BS PolarFormer public ONNX 62 bands (accompaniment pre-separation)

模型对比

参数指南

论文/技术笔记

多轨时间线

使用工具需要登录

多轨时间线