Đang tải...

Đổi màu giọng RVC và làm bản cover AI · TelkNet

Giọng nói và ca hátGPU khối lượng công việcAI-RVC v1.6.0 · Nhật ký thay đổi RVC · Mã nguồn AI-RVC · Mã nguồn RVC v2 · Bài báo RMVPE · Mã nguồn RMVPE · Bài báo MelBandRoformers · Trọng số bs-roformer-karaoke · Trọng số karaoke_bs_roformer · Trọng số MVSep 9205 BS-Kar AVG (lead/back vocals) · Bài báo BS-Roformer-Leap · Trọng số python-audio-separator · Mã nguồn demucs · Mã nguồn Leap XE / Leap Instrumental / Karaoke separation · Bài báo Leap XE / Leap Instrumental / Karaoke separation · Bài báo

Giọng hát cover AI

30 tín dụng/sử dụngĐầu vào tệp âm thanhTối đa 2048 MBƯớc tính 180-900 giây

Đầu vào

Làm sạch vocals, vật liệu che hoặc vocal stems tách biệt thông qua chuỗi chuyển đổi RVC v2

Định dạng âm thanh

mp3wavflacoggm4aaac

Đầu ra

Chuyển đổi vocals, tài liệu tham khảo vocal gốc và âm thanh có thể tải xuống cho các bản demo và bài kiểm tra nghe

Trường hợp sử dụng

Chuyển đổi màu giọng nói, bản demo bìa và thử nghiệm giọng nói nhân vật

Phản hồi nhanh

Khi góp ý, hãy nêu tên công cụ, các bước và vấn đề gặp phải. Ảnh chụp màn hình giúp xác định vấn đề.

Mô hình, thông số và nguồn

Quy trình cover AI kết hợp tách, chuyển đổi giọng nói RVC và mixdown. Đầu vào cốt lõi là tệp vocal và mô hình giọng nói mục tiêu.

RVC v2RMVPEMVSep 9205 BS-Kar AVG (lead/back vocals)BS-RoFormer Leap XE 90 bands (vocals pre-separation)BS-RoFormer Leap Instrumental (accompaniment pre-separation)Leap XE / Leap Instrumental / Karaoke separationDemucs / UVR5 fallbackRMVPE Interspeech Table 1 — MIR-1KRMVPEPolyCREPEHARMOF0JDC

RVC v2

RVC v2 chuyển đổi âm sắc đầu vào vocal thành mô hình giọng nói nhân vật đã chọn.

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

Tách vocal/đệm tiêu chuẩn. BS-RoFormer băng tần Leap XE 90 xuất ra vocal stem và băng tần BS-RoFormer Leap Instrumental xuất ra stem đệm đệm.
Mô hình giọng nói: chọn trọng lượng ký tự mục tiêu và chỉ số truy xuất.

RMVPE

AI-RVC v1.6.0 mặc định dùng RMVPE để trích xuất cao độ giọng hát.

RVC Project Dream-High/RMVPE RMVPE

Vai trò cao độ: theo dõi nguồn vocal F0 trước khi chuyển đổi để âm sắc mục tiêu theo giai điệu.
Chế độ này dùng RMVPE để trích xuất cao độ.
Bằng chứng công khai: bài báo RMVPE Interspeech báo cáo RPA / RCA / OA hàng đầu trên nhiều bộ dữ liệu đa âm vocal cao độ.

MVSep 9205 BS-Kar AVG (lead/back vocals)

Tách hòa âm: MVSep 9205 cung cấp chân dẫn / đệm với hòa âm, BS-RoFormer ban nhạc Leap XE 90 cung cấp vocals hòa âm và ban nhạc BS-RoFormer Leap Instrumental cung cấp tham chiếu đệm đệm.

MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer Mel-Band RoFormer

MVSep 9205 checkpoints hoạt động: BS-Kar-Gabox_IS, BS-Kar-Frazer & Becruily, và BS-Kar-Anvuew với avg_wave ensemble.
MVSep 9205 đầu ra: vocals_without_harmony cộng với đệm + nhạc cụ từ bản phối đầy đủ ban đầu.

Leap XE / Leap Instrumental / Karaoke separation

Đường ống bìa AI tách vocals / đệm trước khi chuyển đổi và mixdown.

pcunwa Leap XE weights MVSep 10178 Leap XE Leap Instrumental configuration Leap Instrumental checkpoint python-audio-separator facebookresearch/demucs MVSep algorithms BS-RoFormer HT Demucs

Dải phân cách chính: Leap XE 90 chuẩn bị vocals và Leap Instrumental công cộng 62 chuẩn bị đệm trước khi RVC.
Đường dẫn hài hòa: MVSep 9205 dẫn / sau có thể xuất vocal stems chì và nền trước khi RVC trộn.
Separator: sử dụng RoFormer, UVR5 hoặc Demucs trước khi chuyển đổi.

So sánh mô hình

Mô hình

Vai trò

Tại sao nó được sử dụng

Tác động đầu ra

Mô hìnhRVC v2

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

Vai tròLõi chuyển đổi giọng nói

Tại sao nó được sử dụngRVC v2 cung cấp âm sắc mục tiêu đã chọn và chuyển đổi được hỗ trợ theo chỉ mục.

Tác động đầu raChuyển đổi vocals

Mô hìnhRMVPE

RVC Project Dream-High/RMVPE RMVPE

Vai tròKhai thác cao độ

Tại sao nó được sử dụngVai trò cao độ: theo dõi nguồn vocal F0 trước khi chuyển đổi để âm sắc mục tiêu theo giai điệu.

Tác động đầu raGiai điệu / đường viền F0

Mô hìnhBS-RoFormer Leap XE 90 bands (vocals pre-separation)

pcunwa Leap XE weights MVSep 10178 Leap XE BS-RoFormer

Vai tròChuẩn bị giọng hát

Tại sao nó được sử dụngTách vocal/đệm tiêu chuẩn. BS-RoFormer băng tần Leap XE 90 xuất ra vocal stem và băng tần BS-RoFormer Leap Instrumental xuất ra stem đệm đệm.

Tác động đầu raGiọng hát và đệm stems

Mô hìnhBS-RoFormer Leap Instrumental (accompaniment pre-separation)

Leap Instrumental configuration Leap Instrumental checkpoint BS-RoFormer

Vai tròChuẩn bị giọng hát

Tại sao nó được sử dụngTách vocal/đệm tiêu chuẩn. BS-RoFormer băng tần Leap XE 90 xuất ra vocal stem và băng tần BS-RoFormer Leap Instrumental xuất ra stem đệm đệm.

Tác động đầu raGiọng hát và đệm stems

Mô hìnhDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

Vai tròBộ phân tách tương thích

Tại sao nó được sử dụngDemucs/UVR5 vẫn hữu ích khi một nguồn cụ thể hoạt động tốt hơn bên ngoài RoFormer.

Tác động đầu rastems thay thế

Tất cả nguồn đánh giá (1)

Tách riêng bộ dữ liệu, phiên bản và điều kiện, kể cả nguồn chưa có dòng đủ điều kiện xếp hạng.

RMVPE · Table 1 ↗
Triển khai được 0 / dòng nguồn 6
Không xếp hạng: 6
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
PYIN [6] · CREPE [7] · HARMOF0 [9] · CRN-Raw [13] · JDC [14] · RMVPEPoly

Giấy tờ và ghi chú điểm chuẩn

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT cung cấp các biểu diễn giọng nói tự giám sát được sử dụng bởi các quy trình chuyển đổi giọng nói kiểu RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE là một công cụ ước tính cao độ vocal mạnh mẽ của Interspeech 2023 được thiết kế cho nhạc đa âm và được sử dụng để trích xuất F0 ưu tiên chất lượng.

ISCA PDF Dream-High/RMVPE

RVC Project

Official repository - current

Dự án RVC là nguồn kỹ thuật chính thức cho quy trình chuyển đổi giọng nói dựa trên truy xuất VITS/HuBERT.

RVC WebUI AI-RVC workflow AI-RVC v1.6.0

Hướng dẫn tham số

Mô hình giọng nói: chọn trọng lượng ký tự mục tiêu và chỉ số truy xuất.
Dịch chuyển cao độ: điều chỉnh nguồn theo nửa cung để phù hợp với phạm vi mục tiêu.
Tỷ lệ chỉ mục: kiểm soát mức độ ảnh hưởng của chỉ mục truy xuất đến màu giọng nói.
Chế độ chính thức · Dùng tách UVR5 và chuyển giọng RVC/Applio, không thêm khử vang hay hậu xử lý.
Điều khiển hỗn hợp: điều chỉnh vocals, nhạc đệm, hồi âm và pha trộn vocal gốc.

Trường hợp sử dụng

Xây dựng bản demo bìa và thử nghiệm giọng nói nhân vật
Xác thực hướng giọng nói trước khi sản xuất sâu hơn
Đưa vocals được tách ra vào quy trình hát hạ lưu

Quy trình làm việc

1Thích tải lên tài liệu vocal đã được tách biệt
2Gửi nhiệm vụ chuyển đổi với hướng giọng nói mục tiêu
3Lắng nghe kết quả trước khi quyết định trộn hoặc đánh bóng thêm

Điểm cần kiểm tra

vocal càng sạch thì kết quả chuyển đổi càng ổn định
Việc tách vocals trước thường đánh bại việc đưa âm thanh hỗn hợp trực tiếp vào RVC
Nghe phụ âm, nốt ngân và nốt cao; kiểm tra độ rõ lời, bước nhảy cao độ và mức âm lượng giọng hát khi trộn với nhạc đệm.

Hướng dẫn liên quan

Tìm phương pháp và các bước xử lý phù hợp với tư liệu của bạn.

Chuyển đổi giọng với RVC · công cụ trực tuyến và hướng dẫn mô hình Tạo bản cover bằng AI · công cụ trực tuyến và hướng dẫn mô hình Nhân bản giọng nói ZONOS2 TTS · công cụ trực tuyến và hướng dẫn mô hình

Giọng hát cover AI

Phản hồi nhanh

Mô hình, thông số và nguồn

RVC v2

RMVPE

MVSep 9205 BS-Kar AVG (lead/back vocals)

Leap XE / Leap Instrumental / Karaoke separation

So sánh mô hình

Giấy tờ và ghi chú điểm chuẩn

HuBERT: Self-Supervised Speech Representation Learning

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

RVC Project

Chính thức / kho lưu trữ

Giấy tờ/ghi chú kỹ thuật

Hướng dẫn tham số

Trường hợp sử dụng

Quy trình làm việc

Điểm cần kiểm tra

Hướng dẫn liên quan