Mô hình
HQ-SVC và YingMusic-SVC: tháo dỡ nội dung, F0, năng lượng và âm sắc chuyển đổi giọng hát
So sánh chuyển đổi giọng hát/công nghệ
So sánh chuyển đổi giọng hát/công nghệ
© 2026 TelkNet. Đã đăng ký Bản quyền.
CHUYỂN ĐỔI GIỌNG HÁT
SVC không trộn giọng tham chiếu đích vào nguồn. Hệ thống phải giữ nguyên lời, thời điểm và giai điệu của nguồn trong khi thay thế các đặc trưng thống kê về âm sắc. Rò rỉ nội dung sẽ biến thành lỗi phát âm hoặc âm nền lọt vào.
Cao độ có thể được biểu diễn theo đơn vị bán cung bằng p=69+12log₂(f₀/440). Tự động dịch quãng giọng giúp xử lý chênh lệch âm vực lớn, nhưng lỗi F0 sẽ biến các đoạn luyến, hơi thở và hòa âm thành tín hiệu giai điệu sai.
Thẻ mô hình HQ-SVC đóng gói mã suy luận, FACodec, RMVPE và tài nguyên vocoder. YingMusic-SVC công bố bộ điều hợp nhận biết F0, đối sánh luồng cân bằng năng lượng và quy trình huấn luyện cho nhiễu hài âm trong điều kiện thực tế. Khi không có tập kiểm thử chung, tài liệu công khai không đủ cơ sở để xác định một bên thắng giữa hai dự án.
Âm nhạc đệm rò vào nguồn sẽ được đổi màu âm trong quá trình chuyển đổi, còn tiếng vang hoặc âm nền trong mẫu đích có thể bị hiểu nhầm là đặc điểm nhận dạng. Cả nguồn giọng hát chính lẫn giọng tham chiếu đích đều cần sạch, và âm thanh đã chuyển đổi phải được ghi rõ là âm thanh tổng hợp.
Chuyển đổi giọng hát giữ lại lời và giai điệu của một màn trình diễn, đồng thời thay thế biểu diễn liên quan đến âm sắc. HQ-SVC nhấn mạnh một chuỗi chuyển đổi chất lượng cao; YingMusic-SVC đưa ra một thiết kế khác để điều kiện hóa theo nội dung, F0 và ca sĩ. Khác với tổng hợp, đầu vào là một phần trình diễn giọng hát đã có sẵn.
SVC đã phát triển từ ánh xạ phổ sang bộ mã hóa nội dung, F0 tường minh, bộ giải mã sinh và biểu diễn ca sĩ mạnh hơn. Việc phân tách vẫn chưa hoàn toàn: giọng địa phương, sắc thái động và các formant của nguồn có thể lọt qua, còn âm thanh căn phòng từ giọng tham chiếu đích có thể bị sao chép.
ŷ=G(c(x_src),F0(x_src),E(x_src),e(x_ref))c(x_src)nội dung ngôn ngữF0,Egiai điệu và năng lượnge(x_ref)điều kiện âm sắc đíchNội dung, F0 và năng lượng đến từ phần trình diễn nguồn; âm sắc đích đến từ giọng tham chiếu. Phân tách không hoàn hảo sẽ để lại đặc điểm nhận dạng của nguồn hoặc truyền cả màu âm của căn phòng.
Một bản phối đầy đủ trước hết cần một stem giọng hát chính sạch. Âm rò từ khâu phân tách sẽ được đổi màu âm trong quá trình chuyển đổi và có thể khó loại bỏ hơn, vì vậy hai giai đoạn phải được kiểm tra cùng nhau.
Có thể truy cập bài báo, mã và trọng số qua HQ-SVC / YingMusic-SVC / bài báo YingMusic-SVC.
Mỗi hàng giữ nguyên kiến trúc, chỉ số hoặc định nghĩa tác vụ từ nguồn tương ứng; các kết quả không dùng chung giao thức vẫn được tách riêng.
| Mô hình | Kiến trúc hoặc bằng chứng | Phạm vi |
|---|---|---|
| HQ-SVC | chuỗi mặc định chất lượng cao | độ trung thực, độ rõ và độ ổn định ở âm vực cao |
| YingMusic-SVC | so sánh nội dung/F0/âm sắc | khả năng duy trì qua nhiều ca sĩ và ngôn ngữ |
| tách nguồn + SVC | quy trình hoàn chỉnh cho đầu vào đã phối | âm rò từ khâu phân tách lan sang khâu chuyển đổi |
Trước tiên hãy kiểm tra lời và nhịp, sau đó đến các bước nhảy cao độ, âm xuýt, độ thoáng hơi và hiện tượng vỡ ở âm vực cao. Tự động chuyển tông làm thay đổi áp lực lên giọng hát và không thể được tóm tắt bằng độ tương đồng trung bình.
Hãy dùng giọng tham chiếu đích khô, hát đơn, không có nhạc đệm và bao phủ một quãng giọng hữu ích. Một mẫu ngắn có nhiều tiếng vang có thể biến màu âm của căn phòng thành đặc điểm nhận dạng tưởng như thuộc về ca sĩ.
Việc chuyển đổi không xóa bỏ bản quyền hay quyền của người biểu diễn. Phát hành công khai cần có sự cho phép đối với cả phần trình diễn nguồn và danh tính đích.
Hệ thống không bảo đảm ẩn danh; đặc điểm của nguồn có thể vẫn còn, vì vậy SVC không phải là bộ lọc quyền riêng tư.
Tên mô hình, số liệu và giới hạn bắt nguồn từ các bài báo, kho mã hoặc thẻ mô hình dưới đây.