Mô hình
SoulX-Singer và YingMusic-Singer-Plus: điều khiển điểm số và tham chiếu giai điệu, hai tuyến tổng hợp giọng hát
Tổng hợp tiếng hát/so sánh tuyến đường
Tổng hợp tiếng hát/so sánh tuyến đường
TỔNG HỢP GIỌNG HÁT
Chế độ bản nhạc của SoulX tiếp nhận siêu dữ liệu được chuyển đổi từ MIDI. YingMusic-Singer-Plus tiếp nhận một đoạn giọng hát cung cấp giai điệu cùng lời ca đích. Một bên cần căn chỉnh nốt với lời; bên kia mã hóa giai điệu từ âm thanh.
Đường sinh tuân theo dx_t/dt = v_θ(x_t,t | l,m,r), trong đó trường vận tốc được điều kiện hóa bởi lời ca, giai điệu và tham chiếu âm sắc. Căn chỉnh sai sẽ bẻ quỹ đạo tích phân về một thỏa hiệp kém giữa phát âm, nhịp điệu và bản sắc giọng.
SoulX chuyển MIDI thành siêu dữ liệu được phân đoạn; âm tiết phải khớp với thời điểm bắt đầu nốt. YingMusic không cần MIDI tường minh, nhưng cần một bản giọng giai điệu sạch vì âm nhạc đệm lọt vào sẽ làm nhiễu biểu diễn giai điệu.
SoulX-Singer xoay quanh MIDI, lời ca và lời nhắc âm sắc. YingMusic-Singer-Plus nhấn mạnh thêm khả năng chỉnh lời linh hoạt và dẫn hướng giai điệu mà không cần chú giải từng nốt. Khi so sánh phải tách cao độ, trường độ, cách nhả chữ và âm sắc tham chiếu, thay vì thu gọn cả hai hệ thống thành một công tắc tạo giọng hát.
Hợp đồng đầu vào quyết định một hệ thống giọng hát có thể làm gì. SoulX-Singer chú trọng âm sắc zero-shot và sinh giọng hát; YingMusic-Singer-Plus kết hợp lời ca với điều kiện giai điệu hoặc bản nhạc. Cả hai đều tạo ra tiếng hát, nhưng một bên phụ thuộc nhiều hơn vào âm thanh tham chiếu, còn bên kia dựa nhiều hơn vào cấu trúc âm nhạc.
Tổng hợp giọng hát đã đi từ ghép nối và mô hình âm học đến bộ tạo âm thần kinh, token codec và bộ sinh lớn. Vấn đề dai dẳng vẫn là căn chỉnh giữa âm vị, trường độ nốt, rung giọng, hơi thở và âm sắc. Một điệp khúc nghe trôi chảy vẫn có thể che giấu lời sai và độ lệch tích lũy qua từng ô nhịp.
ŝ=G(lyrics, pitch, duration, e_timbre, c_style)pitchcao độ hoặc đường nét giai điệudurationtrường độ nốte_timbreâm sắc từ một lời nhắc đã được cho phépSoulX-Singer sử dụng lời ca, MIDI/siêu dữ liệu và lời nhắc âm sắc; YingMusic-Singer-Plus chấp nhận dẫn hướng giai điệu linh hoạt hơn. Cao độ và trường độ là các điều kiện bản nhạc có thể chỉnh sửa, trong khi tham chiếu giai điệu còn mang thêm thông tin trình diễn.
Độ chính xác cao độ, trường độ, độ rõ của lời, độ tương đồng âm sắc và hơi thở là những phép kiểm tra riêng. Một mẫu nốt cao được chọn lọc không thể chứng minh độ ổn định trong suốt cả bài hát.
Có thể lần theo bài báo, mã nguồn và trọng số qua SoulX-Singer / bài báo SoulX-Singer / YingMusic-Singer-Plus.
Mỗi hàng giữ nguyên kiến trúc nguồn, chỉ số hoặc định nghĩa nhiệm vụ; các kết quả không dùng chung giao thức được trình bày tách biệt.
| Mô hình | Kiến trúc hoặc bằng chứng | Phạm vi |
|---|---|---|
| SoulX-Singer | giọng hát zero-shot dựa trên tham chiếu | bản sắc, lời ca và độ ổn định dài hạn |
| YingMusic-Singer-Plus | lời ca kết hợp giai điệu/bản nhạc | căn chỉnh, quãng giọng và nhịp độ |
| quy trình giọng hát truyền thống | đặc trưng âm học tường minh kết hợp bộ tạo âm | điều khiển rõ ràng nhưng độ tự nhiên xuyên miền còn hạn chế |
So sánh từng từ để tìm chỗ bị bỏ sót, nuốt phụ âm, lặp lại và sai thời điểm phụ âm; sau đó kiểm tra điểm vào cao độ, các đoạn luyến và rung giọng. Độ tự nhiên không thể thay thế độ chính xác nội dung.
Giữ nguyên điệu tính, BPM, nhịp và đoạn tham chiếu. Nhạc đệm và hiệu ứng vang trong tham chiếu có thể bị sao chép sang đầu ra.
Nhân bản ca sĩ đòi hỏi sự cho phép rõ ràng và không được phục vụ việc mạo danh, lừa dối hoặc né tránh quyền.
Mô hình không thay thế việc phối khí hay chỉ đạo thanh nhạc. Quãng giọng, phát âm, cảm xúc và thói quen ngôn ngữ vẫn cần con người xử lý.
Tên mô hình, số liệu và giới hạn đều truy về các bài báo, kho mã hoặc thẻ mô hình dưới đây.