VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music
ISMIR - 2021
Đang tải...
Chuyển giọng hát, ngân nga hoặc rãnh giọng thành MIDI. So sánh ROSVOT, GAME, SOME và VOCANO trước khi sửa giai điệu.
Đầu vào
Tải lên giọng hát đơn, tiếng ngân nga hoặc vocal chính đã tách. Nếu chỉ có bài hát hoàn chỉnh, chọn “Bài hát hoàn chỉnh”; vocal chính sẽ được tách trước khi phiên âm.
Các định dạng được hỗ trợ
Đầu ra
MIDI
Trường hợp sử dụng
Sao chép giai điệu đã hát vào DAW để chỉnh sửa, nhân đôi, lập trình tổng hợp hoặc soạn thảo ký hiệu.
Chọn mô hình phù hợp với tư liệu và mục đích, rồi xem ví dụ trước khi gửi.
Chi phí, thời gian, định dạng và tham số phụ thuộc mô hình đã chọn.
Khi góp ý, hãy nêu tên công cụ, các bước và vấn đề gặp phải. Ảnh chụp màn hình giúp xác định vấn đề.
VOCANO lấy cao độ giọng hát bằng Patch-CNN và xác định ranh giới nốt bằng PyramidNet-110. Điểm vào suy luận đã công bố không có thêm điều khiển mô hình.
Lộ trình bền vững cho giọng hát có nhiễu hoặc lọt nhạc đệm; checkpoint chính thức hiện tại chủ yếu được huấn luyện bằng giọng hát tiếng Quan thoại.
Chuyển giọng hát thành MIDI, có thể chỉnh ngôn ngữ hát, phân đoạn và nhận diện nốt.
SOME là tuyến giọng hát sang MIDI nhanh và nhẹ.
ISMIR - 2021
ACL - 2024
Lộ trình bền vững cho giọng hát có nhiễu hoặc lọt nhạc đệm; checkpoint chính thức hiện tại chủ yếu được huấn luyện bằng giọng hát tiếng Quan thoại.
Official technical guide - 2026
Chuyển giọng hát thành MIDI, có thể chỉnh ngôn ngữ hát, phân đoạn và nhận diện nốt.
Official technical guide - 2023
SOME là tuyến giọng hát sang MIDI nhanh và nhẹ.
Bao gồm kết quả kiểm thử công khai của các mô hình được dùng tại đây và nơi khác. Mặc định hiển thị bảng nguồn đầy đủ; cũng có thể chọn điều kiện và chỉ số để so sánh. Không thể so sánh trực tiếp điểm số giữa các điều kiện kiểm thử khác nhau.
Chỉ hiển thị bản ghi đã xác minh có mã suy luận công khai và trọng số đúng phiên bản thử nghiệm, cùng các thuật toán không cần trọng số. Dịch vụ đóng, trọng số chưa công bố và phiên bản thử nghiệm chưa đối chiếu được sẽ bị loại. Đây không phải bảng xếp hạng của tất cả mô hình.
Trọng số công khai không chứng minh có giấy phép mã nguồn mở đầy đủ. Mở rộng dữ liệu để xem giấy phép trọng số được công bố và điều kiện truy cập. Giấy phép chưa công bố được đánh dấu riêng.
Mô hình đã chọn chưa có kết quả công khai tương ứng được xác minh nên chưa được xếp hạng.
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Dữ liệu riêng của tác giả, 100 bản ghi giữ lại; mỗi kích thước dùng K tốt nhất được báo cáo. OA là độ chính xác tổng thể theo khung, không phải F1 nốt nhạc, và không gộp với ROSVOT.
| Hạng theo chỉ số | Mô hình | Xếp hạng tổng hợp trong cùng quy trình↑OA (%) | QER (%)↓ | Presence F1 (%)↑ | RPA (%)↑ | Pitch RMSE↓ | Chamfer (frames)↓ |
|---|---|---|---|---|---|---|---|
| 1 | GAME 1.0 Medium · K=8Trọng số công khai · Mã suy luận | 95.03 | 12.3 | 99.23 | 94.86 | 0.552 | 1.44 |
| 1 | GAME 1.0 Large · K=1Trọng số công khai · Mã suy luận | 95.03 | 12.87 | 99.15 | 94.92 | 0.684 | 1.44 |
| 3 | GAME 1.0 Small · K=2Trọng số công khai · Mã suy luận | 94.99 | 13.13 | 99.14 | 94.99 | 0.653 | 1.5 |
Tách riêng bộ dữ liệu, phiên bản và điều kiện, kể cả nguồn chưa có dòng đủ điều kiện xếp hạng.
Triển khai được 2 / dòng nguồn 10
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)
Điểm số áp dụng cho bộ dữ liệu, chỉ số và phiên bản được nêu; không thể so sánh trực tiếp các phép thử khác nhau.
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Triển khai được 2 / dòng nguồn 10
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)
Lộ trình bền vững cho giọng hát có nhiễu hoặc lọt nhạc đệm; checkpoint chính thức hiện tại chủ yếu được huấn luyện bằng giọng hát tiếng Quan thoại.
| Hạng theo chỉ số | Mô hình | COn (F) ↑ | COff (F) ↑ | COnPOff (F) ↑ | Pitch (AOR) ↑ | Melody (RPA) ↑ | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| clean | noisy | clean | noisy | clean | noisy | clean | noisy | clean | noisy | ||
| 1 | ℳ (ours)Trọng số công khai · Mã suy luận | 94.0 | 93.8 | 94.5 | 94.4 | 77.4 | 77.0 | 97.0 | 97.1 | 87.6 | 87.4 |
| 2 | ℳ (w/ E W )Trọng số công khai · Mã suy luận | 93.3 | 93.5 | 93.2 | 92.9 | 77.1 | 77.0 | 96.5 | 96.2 | 87.5 | 87.2 |