Beat This!: Theo dõi nhịp mà không kết thúc DBN
Truy xuất thông tin âm nhạc/giải thích giấy
TRUY XUẤT THÔNG TIN ÂM NHẠC / GHI CHÚ KỸ THUẬT
Theo dõi phách trả lời xung nhịp xuất hiện khi nào. Chuyển nốt trả lời nhạc cụ nào chơi cao độ nào. Beat This! giải quyết bài toán thứ nhất và đưa phần lớn cấu trúc trước đây giao cho hậu xử lý Bayes động vào mô hình chuỗi đã học.
Giám sát chịu được độ lệch
Chú giải phách do con người tạo không trùng nhau đến độ chính xác từng mẫu. Với xung đích y_t và xác suất khung p_t, BCE theo từng khung thông thường phạt cả một dự đoán hợp lý về âm nhạc chỉ lệch vài khung. Có thể viết gọn mục tiêu chịu lệch như sau:
L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})
Khoảng dung sai thuộc về giai đoạn huấn luyện, không phải thao tác hậu kỳ ép vào lưới. Hai đầu ra phách và phách đầu ô nhịp dùng chung biểu diễn chuỗi, nhưng phách đầu hiếm hơn vẫn cần một đường quyết định riêng.
Đưa DBN ra khỏi đường xử lý chính
Các hệ thống cổ điển dùng DBN để áp đặt tính liên tục của nhịp độ và chuyển tiếp nhịp. Beat This! cho thấy mô hình chính có thể tạo chuỗi phách và phách đầu ổn định mà không cần giai đoạn điều chỉnh theo tập dữ liệu đó. Sự kiện phách theo giây, phách đầu ô nhịp và BPM suy ra từ khoảng cách vẫn là ba đầu ra khác nhau.
Nghiệm thu có thể tái lập
Tệp chính thức final0.ckpt được ghim bằng SHA-256 và tác vụ chạy ngoại tuyến. Vì các mô hình cuối đã thấy một số tập dữ liệu phách công khai trong huấn luyện, điểm trên chính các tập đó có thể lạc quan. Do đó, nghiệm thu còn dùng một bài hát đầy đủ ngoài thực tế và xuất bảng thời gian thô cho lưới DAW, cắt đoạn và lượng tử hóa MIDI ở bước sau.
Các phương pháp chuyển âm đã phát triển ra sao
Theo dõi phách truyền thống dự đoán kích hoạt bằng mạng nơ-ron rồi để mạng Bayes động chọn chuỗi. Beat This dùng mô hình chuỗi mạnh hơn cùng giám sát chịu lệch để tạo trực tiếp phách và phách đầu ổn định, đưa DBN ra khỏi đường xử lý mặc định.
Loại bỏ hậu xử lý không đồng nghĩa loại bỏ tiên nghiệm âm nhạc. Nhịp, khoảng nhịp độ và phong cách chú giải vẫn nằm trong dữ liệu. Kết quả ISMIR phải được đọc theo từng tập dữ liệu và chỉ số; rubato, đoạn không trống và nhịp phức vẫn là những trường hợp đuôi dài.
Hàm mất mát chịu lệch xử lý ranh giới chú giải
L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})δđộ dịch khung nhỏ được cho phépΔcửa sổ dung sai chú giảiBCEentropy chéo nhị phân trên các kích hoạt
Chú giải phách của con người có thể lệch nhau vài khung. Giám sát chịu lệch tìm kiếm trong một cửa sổ căn chỉnh nhỏ, giảm hình phạt cho dao động chú giải nhưng không cho phép trôi tùy ý trên toàn bài.
Phách, phách đầu ô nhịp, BPM và nốt MIDI là các đầu ra khác nhau. Chồng dự đoán lên dạng sóng và lưới ô nhịp để kiểm tra nhịp độ một nửa/gấp đôi, lấy đà và các đoạn không trống.
Có thể lần theo bài báo, mã nguồn và trọng số qua mã nguồn cùng trọng số Beat This / bài báo ISMIR 2024.
Chỉ so sánh sau khi định nghĩa sự kiện trùng khớp
Mỗi hàng giữ nguyên kiến trúc nguồn, chỉ số hoặc định nghĩa nhiệm vụ; kết quả không dùng chung giao thức được trình bày riêng.
| Mô hình | Kiến trúc hoặc bằng chứng | Phạm vi |
|---|---|---|
| Beat This không có DBN | phách và phách đầu ô nhịp đầu cuối | đường mặc định và độ ổn định dài hạn |
| Beat This với hậu xử lý tùy chọn | ràng buộc nhịp độ đặc biệt | ghi lại tham số để tránh thay đổi ẩn |
| kích hoạt kết hợp DBN | tiên nghiệm nhịp độ/chuyển tiếp tường minh | vững nhưng có thể khóa nhầm nhịp độ |
Nghe kiểm tra các sự kiện nốt
Chồng dự đoán lên dạng sóng và lưới ô nhịp để kiểm tra nhịp độ một nửa/gấp đôi, lấy đà, thay đổi nhịp độ và đoạn không trống. F-measure trung bình có thể che giấu cả bài bị lệch một phách.
Hàm mất mát chịu lệch tạo gradient hợp lý gần ranh giới chú giải; nó không cho phép mốc thời gian trôi tùy ý.
Thông tin âm nhạc mà MIDI không bảo toàn
Thời điểm phách không tạo thành một bản nhạc hoàn chỉnh. Phân đoạn, groove, tỷ lệ swing và thay đổi nhịp cần phân tích ở cấp cao hơn.
Các tập dữ liệu dùng cửa sổ, quy tắc liên tục và trọng số phách đầu khác nhau, vì vậy bảng xếp hạng phải giữ lại tên giao thức.
Bài báo và tệp công khai của mã nguồn cùng trọng số Beat This
Tên mô hình, số liệu và giới hạn đều truy về các bài báo, kho mã hoặc thẻ mô hình dưới đây.