Enhanced Automatic Drum Transcription via Drum Stem Source Separation
arXiv - 2025
Đang tải...
ADTOF Plus · ADTOF Direct · ADT_STR · MSG-LD. Bản phối đầy đủ được tách trống trước theo quy trình đã chọn. Track trống riêng đi thẳng vào mô hình chép nhạc hoặc tách thành phần đã chọn.
Đầu vào
Hỗ trợ đầu vào ở các định dạng như mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Các định dạng được hỗ trợ
Đầu ra
MIDI
Trường hợp sử dụng
Chỉnh sửa nốt nhạc, phối khí và chi tiết biểu diễn.
Chọn mô hình phù hợp với tư liệu và mục đích, rồi xem ví dụ trước khi gửi.
Chi phí, thời gian, định dạng và tham số phụ thuộc mô hình đã chọn.
Khi góp ý, hãy nêu tên công cụ, các bước và vấn đề gặp phải. Ảnh chụp màn hình giúp xác định vấn đề.
ADT_STR nhận diện thời điểm và lực đánh của 26 nhóm trống, rồi xuất MIDI.
MSG-LD tạo năm bè trống và phát hiện đầu tiếng; MIDI dùng lực đánh cố định 100 và thời lượng phát 0,1 giây.
MSG-LD tạo năm bè trống và phát hiện đầu tiếng; MIDI dùng lực đánh cố định 100 và thời lượng phát 0,1 giây.
ADTOF Plus bổ sung tách trống, ánh xạ lực đánh và xử lý hi-hat mở/đóng cho ADTOF, đồng thời nhận bản phối đầy đủ.
ADTOF Direct chép trống đã tách bằng PyTorch ADTOF. Khi chọn bản phối đầy đủ, TelkNet dùng AudioSep-Hive để tách trống trước, không áp dụng hậu xử lý lực đánh và hi-hat mở/đóng của Plus.
arXiv - 2025
ISMIR - 2021
Signals - 2023
Bao gồm kết quả kiểm thử công khai của các mô hình được dùng tại đây và nơi khác. Mặc định hiển thị bảng nguồn đầy đủ; cũng có thể chọn điều kiện và chỉ số để so sánh. Không thể so sánh trực tiếp điểm số giữa các điều kiện kiểm thử khác nhau.
Chỉ hiển thị bản ghi đã xác minh có mã suy luận công khai và trọng số đúng phiên bản thử nghiệm, cùng các thuật toán không cần trọng số. Dịch vụ đóng, trọng số chưa công bố và phiên bản thử nghiệm chưa đối chiếu được sẽ bị loại. Đây không phải bảng xếp hạng của tất cả mô hình.
Trọng số công khai không chứng minh có giấy phép mã nguồn mở đầy đủ. Mở rộng dữ liệu để xem giấy phép trọng số được công bố và điều kiện truy cập. Giấy phép chưa công bố được đánh dấu riêng.
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Khuyến nghị trong README của ADT-STR mâu thuẫn với biểu đồ điểm. Xếp hạng này dùng các giá trị ghi trên biểu đồ chính thức.
| Hạng theo chỉ số | Mô hình | ENST↑F1% | MDB↑F1% |
|---|---|---|---|
| 1 | ADT-STR · τ=0.4Mô hình dùng tại đâyTrọng số công khai · Mã suy luận | 60 | 71 |
| 2 | ADT-STR · τ=0.6Trọng số công khai · Mã suy luận | 58 | 65 |
| 3 | ADT-STR · τ=0.8Trọng số công khai · Mã suy luận | 52 | 61 |
Nhãn cho biết mô hình hoặc thành phần được dùng tại đây. Điểm số và thiết lập lấy từ các thử nghiệm được dẫn nguồn, không phải kết quả đánh giá lại toàn bộ quy trình của trang.
Tách riêng bộ dữ liệu, phiên bản và điều kiện, kể cả nguồn chưa có dòng đủ điều kiện xếp hạng.
Triển khai được 2 / dòng nguồn 2
Triển khai được 6 / dòng nguồn 6
Triển khai được 3 / dòng nguồn 6
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
Vogl et al. 8-class baseline · MDB · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · RBMA · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · ENST · 8-class evaluation · onset only · 50 ms
Triển khai được 0 / dòng nguồn 8
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
Setting-1 · ENST · Setting-2 · ENST · Setting-3 · ENST · Setting-4 · ENST · Setting-1 · MDB · Setting-2 · MDB · Setting-3 · MDB · Setting-4 · MDB
Triển khai được 2 / dòng nguồn 3
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
LarsNet
Triển khai được 2 / dòng nguồn 4
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
MSG-LD Vanilla · MSG-LD TB
Điểm số áp dụng cho bộ dữ liệu, chỉ số và phiên bản được nêu; không thể so sánh trực tiếp các phép thử khác nhau.
Bảng chỉ gồm các mô hình có trọng số hoặc cấu hình công khai và có thể chạy cục bộ.
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Triển khai được 2 / dòng nguồn 2
ADTOF-PyTorch README · PyTorch 88.51 · Keras 88.74
| Hạng theo chỉ số | Mô hình | Recall↑ | Precision↑ | F-measure↑ |
|---|---|---|---|---|
| 1 | ADTOF (original)Trọng số công khai · Mã suy luận | 88.68 | 89.90 | 88.74 |
| 2 | ADTOF-pytorchTrọng số công khai · Mã suy luậnsrc/adtof_pytorch/data/adtof_frame_rnn_pytorch_weights.pthMã suy luậnChưa công bố giấy phép trọng số | 88.26 | 89.83 | 88.51 |
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Các giá trị lấy từ nguồn công khai được liên kết. Nhãn hàng cho biết tập kiểm thử hoặc checkpoint; điểm chưa được công bố được hiển thị bằng -.
| Hạng theo chỉ số | Mô hình | Điều kiện thử nghiệm | F1%↑ | % chính xác↑ | Thu hồi %↑ |
|---|---|---|---|---|---|
| 1 | ADTOF PlusTrọng số công khai · Mã suy luậnMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchMã suy luận drumsep_5stems_mdx23c_jarredou.ckptGiấy phép trọng số (theo kho mã): mit | MDB · 5 classes · onset only · 50 ms | 89 | 89 | 89 |
| 2 | Original ADTOFTrọng số công khai · Mã suy luận | MDB · 5 classes · onset only · 50 ms | 87 | - | - |
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Các giá trị lấy từ nguồn công khai được liên kết. Nhãn hàng cho biết tập kiểm thử hoặc checkpoint; điểm chưa được công bố được hiển thị bằng -.
| Hạng theo chỉ số | Mô hình | Điều kiện thử nghiệm | F1%↑ | % chính xác↑ | Thu hồi %↑ |
|---|---|---|---|---|---|
| - | ADTOF PlusTrọng số công khai · Mã suy luậnMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchMã suy luận drumsep_5stems_mdx23c_jarredou.ckptGiấy phép trọng số (theo kho mã): mit | MDB · 8-class evaluation · onset only · 50 ms | 84 | 84 | 84 |
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Triển khai được 2 / dòng nguồn 3
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
LarsNet
Bài báo đánh giá riêng OB, TB và OBTB; điểm OB không thuộc OBTB mặc định. F1 nốt nhạc và mel-MSE/FAD âm thanh nằm ở các bảng riêng. Chuỗi phát hiện trong bài báo chưa được đo lại tại đây.
| Hạng theo chỉ số | Mô hình | MDB · Kick | MDB · Snare | MDB · Toms | MDB · Hi-Hats | MDB · Cymbals | MDB · Overall | ENST · Kick | ENST · Snare | ENST · Toms | ENST · Hi-Hats | ENST · Cymbals | ENST · Overall | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | ADTOFTrọng số công khai · Mã suy luận | 0.851 | 0.790 | 0.923 | 0.752 | 0.828 | 0.690 | 0.520 | 0.520 | 0.520 | 0.773 | 0.859 | 0.703 | 0.849 | 0.802 | 0.902 | 0.795 | 0.813 | 0.778 | 0.795 | 0.984 | 0.667 | 0.599 | 0.932 | 0.441 | 0.581 | 0.669 | 0.513 | 0.777 | 0.936 | 0.663 | 0.657 | 0.788 | 0.563 | 0.709 | 0.908 | 0.582 |
| 2 | MSG-LD OBTrọng số công khai · Mã suy luận | 0.931 | 0.939 | 0.923 | 0.760 | 0.791 | 0.732 | 0.268 | 0.309 | 0.236 | 0.650 | 0.550 | 0.794 | 0.481 | 0.663 | 0.377 | 0.707 | 0.709 | 0.704 | 0.821 | 0.941 | 0.729 | 0.642 | 0.698 | 0.594 | 0.491 | 0.415 | 0.602 | 0.630 | 0.643 | 0.618 | 0.391 | 0.611 | 0.287 | 0.640 | 0.695 | 0.593 |
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Triển khai được 2 / dòng nguồn 4
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
MSG-LD Vanilla · MSG-LD TB
Bài báo đánh giá riêng OB, TB và OBTB; điểm OB không thuộc OBTB mặc định. F1 nốt nhạc và mel-MSE/FAD âm thanh nằm ở các bảng riêng. Chuỗi phát hiện trong bài báo chưa được đo lại tại đây.
| Hạng theo chỉ số | Mô hình | MDB Overall | ENST Overall | Mean overall F1 (2 sets) | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | MSG-LD OBTrọng số công khai · Mã suy luận | 0.707 | 0.709 | 0.704 | 0.640 | 0.695 | 0.593 | 0.674 | 0.674 | 0.674 |
| 2 | MSG-LD OBTBTrọng số công khai · Mã suy luận | 0.690 | 0.709 | 0.672 | 0.636 | 0.703 | 0.580 | 0.663 | 0.663 | 0.663 |