Enhanced Automatic Drum Transcription via Drum Stem Source Separation
arXiv - 2025
Φόρτωση...
ADTOF Plus · ADTOF Direct · ADT_STR · MSG-LD. Η πλήρης μίξη περνά πρώτα από διαχωρισμό τυμπάνων στην επιλεγμένη διαδικασία. Τα απομονωμένα τύμπανα πηγαίνουν απευθείας στο επιλεγμένο μοντέλο μεταγραφής ή διαχωρισμού.
Εισαγωγή
Υποστηρίζει εισόδους σε μορφές όπως mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Υποστηριζόμενες μορφές
Παραγωγή
5 × WAV · MIDI · CSV
Περίπτωση χρήσης
Επεξεργασία νοτών, ενορχήστρωσης και λεπτομερειών εκτέλεσης.
Επιλέξτε μοντέλο για το υλικό και τον σκοπό σας και δείτε τα παραδείγματα πριν από την υποβολή.
Κόστος, χρόνος, μορφές και παράμετροι εξαρτώνται από το επιλεγμένο μοντέλο.
Διαχωρίζει μέρη ντραμς και εντοπίζει τα χτυπήματα. Το MIDI velocity είναι σταθερό στο 100 και κάθε συμβάν διαρκεί 0.1 δευτερόλεπτα· η διάρκεια του πλήρους WAV δεν αλλάζει.
Στα σχόλιά σας αναφέρετε το εργαλείο, τα βήματα και το πρόβλημα. Τα στιγμιότυπα οθόνης βοηθούν στον εντοπισμό του.
Το MSG-LD δημιουργεί πέντε κανάλια ντραμς και ανιχνεύει κρούσεις· το MIDI έχει σταθερή ένταση 100 και διάρκεια αναπαραγωγής 0,1 δευτερολέπτων.
Το ADTOF Plus προσθέτει διαχωρισμό τυμπάνων, ένταση χτυπημάτων και επεξεργασία ανοικτού/κλειστού hi-hat στο ADTOF και δέχεται πλήρεις μίξεις.
Το ADTOF Direct μεταγράφει απομονωμένα τύμπανα με PyTorch ADTOF. Σε πλήρη μίξη, το TelkNet εξάγει πρώτα τα τύμπανα με AudioSep-Hive, χωρίς τη μετεπεξεργασία έντασης και ανοικτού/κλειστού hi-hat του Plus.
Το ADT_STR ανιχνεύει χρόνους και εντάσεις κρούσης για 26 κατηγορίες ντραμς και εξάγει MIDI.
Το ADT_STR ανιχνεύει χρόνους και εντάσεις κρούσης για 26 κατηγορίες ντραμς και εξάγει MIDI.
Το ADT_STR ανιχνεύει χρόνους και εντάσεις κρούσης για 26 κατηγορίες ντραμς και εξάγει MIDI.
arXiv - 2025
ISMIR - 2021
Signals - 2023
Περιλαμβάνει δημόσια αποτελέσματα δοκιμών μοντέλων που χρησιμοποιούνται εδώ και αλλού. Από προεπιλογή εμφανίζεται ο πλήρης πίνακας της πηγής· μπορείτε επίσης να επιλέξετε συνθήκες και μετρικές για σύγκριση. Βαθμολογίες από διαφορετικές συνθήκες δεν συγκρίνονται άμεσα.
Εμφανίζονται μόνο εγγραφές με επαληθευμένη δημόσια υλοποίηση συμπερασμού και αντίστοιχα βάρη, καθώς και αλγόριθμοι που δεν χρειάζονται βάρη. Εξαιρούνται κλειστές υπηρεσίες, μη δημοσιευμένα βάρη και μη ταυτοποιημένες πειραματικές εκδόσεις. Δεν πρόκειται για κατάταξη όλων των μοντέλων.
Τα δημόσια βάρη δεν τεκμηριώνουν πλήρη άδεια ανοικτού κώδικα. Αναπτύξτε τα δεδομένα για τις δηλωμένες άδειες βαρών και τους όρους πρόσβασης. Οι μη δηλωμένες άδειες επισημαίνονται χωριστά.
Επιλέξτε ένα σύνολο δεδομένων για να δείτε όλες τις μετρικές κάθε μοντέλου. Οι γραμμές ακολουθούν την επίσημη κατάταξη ή την επιλεγμένη μετρική. Η έντονη γραφή δείχνει την καλύτερη συγκρίσιμη τιμή κάθε στήλης, μαζί με τις ισοβαθμίες. Τα διαφορετικά πρωτόκολλα αξιολόγησης κατατάσσονται χωριστά· οι βαθμολογίες που λείπουν εμφανίζονται ως -.
| Κατάταξη ανά μετρική | Μοντέλο | MDB · Overall | ENST · Overall | MDB | ENST | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Kick↑F1 % | Snare↑F1 % | Toms↑F1 % | Hi-Hats↑F1 % | Cymbals↑F1 % | Kick↑F1 % | Snare↑F1 % | Toms↑F1 % | Hi-Hats↑F1 % | Cymbals↑F1 % | ||||
| 1 | ADTOFΔημόσια βάρη · Κώδικας συμπερασμούΔημόσια βάρηΚώδικας συμπερασμού Frame_RNN_adtofAll_0.data-00000-of-00001 + .indexΆδεια βαρών (δήλωση αποθετηρίου): CC-BY-NC-SA-4.0 | 79.5 | 70.9 | 85.1 | 75.2 | 52 | 77.3 | 84.9 | 79.5 | 59.9 | 58.1 | 77.7 | 65.7 |
| 2 | MSG-LD OBΜοντέλο του ιστοτόπουΔημόσια βάρη · Κώδικας συμπερασμού | 70.7 | 64 | 93.1 | 76 | 26.8 | 65 | 48.1 | 82.1 | 64.2 | 49.1 | 63 | 39.1 |
| 3 | MSG-LD OBTBΔημόσια βάρη · Κώδικας συμπερασμού | 69 | 63.6 | - | - | - | - | - | - | - | - | - | - |
Οι ενδείξεις επισημαίνουν μοντέλα ή στοιχεία που χρησιμοποιούνται εδώ. Οι βαθμολογίες και οι ρυθμίσεις προέρχονται από τις αναφερόμενες δοκιμές, όχι από νέα αξιολόγηση ολόκληρης της επεξεργασίας του ιστοτόπου.
Σύνολα δεδομένων, εκδόσεις και συνθήκες παραμένουν χωριστά, ακόμη και πηγές χωρίς επιλέξιμες γραμμές.
Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 2
Τοπικά εκτελέσιμα 6 / αρχικές γραμμές 6
Τοπικά εκτελέσιμα 3 / αρχικές γραμμές 6
Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.
Vogl et al. 8-class baseline · MDB · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · RBMA · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · ENST · 8-class evaluation · onset only · 50 ms
Τοπικά εκτελέσιμα 0 / αρχικές γραμμές 8
Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.
Setting-1 · ENST · Setting-2 · ENST · Setting-3 · ENST · Setting-4 · ENST · Setting-1 · MDB · Setting-2 · MDB · Setting-3 · MDB · Setting-4 · MDB
Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 3
Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.
LarsNet
Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 4
Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.
MSG-LD Vanilla · MSG-LD TB
Οι βαθμολογίες αφορούν το συγκεκριμένο σύνολο δεδομένων, μέτρο και έκδοση μοντέλου· διαφορετικές δοκιμές δεν συγκρίνονται άμεσα.
Ο πίνακας περιλαμβάνει μόνο μοντέλα με δημόσια βάρη ή ρυθμίσεις που μπορούν να εκτελεστούν τοπικά.
Επιλέξτε ένα σύνολο δεδομένων για να δείτε όλες τις μετρικές κάθε μοντέλου. Οι γραμμές ακολουθούν την επίσημη κατάταξη ή την επιλεγμένη μετρική. Η έντονη γραφή δείχνει την καλύτερη συγκρίσιμη τιμή κάθε στήλης, μαζί με τις ισοβαθμίες. Τα διαφορετικά πρωτόκολλα αξιολόγησης κατατάσσονται χωριστά· οι βαθμολογίες που λείπουν εμφανίζονται ως -.
Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 2
ADTOF-PyTorch README · PyTorch 88.51 · Keras 88.74
| Κατάταξη ανά μετρική | Μοντέλο | Recall↑ | Precision↑ | F-measure↑ |
|---|---|---|---|---|
| 1 | ADTOF (original)Δημόσια βάρη · Κώδικας συμπερασμού | 88.68 | 89.90 | 88.74 |
| 2 | ADTOF-pytorchΔημόσια βάρη · Κώδικας συμπερασμούsrc/adtof_pytorch/data/adtof_frame_rnn_pytorch_weights.pthΚώδικας συμπερασμούΔεν έχει δηλωθεί άδεια βαρών | 88.26 | 89.83 | 88.51 |
Επιλέξτε ένα σύνολο δεδομένων για να δείτε όλες τις μετρικές κάθε μοντέλου. Οι γραμμές ακολουθούν την επίσημη κατάταξη ή την επιλεγμένη μετρική. Η έντονη γραφή δείχνει την καλύτερη συγκρίσιμη τιμή κάθε στήλης, μαζί με τις ισοβαθμίες. Τα διαφορετικά πρωτόκολλα αξιολόγησης κατατάσσονται χωριστά· οι βαθμολογίες που λείπουν εμφανίζονται ως -.
Οι τιμές προέρχονται από τη συνδεδεμένη δημόσια πηγή. Οι ετικέτες των γραμμών προσδιορίζουν το σύνολο δοκιμής ή το checkpoint· οι μη δημοσιευμένες βαθμολογίες εμφανίζονται ως -.
| Κατάταξη ανά μετρική | Μοντέλο | Συνθήκη δοκιμής | F1 %↑ | % ακριβείας↑ | Ανάκληση %↑ |
|---|---|---|---|---|---|
| 1 | ADTOF PlusΔημόσια βάρη · Κώδικας συμπερασμούMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchΚώδικας συμπερασμού drumsep_5stems_mdx23c_jarredou.ckptΆδεια βαρών (δήλωση αποθετηρίου): mit | MDB · 5 classes · onset only · 50 ms | 89 | 89 | 89 |
| 2 | Original ADTOFΔημόσια βάρη · Κώδικας συμπερασμού | MDB · 5 classes · onset only · 50 ms | 87 | - | - |
Επιλέξτε ένα σύνολο δεδομένων για να δείτε όλες τις μετρικές κάθε μοντέλου. Οι γραμμές ακολουθούν την επίσημη κατάταξη ή την επιλεγμένη μετρική. Η έντονη γραφή δείχνει την καλύτερη συγκρίσιμη τιμή κάθε στήλης, μαζί με τις ισοβαθμίες. Τα διαφορετικά πρωτόκολλα αξιολόγησης κατατάσσονται χωριστά· οι βαθμολογίες που λείπουν εμφανίζονται ως -.
Οι τιμές προέρχονται από τη συνδεδεμένη δημόσια πηγή. Οι ετικέτες των γραμμών προσδιορίζουν το σύνολο δοκιμής ή το checkpoint· οι μη δημοσιευμένες βαθμολογίες εμφανίζονται ως -.
| Κατάταξη ανά μετρική | Μοντέλο | Συνθήκη δοκιμής | F1 %↑ | % ακριβείας↑ | Ανάκληση %↑ |
|---|---|---|---|---|---|
| - | ADTOF PlusΔημόσια βάρη · Κώδικας συμπερασμούMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchΚώδικας συμπερασμού drumsep_5stems_mdx23c_jarredou.ckptΆδεια βαρών (δήλωση αποθετηρίου): mit | MDB · 8-class evaluation · onset only · 50 ms | 84 | 84 | 84 |
Επιλέξτε ένα σύνολο δεδομένων για να δείτε όλες τις μετρικές κάθε μοντέλου. Οι γραμμές ακολουθούν την επίσημη κατάταξη ή την επιλεγμένη μετρική. Η έντονη γραφή δείχνει την καλύτερη συγκρίσιμη τιμή κάθε στήλης, μαζί με τις ισοβαθμίες. Τα διαφορετικά πρωτόκολλα αξιολόγησης κατατάσσονται χωριστά· οι βαθμολογίες που λείπουν εμφανίζονται ως -.
Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 3
Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.
LarsNet
Η εργασία αξιολογεί OB, TB και OBTB χωριστά· οι βαθμολογίες OB δεν ανήκουν στο προεπιλεγμένο OBTB. Το F1 νοτών και τα mel-MSE/FAD ήχου εμφανίζονται χωριστά. Η αλυσίδα ανίχνευσης της εργασίας δεν μετρήθηκε ξανά εδώ.
| Κατάταξη ανά μετρική | Μοντέλο | MDB · Kick | MDB · Snare | MDB · Toms | MDB · Hi-Hats | MDB · Cymbals | MDB · Overall | ENST · Kick | ENST · Snare | ENST · Toms | ENST · Hi-Hats | ENST · Cymbals | ENST · Overall | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | ADTOFΔημόσια βάρη · Κώδικας συμπερασμού | 0.851 | 0.790 | 0.923 | 0.752 | 0.828 | 0.690 | 0.520 | 0.520 | 0.520 | 0.773 | 0.859 | 0.703 | 0.849 | 0.802 | 0.902 | 0.795 | 0.813 | 0.778 | 0.795 | 0.984 | 0.667 | 0.599 | 0.932 | 0.441 | 0.581 | 0.669 | 0.513 | 0.777 | 0.936 | 0.663 | 0.657 | 0.788 | 0.563 | 0.709 | 0.908 | 0.582 |
| 2 | MSG-LD OBΔημόσια βάρη · Κώδικας συμπερασμού | 0.931 | 0.939 | 0.923 | 0.760 | 0.791 | 0.732 | 0.268 | 0.309 | 0.236 | 0.650 | 0.550 | 0.794 | 0.481 | 0.663 | 0.377 | 0.707 | 0.709 | 0.704 | 0.821 | 0.941 | 0.729 | 0.642 | 0.698 | 0.594 | 0.491 | 0.415 | 0.602 | 0.630 | 0.643 | 0.618 | 0.391 | 0.611 | 0.287 | 0.640 | 0.695 | 0.593 |
Επιλέξτε ένα σύνολο δεδομένων για να δείτε όλες τις μετρικές κάθε μοντέλου. Οι γραμμές ακολουθούν την επίσημη κατάταξη ή την επιλεγμένη μετρική. Η έντονη γραφή δείχνει την καλύτερη συγκρίσιμη τιμή κάθε στήλης, μαζί με τις ισοβαθμίες. Τα διαφορετικά πρωτόκολλα αξιολόγησης κατατάσσονται χωριστά· οι βαθμολογίες που λείπουν εμφανίζονται ως -.
Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 4
Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.
MSG-LD Vanilla · MSG-LD TB
Η εργασία αξιολογεί OB, TB και OBTB χωριστά· οι βαθμολογίες OB δεν ανήκουν στο προεπιλεγμένο OBTB. Το F1 νοτών και τα mel-MSE/FAD ήχου εμφανίζονται χωριστά. Η αλυσίδα ανίχνευσης της εργασίας δεν μετρήθηκε ξανά εδώ.
| Κατάταξη ανά μετρική | Μοντέλο | MDB Overall | ENST Overall | Mean overall F1 (2 sets) | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | MSG-LD OBΔημόσια βάρη · Κώδικας συμπερασμού | 0.707 | 0.709 | 0.704 | 0.640 | 0.695 | 0.593 | 0.674 | 0.674 | 0.674 |
| 2 | MSG-LD OBTBΔημόσια βάρη · Κώδικας συμπερασμού | 0.690 | 0.709 | 0.672 | 0.636 | 0.703 | 0.580 | 0.663 | 0.663 | 0.663 |