Enhanced Automatic Drum Transcription via Drum Stem Source Separation
arXiv - 2025
Ładowanie...
ADTOF Plus · ADTOF Direct · ADT_STR · MSG-LD. Pełny miks najpierw przechodzi separację bębnów w wybranym procesie. Odizolowane bębny trafiają bezpośrednio do wybranego modelu transkrypcji lub separacji.
Wejście
Obsługuje wejścia w formatach takich jak mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Obsługiwane formaty
Produkcja
MIDI
Przypadek użycia
Edytuj nuty, instrumentację i szczegóły wykonania.
Wybierz model do swojego materiału i celu, a przed wysłaniem zapoznaj się z przykładami.
Koszt, czas, formaty i parametry zależą od wybranego modelu.
W opinii podaj nazwę narzędzia, kroki i napotkany problem. Zrzuty ekranu ułatwią jego zlokalizowanie.
ADT_STR wykrywa początki i siłę uderzeń dla 26 klas perkusji oraz eksportuje MIDI.
MSG-LD generuje pięć ścieżek perkusji i wykrywa początki uderzeń; MIDI ma stałą siłę 100 i czas odtwarzania 0,1 sekundy.
MSG-LD generuje pięć ścieżek perkusji i wykrywa początki uderzeń; MIDI ma stałą siłę 100 i czas odtwarzania 0,1 sekundy.
ADTOF Plus dodaje do ADTOF separację perkusji, mapowanie dynamiki i obsługę otwartego/zamkniętego hi-hatu. Przyjmuje pełne miksy.
ADTOF Direct transkrybuje odizolowane bębny przy użyciu PyTorch ADTOF. Dla pełnego miksu TelkNet najpierw wydziela bębny przez AudioSep-Hive, bez przetwarzania siły uderzeń i otwartego/zamkniętego hi-hatu z Plus.
arXiv - 2025
ISMIR - 2021
Signals - 2023
Zawiera publiczne wyniki testów modeli używanych tutaj i poza serwisem. Domyślnie wyświetlana jest pełna tabela źródłowa; można też wybrać warunki i metryki do porównania. Wyniki z różnych warunków testowych nie są bezpośrednio porównywalne.
Wyświetlane są tylko wyniki ze zweryfikowaną publiczną implementacją inferencji i odpowiednimi wagami oraz algorytmy niewymagające wag. Zamknięte usługi, nieopublikowane wagi i niepotwierdzone wersje eksperymentalne są pomijane. To nie jest ranking wszystkich modeli.
Publiczne wagi nie potwierdzają pełnej licencji open source. Rozwiń dane, aby sprawdzić zadeklarowane licencje wag i warunki dostępu. Brak deklaracji licencji jest oznaczony osobno.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Zalecenie w README ADT-STR jest sprzeczne z wykresem wyników. Ranking wykorzystuje wartości opisane na oficjalnym wykresie.
| Pozycja według metryki | Model | ENST↑F1 (%) | MDB↑F1 (%) |
|---|---|---|---|
| 1 | ADT-STR · τ=0.4Publiczne wagi · Kod inferencji | 60 | 71 |
| 2 | ADT-STR · τ=0.6Publiczne wagi · Kod inferencji | 58 | 65 |
| 3 | ADT-STR · τ=0.8Model używany tutajPubliczne wagi · Kod inferencji | 52 | 61 |
Oznaczenia wskazują używane tutaj modele lub elementy. Wyniki i ustawienia pochodzą z przytoczonych testów, a nie z nowej oceny całego procesu serwisu.
Zbiory, wersje i warunki są rozdzielone, również źródła bez kwalifikujących się wierszy.
Do wdrożenia 2 / wiersze źródłowe 2
Do wdrożenia 6 / wiersze źródłowe 6
Do wdrożenia 3 / wiersze źródłowe 6
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
Vogl et al. 8-class baseline · MDB · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · RBMA · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · ENST · 8-class evaluation · onset only · 50 ms
Do wdrożenia 0 / wiersze źródłowe 8
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
Setting-1 · ENST · Setting-2 · ENST · Setting-3 · ENST · Setting-4 · ENST · Setting-1 · MDB · Setting-2 · MDB · Setting-3 · MDB · Setting-4 · MDB
Do wdrożenia 2 / wiersze źródłowe 3
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
LarsNet
Do wdrożenia 2 / wiersze źródłowe 4
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
MSG-LD Vanilla · MSG-LD TB
Wyniki dotyczą wskazanego zbioru, miary i wersji modelu. Różnych testów nie można bezpośrednio porównywać.
Tabela obejmuje tylko modele z publicznymi wagami lub konfiguracjami, które można uruchomić lokalnie.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 2 / wiersze źródłowe 2
ADTOF-PyTorch README · PyTorch 88.51 · Keras 88.74
| Pozycja według metryki | Model | Recall↑ | Precision↑ | F-measure↑ |
|---|---|---|---|---|
| 1 | ADTOF (original)Publiczne wagi · Kod inferencji | 88.68 | 89.90 | 88.74 |
| 2 | ADTOF-pytorchPubliczne wagi · Kod inferencjisrc/adtof_pytorch/data/adtof_frame_rnn_pytorch_weights.pthKod inferencjiNie zadeklarowano licencji wag | 88.26 | 89.83 | 88.51 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Wartości pochodzą z podanego źródła publicznego. Etykiety wierszy wskazują zbiór testowy lub checkpoint; nieopublikowane wyniki są oznaczone jako -.
| Pozycja według metryki | Model | Warunek testu | F1 (%)↑ | Precyzja (%)↑ | Przypomnienie sobie czegoś (%)↑ |
|---|---|---|---|---|---|
| 1 | ADTOF PlusPubliczne wagi · Kod inferencjiMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchKod inferencji drumsep_5stems_mdx23c_jarredou.ckptLicencja wag (deklaracja repozytorium): mit | MDB · 5 classes · onset only · 50 ms | 89 | 89 | 89 |
| 2 | Original ADTOFPubliczne wagi · Kod inferencji | MDB · 5 classes · onset only · 50 ms | 87 | - | - |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Wartości pochodzą z podanego źródła publicznego. Etykiety wierszy wskazują zbiór testowy lub checkpoint; nieopublikowane wyniki są oznaczone jako -.
| Pozycja według metryki | Model | Warunek testu | F1 (%)↑ | Precyzja (%)↑ | Przypomnienie sobie czegoś (%)↑ |
|---|---|---|---|---|---|
| - | ADTOF PlusPubliczne wagi · Kod inferencjiMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchKod inferencji drumsep_5stems_mdx23c_jarredou.ckptLicencja wag (deklaracja repozytorium): mit | MDB · 8-class evaluation · onset only · 50 ms | 84 | 84 | 84 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 2 / wiersze źródłowe 3
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
LarsNet
Artykuł ocenia OB, TB i OBTB osobno; wyników OB nie można przypisać domyślnemu OBTB. F1 nut oraz mel-MSE/FAD audio mają osobne tabele. Proces detekcji z artykułu nie został tu ponownie zmierzony.
| Pozycja według metryki | Model | MDB · Kick | MDB · Snare | MDB · Toms | MDB · Hi-Hats | MDB · Cymbals | MDB · Overall | ENST · Kick | ENST · Snare | ENST · Toms | ENST · Hi-Hats | ENST · Cymbals | ENST · Overall | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | ADTOFPubliczne wagi · Kod inferencji | 0.851 | 0.790 | 0.923 | 0.752 | 0.828 | 0.690 | 0.520 | 0.520 | 0.520 | 0.773 | 0.859 | 0.703 | 0.849 | 0.802 | 0.902 | 0.795 | 0.813 | 0.778 | 0.795 | 0.984 | 0.667 | 0.599 | 0.932 | 0.441 | 0.581 | 0.669 | 0.513 | 0.777 | 0.936 | 0.663 | 0.657 | 0.788 | 0.563 | 0.709 | 0.908 | 0.582 |
| 2 | MSG-LD OBPubliczne wagi · Kod inferencji | 0.931 | 0.939 | 0.923 | 0.760 | 0.791 | 0.732 | 0.268 | 0.309 | 0.236 | 0.650 | 0.550 | 0.794 | 0.481 | 0.663 | 0.377 | 0.707 | 0.709 | 0.704 | 0.821 | 0.941 | 0.729 | 0.642 | 0.698 | 0.594 | 0.491 | 0.415 | 0.602 | 0.630 | 0.643 | 0.618 | 0.391 | 0.611 | 0.287 | 0.640 | 0.695 | 0.593 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 2 / wiersze źródłowe 4
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
MSG-LD Vanilla · MSG-LD TB
Artykuł ocenia OB, TB i OBTB osobno; wyników OB nie można przypisać domyślnemu OBTB. F1 nut oraz mel-MSE/FAD audio mają osobne tabele. Proces detekcji z artykułu nie został tu ponownie zmierzony.
| Pozycja według metryki | Model | MDB Overall | ENST Overall | Mean overall F1 (2 sets) | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | MSG-LD OBPubliczne wagi · Kod inferencji | 0.707 | 0.709 | 0.704 | 0.640 | 0.695 | 0.593 | 0.674 | 0.674 | 0.674 |
| 2 | MSG-LD OBTBPubliczne wagi · Kod inferencji | 0.690 | 0.709 | 0.672 | 0.636 | 0.703 | 0.580 | 0.663 | 0.663 | 0.663 |