Enhanced Automatic Drum Transcription via Drum Stem Source Separation
arXiv - 2025
Učitavanje...
ADTOF Plus · ADTOF Direct · ADT_STR · MSG-LD. Potpuni miks prvo prolazi kroz izdvajanje bubnjeva u odabranom postupku. Izdvojeni bubnjevi idu direktno u odabrani model za transkripciju ili razdvajanje.
Ulaz
Podržava ulaze u formatima kao što su mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Podržani formati
Izlaz
5 × WAV · MIDI · CSV
Slučaj upotrebe
Uređivanje nota, instrumentacije i detalja izvedbe.
Odaberite model prema materijalu i namjeni te pregledajte primjere prije slanja.
Cijena, vrijeme, formati i parametri zavise od odabranog modela.
Razdvaja dijelove bubnjeva i pronalazi udarce. MIDI velocity je fiksiran na 100, a svaki događaj traje 0.1 sekundi; trajanje cijelog WAV-a ostaje isto.
U povratnim informacijama navedite alat, korake i problem. Snimci ekrana mogu pomoći u pronalaženju uzroka.
MSG-LD stvara pet traka bubnjeva i prepoznaje početke udara; MIDI koristi jačinu 100 i fiksno trajanje reprodukcije 0,1 sekundu.
ADTOF Plus dodaje razdvajanje bubnjeva, mapiranje jačine udara i obradu otvorenog/zatvorenog hi-hata uz ADTOF. Prihvata pune mikseve.
ADTOF Direct transkribuje izdvojene bubnjeve pomoću PyTorch ADTOF-a. Za potpuni miks TelkNet prvo izdvaja bubnjeve kroz AudioSep-Hive, bez Plus obrade jačine udarca i otvorenog/zatvorenog hi-hata.
ADT_STR prepoznaje početke i jačine udara za 26 klasa bubnjeva i izvozi MIDI.
ADT_STR prepoznaje početke i jačine udara za 26 klasa bubnjeva i izvozi MIDI.
ADT_STR prepoznaje početke i jačine udara za 26 klasa bubnjeva i izvozi MIDI.
arXiv - 2025
ISMIR - 2021
Signals - 2023
Uključuje javne rezultate testiranja modela koji se koriste ovdje i drugdje. Podrazumijevano se prikazuje potpuna izvorna tabela; za poređenje se mogu odabrati uslovi i metrike. Rezultati različitih uslova testiranja nisu direktno uporedivi.
Prikazani su samo zapisi s provjerenom javnom implementacijom inferencije i odgovarajućim težinama, kao i algoritmi kojima težine nisu potrebne. Zatvoreni servisi, neobjavljene težine i nepotvrđene verzije eksperimenata su isključeni. Ovo nije rangiranje svih modela.
Javne težine ne potvrđuju potpunu licencu otvorenog koda. Proširite podatke za navedene licence težina i uslove pristupa. Nedeklarisane licence su posebno označene.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
| Poredak po metrici | Model | MDB · Overall | ENST · Overall | MDB | ENST | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Kick↑F1 (%) | Snare↑F1 (%) | Toms↑F1 (%) | Hi-Hats↑F1 (%) | Cymbals↑F1 (%) | Kick↑F1 (%) | Snare↑F1 (%) | Toms↑F1 (%) | Hi-Hats↑F1 (%) | Cymbals↑F1 (%) | ||||
| 1 | ADTOFJavne težine · Kod za inferencijuJavne težineKod za inferenciju Frame_RNN_adtofAll_0.data-00000-of-00001 + .indexLicenca težina (navod repozitorija): CC-BY-NC-SA-4.0 | 79.5 | 70.9 | 85.1 | 75.2 | 52 | 77.3 | 84.9 | 79.5 | 59.9 | 58.1 | 77.7 | 65.7 |
| 2 | MSG-LD OBModel na ovoj straniciJavne težine · Kod za inferenciju | 70.7 | 64 | 93.1 | 76 | 26.8 | 65 | 48.1 | 82.1 | 64.2 | 49.1 | 63 | 39.1 |
| 3 | MSG-LD OBTBJavne težine · Kod za inferenciju | 69 | 63.6 | - | - | - | - | - | - | - | - | - | - |
Oznake prikazuju modele ili komponente korištene ovdje. Rezultati i postavke dolaze iz navedenih testova, a ne iz nove procjene cijelog postupka obrade na stranici.
Skupovi podataka, verzije i uslovi ostaju odvojeni, uključujući izvore bez prihvatljivih redova.
Lokalno pokretanje 2 / izvorni redovi 2
Lokalno pokretanje 6 / izvorni redovi 6
Lokalno pokretanje 3 / izvorni redovi 6
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
Vogl et al. 8-class baseline · MDB · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · RBMA · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · ENST · 8-class evaluation · onset only · 50 ms
Lokalno pokretanje 0 / izvorni redovi 8
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
Setting-1 · ENST · Setting-2 · ENST · Setting-3 · ENST · Setting-4 · ENST · Setting-1 · MDB · Setting-2 · MDB · Setting-3 · MDB · Setting-4 · MDB
Lokalno pokretanje 2 / izvorni redovi 3
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
LarsNet
Lokalno pokretanje 2 / izvorni redovi 4
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
MSG-LD Vanilla · MSG-LD TB
Rezultati važe za navedeni skup podataka, metriku i verziju modela. Različiti testovi nisu direktno uporedivi.
Tabela prikazuje samo modele s javnim težinama ili konfiguracijama koji se mogu pokrenuti lokalno.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 2 / izvorni redovi 2
ADTOF-PyTorch README · PyTorch 88.51 · Keras 88.74
| Poredak po metrici | Model | Recall↑ | Precision↑ | F-measure↑ |
|---|---|---|---|---|
| 1 | ADTOF (original)Javne težine · Kod za inferenciju | 88.68 | 89.90 | 88.74 |
| 2 | ADTOF-pytorchJavne težine · Kod za inferencijusrc/adtof_pytorch/data/adtof_frame_rnn_pytorch_weights.pthKod za inferencijuLicenca težina nije navedena | 88.26 | 89.83 | 88.51 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Vrijednosti dolaze iz povezanog javnog izvora. Oznake redova navode testni skup ili kontrolnu tačku; neobjavljeni rezultati prikazuju se kao -.
| Poredak po metrici | Model | Uslov testa | F1 (%)↑ | Preciznost (%)↑ | Opoziv (%)↑ |
|---|---|---|---|---|---|
| 1 | ADTOF PlusJavne težine · Kod za inferencijuMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchKod za inferenciju drumsep_5stems_mdx23c_jarredou.ckptLicenca težina (navod repozitorija): mit | MDB · 5 classes · onset only · 50 ms | 89 | 89 | 89 |
| 2 | Original ADTOFJavne težine · Kod za inferenciju | MDB · 5 classes · onset only · 50 ms | 87 | - | - |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Vrijednosti dolaze iz povezanog javnog izvora. Oznake redova navode testni skup ili kontrolnu tačku; neobjavljeni rezultati prikazuju se kao -.
| Poredak po metrici | Model | Uslov testa | F1 (%)↑ | Preciznost (%)↑ | Opoziv (%)↑ |
|---|---|---|---|---|---|
| - | ADTOF PlusJavne težine · Kod za inferencijuMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchKod za inferenciju drumsep_5stems_mdx23c_jarredou.ckptLicenca težina (navod repozitorija): mit | MDB · 8-class evaluation · onset only · 50 ms | 84 | 84 | 84 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 2 / izvorni redovi 3
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
LarsNet
Rad odvojeno ocjenjuje OB, TB i OBTB; rezultati OB ne pripadaju zadanom OBTB. F1 nota i audio mel-MSE/FAD imaju zasebne tabele. Detekcijski postupak rada ovdje nije ponovo mjeren.
| Poredak po metrici | Model | MDB · Kick | MDB · Snare | MDB · Toms | MDB · Hi-Hats | MDB · Cymbals | MDB · Overall | ENST · Kick | ENST · Snare | ENST · Toms | ENST · Hi-Hats | ENST · Cymbals | ENST · Overall | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | ADTOFJavne težine · Kod za inferenciju | 0.851 | 0.790 | 0.923 | 0.752 | 0.828 | 0.690 | 0.520 | 0.520 | 0.520 | 0.773 | 0.859 | 0.703 | 0.849 | 0.802 | 0.902 | 0.795 | 0.813 | 0.778 | 0.795 | 0.984 | 0.667 | 0.599 | 0.932 | 0.441 | 0.581 | 0.669 | 0.513 | 0.777 | 0.936 | 0.663 | 0.657 | 0.788 | 0.563 | 0.709 | 0.908 | 0.582 |
| 2 | MSG-LD OBJavne težine · Kod za inferenciju | 0.931 | 0.939 | 0.923 | 0.760 | 0.791 | 0.732 | 0.268 | 0.309 | 0.236 | 0.650 | 0.550 | 0.794 | 0.481 | 0.663 | 0.377 | 0.707 | 0.709 | 0.704 | 0.821 | 0.941 | 0.729 | 0.642 | 0.698 | 0.594 | 0.491 | 0.415 | 0.602 | 0.630 | 0.643 | 0.618 | 0.391 | 0.611 | 0.287 | 0.640 | 0.695 | 0.593 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 2 / izvorni redovi 4
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
MSG-LD Vanilla · MSG-LD TB
Rad odvojeno ocjenjuje OB, TB i OBTB; rezultati OB ne pripadaju zadanom OBTB. F1 nota i audio mel-MSE/FAD imaju zasebne tabele. Detekcijski postupak rada ovdje nije ponovo mjeren.
| Poredak po metrici | Model | MDB Overall | ENST Overall | Mean overall F1 (2 sets) | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | MSG-LD OBJavne težine · Kod za inferenciju | 0.707 | 0.709 | 0.704 | 0.640 | 0.695 | 0.593 | 0.674 | 0.674 | 0.674 |
| 2 | MSG-LD OBTBJavne težine · Kod za inferenciju | 0.690 | 0.709 | 0.672 | 0.636 | 0.703 | 0.580 | 0.663 | 0.663 | 0.663 |