Enhanced Automatic Drum Transcription via Drum Stem Source Separation
arXiv - 2025
Učitavanje...
ADTOF Plus · ADTOF Direct · ADT_STR · MSG-LD. Potpuni miks prvo prolazi kroz izdvajanje bubnjeva u odabranom postupku. Izdvojeni bubnjevi idu direktno u odabrani model za transkripciju ili razdvajanje.
Ulaz
Podržava ulaze u formatima kao što su mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Podržani formati
Izlaz
MIDI
Slučaj upotrebe
Uređivanje nota, instrumentacije i detalja izvedbe.
Odaberite model prema materijalu i namjeni te pregledajte primjere prije slanja.
Cijena, vrijeme, formati i parametri zavise od odabranog modela.
U povratnim informacijama navedite alat, korake i problem. Snimci ekrana mogu pomoći u pronalaženju uzroka.
ADT_STR prepoznaje početke i jačine udara za 26 klasa bubnjeva i izvozi MIDI.
MSG-LD stvara pet traka bubnjeva i prepoznaje početke udara; MIDI koristi jačinu 100 i fiksno trajanje reprodukcije 0,1 sekundu.
MSG-LD stvara pet traka bubnjeva i prepoznaje početke udara; MIDI koristi jačinu 100 i fiksno trajanje reprodukcije 0,1 sekundu.
ADTOF Plus dodaje razdvajanje bubnjeva, mapiranje jačine udara i obradu otvorenog/zatvorenog hi-hata uz ADTOF. Prihvata pune mikseve.
ADTOF Direct transkribuje izdvojene bubnjeve pomoću PyTorch ADTOF-a. Za potpuni miks TelkNet prvo izdvaja bubnjeve kroz AudioSep-Hive, bez Plus obrade jačine udarca i otvorenog/zatvorenog hi-hata.
arXiv - 2025
ISMIR - 2021
Signals - 2023
Uključuje javne rezultate testiranja modela koji se koriste ovdje i drugdje. Podrazumijevano se prikazuje potpuna izvorna tabela; za poređenje se mogu odabrati uslovi i metrike. Rezultati različitih uslova testiranja nisu direktno uporedivi.
Prikazani su samo zapisi s provjerenom javnom implementacijom inferencije i odgovarajućim težinama, kao i algoritmi kojima težine nisu potrebne. Zatvoreni servisi, neobjavljene težine i nepotvrđene verzije eksperimenata su isključeni. Ovo nije rangiranje svih modela.
Javne težine ne potvrđuju potpunu licencu otvorenog koda. Proširite podatke za navedene licence težina i uslove pristupa. Nedeklarisane licence su posebno označene.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Preporuka u ADT-STR README datoteci nije u skladu s grafikonom rezultata. Poredak koristi brojeve označene na službenom grafikonu.
| Poredak po metrici | Model | ENST↑F1 (%) | MDB↑F1 (%) |
|---|---|---|---|
| 1 | ADT-STR · τ=0.4Javne težine · Kod za inferenciju | 60 | 71 |
| 2 | ADT-STR · τ=0.6Model na ovoj straniciJavne težine · Kod za inferenciju | 58 | 65 |
| 3 | ADT-STR · τ=0.8Javne težine · Kod za inferenciju | 52 | 61 |
Oznake prikazuju modele ili komponente korištene ovdje. Rezultati i postavke dolaze iz navedenih testova, a ne iz nove procjene cijelog postupka obrade na stranici.
Skupovi podataka, verzije i uslovi ostaju odvojeni, uključujući izvore bez prihvatljivih redova.
Lokalno pokretanje 2 / izvorni redovi 2
Lokalno pokretanje 6 / izvorni redovi 6
Lokalno pokretanje 3 / izvorni redovi 6
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
Vogl et al. 8-class baseline · MDB · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · RBMA · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · ENST · 8-class evaluation · onset only · 50 ms
Lokalno pokretanje 0 / izvorni redovi 8
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
Setting-1 · ENST · Setting-2 · ENST · Setting-3 · ENST · Setting-4 · ENST · Setting-1 · MDB · Setting-2 · MDB · Setting-3 · MDB · Setting-4 · MDB
Lokalno pokretanje 2 / izvorni redovi 3
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
LarsNet
Lokalno pokretanje 2 / izvorni redovi 4
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
MSG-LD Vanilla · MSG-LD TB
Rezultati važe za navedeni skup podataka, metriku i verziju modela. Različiti testovi nisu direktno uporedivi.
Tabela prikazuje samo modele s javnim težinama ili konfiguracijama koji se mogu pokrenuti lokalno.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 2 / izvorni redovi 2
ADTOF-PyTorch README · PyTorch 88.51 · Keras 88.74
| Poredak po metrici | Model | Recall↑ | Precision↑ | F-measure↑ |
|---|---|---|---|---|
| 1 | ADTOF (original)Javne težine · Kod za inferenciju | 88.68 | 89.90 | 88.74 |
| 2 | ADTOF-pytorchJavne težine · Kod za inferencijusrc/adtof_pytorch/data/adtof_frame_rnn_pytorch_weights.pthKod za inferencijuLicenca težina nije navedena | 88.26 | 89.83 | 88.51 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Vrijednosti dolaze iz povezanog javnog izvora. Oznake redova navode testni skup ili kontrolnu tačku; neobjavljeni rezultati prikazuju se kao -.
| Poredak po metrici | Model | Uslov testa | F1 (%)↑ | Preciznost (%)↑ | Opoziv (%)↑ |
|---|---|---|---|---|---|
| 1 | ADTOF PlusJavne težine · Kod za inferencijuMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchKod za inferenciju drumsep_5stems_mdx23c_jarredou.ckptLicenca težina (navod repozitorija): mit | MDB · 5 classes · onset only · 50 ms | 89 | 89 | 89 |
| 2 | Original ADTOFJavne težine · Kod za inferenciju | MDB · 5 classes · onset only · 50 ms | 87 | - | - |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Vrijednosti dolaze iz povezanog javnog izvora. Oznake redova navode testni skup ili kontrolnu tačku; neobjavljeni rezultati prikazuju se kao -.
| Poredak po metrici | Model | Uslov testa | F1 (%)↑ | Preciznost (%)↑ | Opoziv (%)↑ |
|---|---|---|---|---|---|
| - | ADTOF PlusJavne težine · Kod za inferencijuMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchKod za inferenciju drumsep_5stems_mdx23c_jarredou.ckptLicenca težina (navod repozitorija): mit | MDB · 8-class evaluation · onset only · 50 ms | 84 | 84 | 84 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 2 / izvorni redovi 3
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
LarsNet
Rad odvojeno ocjenjuje OB, TB i OBTB; rezultati OB ne pripadaju zadanom OBTB. F1 nota i audio mel-MSE/FAD imaju zasebne tabele. Detekcijski postupak rada ovdje nije ponovo mjeren.
| Poredak po metrici | Model | MDB · Kick | MDB · Snare | MDB · Toms | MDB · Hi-Hats | MDB · Cymbals | MDB · Overall | ENST · Kick | ENST · Snare | ENST · Toms | ENST · Hi-Hats | ENST · Cymbals | ENST · Overall | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | ADTOFJavne težine · Kod za inferenciju | 0.851 | 0.790 | 0.923 | 0.752 | 0.828 | 0.690 | 0.520 | 0.520 | 0.520 | 0.773 | 0.859 | 0.703 | 0.849 | 0.802 | 0.902 | 0.795 | 0.813 | 0.778 | 0.795 | 0.984 | 0.667 | 0.599 | 0.932 | 0.441 | 0.581 | 0.669 | 0.513 | 0.777 | 0.936 | 0.663 | 0.657 | 0.788 | 0.563 | 0.709 | 0.908 | 0.582 |
| 2 | MSG-LD OBJavne težine · Kod za inferenciju | 0.931 | 0.939 | 0.923 | 0.760 | 0.791 | 0.732 | 0.268 | 0.309 | 0.236 | 0.650 | 0.550 | 0.794 | 0.481 | 0.663 | 0.377 | 0.707 | 0.709 | 0.704 | 0.821 | 0.941 | 0.729 | 0.642 | 0.698 | 0.594 | 0.491 | 0.415 | 0.602 | 0.630 | 0.643 | 0.618 | 0.391 | 0.611 | 0.287 | 0.640 | 0.695 | 0.593 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 2 / izvorni redovi 4
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
MSG-LD Vanilla · MSG-LD TB
Rad odvojeno ocjenjuje OB, TB i OBTB; rezultati OB ne pripadaju zadanom OBTB. F1 nota i audio mel-MSE/FAD imaju zasebne tabele. Detekcijski postupak rada ovdje nije ponovo mjeren.
| Poredak po metrici | Model | MDB Overall | ENST Overall | Mean overall F1 (2 sets) | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | MSG-LD OBJavne težine · Kod za inferenciju | 0.707 | 0.709 | 0.704 | 0.640 | 0.695 | 0.593 | 0.674 | 0.674 | 0.674 |
| 2 | MSG-LD OBTBJavne težine · Kod za inferenciju | 0.690 | 0.709 | 0.672 | 0.636 | 0.703 | 0.580 | 0.663 | 0.663 | 0.663 |