MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
Pretvorite muziku u MIDI za više instrumenata pomoću MuScriptor-large.
Učitavanje...
Pretvorite pjesme ili ansamble u višekanalni MIDI za ispravku nota i dionica u DAW-u.
Ulaz
Podržava ulaze u formatima kao što su mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Podržani formati
Izlaz
MIDI · CSV
Slučaj upotrebe
Razdvaja vokal, bubnjeve, bas, gitaru, klavir i ostale zvukove, zatim ih transkribuje i spaja MIDI. Procjena velocity vrijednosti i dodjela instrumenata su opcionalne; greške razdvajanja mogu utjecati na note.
Odaberite model prema materijalu i namjeni te pregledajte primjere prije slanja.
Cijena, vrijeme, formati i parametri zavise od odabranog modela.
U povratnim informacijama navedite alat, korake i problem. Snimci ekrana mogu pomoći u pronalaženju uzroka.
Razdvaja vokal, bubnjeve, bas, gitaru, klavir i ostale zvukove, zatim ih transkribuje i spaja MIDI. Procjena velocity vrijednosti i dodjela instrumenata su opcionalne; greške razdvajanja mogu utjecati na note.
Zadana popravka smanjuje greške instrumenata između segmenata i čuva duge note; počnite ovdje za puni miks.
YourMT3+ · YPTF.MoE+Multi noPS: Izmjenjive MIDI nacrte iz punih miksova, plus čišće solo/zajedničke instrumente kao što su piano/klavijature, guitar, bass, drums, gudači/duvači i vocal draftovi
YMT3+: Izmjenjive MIDI nacrte iz punih miksova, plus čišće solo/zajedničke instrumente kao što su piano/klavijature, guitar, bass, drums, gudači/duvači i vocal draftovi
YourMT3+ · YPTF.Single noPS: Izmjenjive MIDI nacrte iz punih miksova, plus čišće solo/zajedničke instrumente kao što su piano/klavijature, guitar, bass, drums, gudači/duvači i vocal draftovi
YourMT3+ · YPTF.Multi PS: Izmjenjive MIDI nacrte iz punih miksova, plus čišće solo/zajedničke instrumente kao što su piano/klavijature, guitar, bass, drums, gudači/duvači i vocal draftovi
YourMT3+ · YPTF.MoE+Multi PS: Izmjenjive MIDI nacrte iz punih miksova, plus čišće solo/zajedničke instrumente kao što su piano/klavijature, guitar, bass, drums, gudači/duvači i vocal draftovi
MIROS MusicFM multi-decoder vozi zvaničnu lokalnu MIROS rutu sa pretrained_msd.pt plus fino podešenim last.ckpt checkpoint.
BS-RoFormer SW Fixed koristi BS-Rofo-SW-Fixed.ckpt plus BS-Rofo-SW-Fixed.yaml da podijeli cijeli miks na six WAV stems.
OaFS prepoznaje 34 klase instrumenata i izvozi MIDI i tabele nota s fiksnom jačinom udara 127.
Grupiše note u zadani broj neimenovanih traka po boji tona, bez prepoznavanja naziva instrumenata. Pogodno za kratke ansamble s poznatim brojem instrumenata; preklopljeni glasovi iste visine mogu ostati nerazdvojeni.
Razdvaja šest stemova, pa transkribuje MIDI. SheetSage2-Refined prepoznaje otkucaje, takt i dijelove pjesme; Tsumugi prepoznaje akorde i tonalitet. Postojeća transkripcija cijele pjesme ostaje dostupna.
arXiv - 2026
Pretvorite muziku u MIDI za više instrumenata pomoću MuScriptor-large.
IEEE MLSP - 2024
YourMT3+ proširuje MT3 poboljšanom arhitekturom transformatora, MoE varijantama, višekanalnim dekodiranjem i cross-dataset stem augmentation.
ICLR - 2022
MT3 je uspostavio višezadatnu višekanalnu transkripciju muzike sa sekvencijskim modeliranjem i ostaje imenovana osnova za novija AMT poređenja.
arXiv / OpenReview - 2026
Sažetak AMT Challenge 2025. objavljen je 29.03.2026. za takmičenje od 1. januara do 30. aprila 2025. Prijavljuje se 21 registrovani tim, 14 timova koji podnose prijavu, 8 validnih timova sa bodovima i set od 76 klasičnih testova sa do tri instrumenta po isječku.
Signals - 2026
OaFS prepoznaje 34 klase instrumenata i izvozi MIDI i tabele nota s fiksnom jačinom udara 127.
Uključuje javne rezultate testiranja modela koji se koriste ovdje i drugdje. Podrazumijevano se prikazuje potpuna izvorna tabela; za poređenje se mogu odabrati uslovi i metrike. Rezultati različitih uslova testiranja nisu direktno uporedivi.
Prikazani su samo zapisi s provjerenom javnom implementacijom inferencije i odgovarajućim težinama, kao i algoritmi kojima težine nisu potrebne. Zatvoreni servisi, neobjavljene težine i nepotvrđene verzije eksperimenata su isključeni. Ovo nije rangiranje svih modela.
Javne težine ne potvrđuju potpunu licencu otvorenog koda. Proširite podatke za navedene licence težina i uslove pristupa. Nedeklarisane licence su posebno označene.
Odabrani model nema provjeren odgovarajući javni rezultat i nije rangiran.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 3 / izvorni redovi 7
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Na istom privatnom D_Test skupu rad poredi završni model sa CFG=1 i YourMT3+. Rezultati nisu nezavisno reproducirani i ne mogu se direktno porediti s MIROS-om ili drugim protokolima.
| Poredak po metrici | Model | Uslov testa | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLJavne težine · Kod za inferencijumodel.safetensorsKod za inferencijuLicenca težina (navod repozitorija): cc-by-nc-4.0Potrebno je prihvatiti uslove ili zatražiti pristup | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Skupovi podataka, verzije i uslovi ostaju odvojeni, uključujući izvore bez prihvatljivih redova.
Lokalno pokretanje 3 / izvorni redovi 7
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Lokalno pokretanje 16 / izvorni redovi 16
Lokalno pokretanje 0 / izvorni redovi 4
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Lokalno pokretanje 9 / izvorni redovi 17
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Lokalno pokretanje 9 / izvorni redovi 14
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Lokalno pokretanje 9 / izvorni redovi 9
Lokalno pokretanje 1 / izvorni redovi 5
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Lokalno pokretanje 1 / izvorni redovi 7
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Lokalno pokretanje 1 / izvorni redovi 12
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Lokalno pokretanje 10 / izvorni redovi 25
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Lokalno pokretanje 68 / izvorni redovi 102
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Lokalno pokretanje 28 / izvorni redovi 28
Lokalno pokretanje 2 / izvorni redovi 5
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Lokalno pokretanje 3 / izvorni redovi 7
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
D16 · MSE · Syn · Rescale
Rezultati važe za navedeni skup podataka, metriku i verziju modela. Različiti testovi nisu direktno uporedivi.
Tabela prikazuje samo modele s javnim težinama ili konfiguracijama koji se mogu pokrenuti lokalno.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 3 / izvorni redovi 7
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Na istom privatnom D_Test skupu rad poredi završni model sa CFG=1 i YourMT3+. Rezultati nisu nezavisno reproducirani i ne mogu se direktno porediti s MIROS-om ili drugim protokolima.
| Poredak po metrici | Model | Uslov testa | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLJavne težine · Kod za inferencijumodel.safetensorsKod za inferencijuLicenca težina (navod repozitorija): cc-by-nc-4.0Potrebno je prihvatiti uslove ili zatražiti pristup | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Tabela prikazuje samo modele s javnim težinama ili konfiguracijama koji se mogu pokrenuti lokalno.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 16 / izvorni redovi 16
Tabela 2 rada ocjenjuje dva objavljena, lokalno primjenjiva modela na osam skupova izvan oba trening skupa.
| Poredak po metrici | Model | Uslov testa | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorJavne težine · Kod za inferencijumodel.safetensorsKod za inferencijuLicenca težina (navod repozitorija): cc-by-nc-4.0Potrebno je prihvatiti uslove ili zatražiti pristup | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
Tabela prikazuje samo modele s javnim težinama ili konfiguracijama koji se mogu pokrenuti lokalno.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 9 / izvorni redovi 17
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Ponovljivi rezultati modela otvorenog koda sa službene rang-liste, uz zadržavanje službenih mjesta. F1, preciznost, odziv, početak, završetak i preklapanje prikazani su u procentima; vrijeme u milisekundama. Takmičarska konfiguracija YourMT3+ koristi podatke o instrumentima navedene u nazivima datoteka. Njen rezultat nije mjerenje cijelog postupka obrade na ovoj stranici.
| Službeni poredak | Model | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Javne težine · Kod za inferencijuMIROS fine-tuned decoderMusicFM encoderKod za inferenciju logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptPostavke evaluacijeLicenca težina nije navedena | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Javne težine · Kod za inferenciju | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VJavne težine · Kod za inferencijulogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptKod za inferencijuPostavke evaluacijeLicenca težina nije navedena | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATJavne težine · Kod za inferenciju | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchJavne težine · Kod za inferenciju | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
Tabela prikazuje samo modele s javnim težinama ili konfiguracijama koji se mogu pokrenuti lokalno.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 9 / izvorni redovi 14
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Stranica i rad su odvojeni snimci s malim razlikama u posljednjoj cifri. Test sadrži 76 ograničenih sintetičkih isječaka, svaki s najviše tri instrumenta. Izvorne vrijednosti su sačuvane. Takmičarska konfiguracija YourMT3+ koristi podatke o instrumentima navedene u nazivima datoteka. Njen rezultat nije mjerenje cijelog postupka obrade na ovoj stranici.
| Službeni poredak | Model | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSJavne težine · Kod za inferencijuMIROS fine-tuned decoderMusicFM encoderKod za inferenciju logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptPostavke evaluacijeLicenca težina nije navedena | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Javne težine · Kod za inferenciju | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VJavne težine · Kod za inferencijulogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptKod za inferencijuPostavke evaluacijeLicenca težina nije navedena | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATJavne težine · Kod za inferenciju | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchJavne težine · Kod za inferenciju | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
Tabela prikazuje samo modele s javnim težinama ili konfiguracijama koji se mogu pokrenuti lokalno.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 9 / izvorni redovi 9
Table 2 grupiše tačan broj instrumenata i prikazuje prosjek ± standardnu devijaciju. Grupe se rangiraju zasebno i ne zamjenjuju ukupnu tabelu. Takmičarska konfiguracija YourMT3+ koristi podatke o instrumentima navedene u nazivima datoteka. Njen rezultat nije mjerenje cijelog postupka obrade na ovoj stranici.
| Poredak po metrici | Model | Uslov testa | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSJavne težine · Kod za inferencijuMIROS fine-tuned decoderMusicFM encoderKod za inferenciju logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptPostavke evaluacijeLicenca težina nije navedena | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Javne težine · Kod za inferenciju | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 1 / izvorni redovi 5
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ poređenje radova sa MT3-familijnim bazama na Slakh-stil metrikama.
| Poredak po metrici | Model | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 1 / izvorni redovi 7
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Poredak po metrici | Model | Uslov testa | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 1 / izvorni redovi 12
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Poredak po metrici | Model | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 10 / izvorni redovi 25
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Službena tabela 5 poredi pet skupova podataka zasebno i prikazuje samo eksperimente s provjerenim odgovarajućim javnim težinama. Trenutni OaFS je zajednički obučen; rezultati ne dokazuju prednost nad MuScriptorom.
| Poredak po metrici | Model | Uslov testa | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Javne težine · Kod za inferencijuOfficial MT3 T5X checkpoint and 294 tensor filesKod za inferencijuPostavke evaluacijeLicenca težina nije navedena | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSJavne težine · Kod za inferenciju | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 68 / izvorni redovi 102
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Poredak po metrici | Model | Uslov testa | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSJavne težine · Kod za inferenciju | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Javne težine · Kod za inferencijuOfficial MT3 T5X checkpoint and 294 tensor filesKod za inferencijuPostavke evaluacijeLicenca težina nije navedena | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 28 / izvorni redovi 28
| Poredak po metrici | Model | Uslov testa | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSJavne težine · Kod za inferenciju | Piano | 70.36 | 72.10 |
| 2 | MT3Javne težine · Kod za inferencijuOfficial MT3 T5X checkpoint and 294 tensor filesKod za inferencijuPostavke evaluacijeLicenca težina nije navedena | Piano | 63.12 | 69.99 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 2 / izvorni redovi 5
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Poredak po metrici | Model | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Javne težine · Kod za inferencijuOfficial MT3 T5X checkpoint and 294 tensor filesKod za inferencijuPostavke evaluacijeLicenca težina nije navedena | 93.7 M | 34 |
| - | OaFSJavne težine · Kod za inferenciju | 64.9 M | 34 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 3 / izvorni redovi 7
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
D16 · MSE · Syn · Rescale
Tabela 3 rada: K je zadani broj boja tona. F1 se računa po traci nakon najboljeg uparivanja. Rezultati su prosjek najmanje tri treninga, a ne novo mjerenje modela na ovoj stranici.
| Poredak po metrici | Model | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursJavne težine · Kod za inferenciju | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | ShareJavne težine · Kod za inferencijuseptimbre/ablation/DicephNet/dicephnet_model.pthKod za inferencijuPostavke evaluacijeLicenca težina nije navedena | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaJavne težine · Kod za inferenciju | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
Bilješka o TelkNet ispravci · 13. august 2026.
Istu cijelu pjesmu obradili smo u TelkNetu i u zvaničnom MuScriptor Large 0.3.0 strict modu. Oba rezultata imaju 8 dionica i 6560 nota; dionica, visina tona i redoslijed podudaraju se za svaku notu. Odstupanje je između približno 182. i 222. sekunde: izvor i dalje ima jasnu tonalnu liniju u srednjem i visokom spektru, ali MIDI iznad C4 ima prazninu od oko 40,31 sekundu. Interfejs, BPM obrada i MIDI editor nisu obrisali te note; praznina već postoji u izlazu zvaničnog modela. Bez originalne partiture ne možemo tačno utvrditi koliko nota nedostaje.
TelkNet prilagođava prenos podataka o instrumentima između segmenata od 5 sekundi kako bi smanjio širenje pogrešnih prepoznavanja i povezao zadržane note. MuScriptor Large transkribuje svaki segment jednom.
Zatim smo dovršili 16 punih pokretanja na 14 pjesama. U prvoj pjesmi najduža praznina početaka nota iznad C4 skraćena je sa 40,309 na 1,970 sekundi. U drugoj se rezultat promijenio sa 1698 nota na 6 aktivnih traka i 70,79% klavira na 2279 nota na 8 traka i 50,77% klavira. Dva puna ponavljanja svake pjesme dala su datoteke jednake bajt po bajt.
Kompatibilnost MuScriptor tempa
Službena osnova koristi Beat This final0 i prilagodbu najmanjih kvadrata sa slobodnim odsječkom kako bi objavila jedan konstantan BPM. Strogi način ne uspijeva kada dobe ne podržavaju stalan tempo; best-effort zapisuje privremenih 120 BPM. MIDI zapisivač također ispravlja kašnjenje početka i pomjera sve note radi poravnanja taktne crte s jakom dobom.
TelkNet zadržava isti Beat This final0, a automatski otkriveni jedinstveni BPM ostaje preporučeni zadani režim. Kada korisnik izabere praćenje promjena tempa pjesme, jedan BPM se koristi samo ako je mreža cijele pjesme unutar 40 ms od detektovanih otkucaja; inače se objavljuje adaptivni Tempo Map. Ručni BPM ostaje dostupan. Bez kvantizacije izvorna vremena nota ostaju nepromijenjena.
| Stavka poređenja | Službeni MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| Otkrivanje doba | Koristi Beat This final0. | Koristi isti Beat This final0; detekcijski model se ne mijenja. |
| Objavljena mreža tempa | Objavljuje jedan konstantan BPM prilagodbom sa slobodnim odsječkom; strogi način ne uspijeva za promjenjiv tempo, a best-effort zapisuje 120 BPM. | Fiksni BPM samo kada je najveća udaljenost mreže najviše 40 ms; u suprotnom fazno ograničen adaptivni Tempo Map. |
| Kontrola BPM-a | Trenutni službeni CLI nema ručni BPM. | Podržava adaptivni, automatski fiksni i ručni BPM od 30 do 300. |
| Vremenska osa nota | Ispravlja kašnjenje početka i pomjera sve note radi poravnanja takta s jakom dobom. | Bez kvantizacije čuva izvorna vremena nota i ne primjenjuje pomjeranje takta. |
Beat This je i dalje procjenitelj zvuka. Neobičan metar, slab ritam bez tranzijenata, rubato, nagle promjene tempa ili pogrešno izabrana polovina odnosno dvostruka pulsacija još mogu dati pogrešnu mrežu. Automatski BPM može malo odstupati od poznate tačne vrijednosti, pa je dostupan „Fiksno · Ručni BPM” kada je BPM izvora poznat. Uključivanje kvantizacije namjerno pomjera vrijeme nota. Postavke tempa ne mogu ispraviti nedostajuće note, pogrešne visine ili greške naziva instrumenata i traka iz MuScriptora. Važan MIDI i dalje treba provjeriti prema izvoru u DAW-u.