MuScriptor-large: stvarna mjerenja i granice od 1,366 milijardi parametara kompletan miks u MIDI sa više staza
Automatska transkripcija muzike
AUTOMATSKA TRANSKRIPCIJA MUZIKE
MuScriptor-large je najveći javni checkpoint MuScriptora i, prema kartici modela, vodeća opcija najvišeg kvaliteta. Pretvara 16 kHz mono zvuk u odsječke od pet sekundi, predstavlja ih kao značajke od 512 mel-pretinaca i koristi Transformer samo s dekoderom od 48 slojeva za generiranje događaja visine tona, onseta, offseta, instrumenta i bubnjeva. Javni checkpoint sadrži tačno 1,366,399,488 F32 parametara, uz safetensors datoteku od 5,465,642,136 bajtova.
Biti najveći unutar porodice nije ista tvrdnja kao univerzalni state of the art. Rad izvještava o velikom dobitku nad YourMT3+ na privatnom skupu D_Test, a objavljuje i rezultate na osam vanjskih skupova podataka, na kojima MuScriptor ne pobjeđuje u svakoj metriki. D_Real, D_RL i D_Test nisu javni, a MIROS nije upoređivan na istom zvuku, istoj metriki i istom protokolu naknadne obrade. Zaključak koji se može obraniti je uži: MuScriptor-large je jedan od najjačih novih kandidata otvorenih težina za opću višeinstrumentalnu automatsku transkripciju muzike, potkrijepljen vodećim rezultatima koje su prijavili autori.
1. Vodeći nivo je tačan checkpoint, a ne ime izvedeno iz marketinga
MuScriptor objavljuje male, srednje i velike checkpointe. Metapodaci njihovog repozitorija navode tačne brojeve parametara 102,968,832, 307,030,528 i 1,366,399,488. Veliki je otprilike 4.45 puta veći od srednjeg i izričito je opisan kao vodeće izdanje najvišeg kvaliteta. Ablacija skale u radu koristi oznake 60M, 100M, 300M i 1.3B; te eksperimentalne oznake ne smiju se koristiti umjesto tačnih brojeva parametara tri javna checkpointa.
Na reviziji 8809fdfbed2affa7ade94a7059e746e3880720e7 repozitorij težina sadrži model.safetensors od 5,465,642,136 bajtova, uz manji skup konfiguracijskih datoteka. Izvorni kod zasebno je prikvačen na commit 302343e8992bdfc619f77f1988168374ed5d675d. Zajedno ti identifikatori vezuju arhitekturu, tokenizator, zadane postavke zaključivanja i težine. Oznaka „large“ nije dovoljna ako implementacija može tiho učitati medium ili pratiti pokretnu glavnu granu.
Skladištenje u F32 ne znači da svaka operacija mora koristiti F32, niti dokazuje da je nezvanični nisko-bitni derivat jednakog kvaliteta. Izdanje ne nudi studiju kvaliteta po istom protokolu za alternativni kvantizirani checkpoint. Put koji stavlja kvalitet na prvo mjesto stoga može zahtijevati tačan identitet velikog modela i jasno odbiti rad kada ga ne može učitati, umjesto da prijeđe na manji nivo.
2. Od akustičnog prozora do uslovljenog niza događaja
Ulaz se pretvara u 16 kHz mono. Kratkovremena Fourierova transformacija koristi prozor od 2,048 tačaka i pomak od 160 uzoraka, što daje 100 okvira u sekundi, a zatim ih projicira u 512 mel-pretinaca. Odsječak od pet sekundi tako sadrži otprilike 500 akustičnih okvira. Te značajke ulaze u Transformer samo s dekoderom, širine 1,536, s 24 glave pažnje i 48 slojeva. Model prvo ne dijeli miks na fiksni skup stemova pa ne pokreće nezavisni transkriptor za svaki od njih; vremenski, instrumentni i notni događaji generiraju se u zajedničkom nizu.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xmel-prikaz zvučnog odsječka od pet sekundicopcionalni instrumentni uslov; prazan skup znači automatsku detekcijuyntoken vremenskog, instrumentnog, tonskog ili završnog događaja
Autoregresivna faktorizacija omogućava da već generirani instrumenti i akordi oblikuju kasnije odluke, što pomaže međuinstrumentalnom kontekstu u cijelom miksu. Isto tako prenosi i greške. Pogrešan vremenski pomak može izmjestiti kasnije note, note-off koji nedostaje može ostaviti viseću notu, a zanošenje instrument-tokena može staviti ispravne visine tona na pogrešan trag.
Trenutni zvanični primjer koristi batch veličine 1, beam veličine 1, cfg_coef=1 i forsiranje preludija. Beam veličine 1 deterministički je argmax put. Širi beam zadržava više prefiksa i troši više memorije; bez kontrolisane ablacije, beam 4 ne može se tek tako preimenovati u „maksimalni kvalitet“.
Classifier-free guidance izoštrava uslov kombiniranjem uslovnih i bezuslovnih logita: ℓ=ℓu+s(ℓc−ℓu). Završna tabela rada navodi Multi F1 od 48.2 pri CFG=1 i 47.8 pri CFG=2. Javna zadana vrijednost stoga ostaje 1, umjesto da se pretpostavi da je veći broj vodstva bolji.
3. 1.45 miliona MIDI datoteka, 11,000 sati stvarnog zvuka i 300 pregledanih transkripcija
Rad dijeli materijal za treniranje u tri sloja. D_Synth sadrži oko 1.45 miliona MIDI datoteka iz Lakh MIDI-ja i od komercijalnog dobavljača podataka, renderiranih kroz više od 250 SoundFontova. Transpozicija, tempo, velocity, nasumičnost instrumenata i rasštimavanje izlažu isti simbolički materijal širem rasponu boja tona. Sintetičko renderiranje daje tačne granice događaja, ali ne može u potpunosti reproducirati mikrofonsko preslušavanje, mastering, šum izvođača ni dugi rep stvarne produkcije.
D_Real sadrži otprilike 170,000 internih snimaka, oko 11,000 sati ukupno. Njihove notne oznake dolaze iz audio-simboličkog poravnanja, a ne iz ručne anotacije na nivou uzorka. Stvarni miksevi proširuju produkcijsku distribuciju, a uz sebe donose podudaranje naslova, razlike među verzijama, kašnjenje plug-in dodataka i grešku poravnanja. D_RL zatim bira 300 visokokvalitetnih transkripcija koje su ljudi pregledali, za naknadno treniranje u stilu GRPO/REINFORCE. Te tri faze rješavaju pokrivenost, pomak domene i preferenciju niza, ali skupovi stvarnih snimaka i nagrada nisu javni.
Nadzirano učenje minimizira negativnu log-vjerovatnoću na nivou tokena, dok naknadno treniranje koristi nagradu sastavljenu od mjera onseta, offseta, okvira, bubnjeva i višeinstrumentalnog podudaranja. Optimizacija na nivou niza može kazniti strukturne propuste koje nezavisna klasifikacija tokena propušta. Budući da pregledani skup nagrada broji samo 300 zapisa, pokrivenost rijetkih instrumenata, ekstremnih tempa i nezapadnjačkih tradicija još uvijek traži javnu vanjsku evaluaciju.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTunakrsna entropija niza tokom nadziranog treniranjaR(y)kombinirana nagrada za dovršenu transkripcijuD_RL300 pregledanih transkripcija, a ne javni benchmark
4. Stroga bijela lista između 35 imena u sučelju i 36 naučenih grupa
MuScriptor preslikava 128 General MIDI programa u instrumentne grupe MT3_FULL_PLUS. Model uči 36 grupa, dok javni demo izlaže 35 imena koja se mogu odabrati: među njima su akustični i električni klaviri, tri grupe gitara, akustični i električni bas, gudači, limeni i drveni puhači, sintisajzeri, glas i bubnjevi. Razlika odražava granicu između interne reprezentacije i sučelja za odabir; 35 izbora u sučelju ne treba izvještavati kao puni broj naučenih kategorija.
S praznim poljem za instrumente model može detektirati bilo koju podržanu grupu. Čim se odabere jedno ili više imena, dekoder tvrdo maskira sve ostale instrumentne tokene. To je stroga bijela lista, a ne blaga preferencija. Može smanjiti curenje instrumenata kada je ansambl poznat, ali može i izbrisati stvarnu partiju koju korisnik nije naveo. Klavir, bas i bubnjevi dobro su ograničenje za poznato trio; automatska detekcija sigurnija je kada aranžman nije pouzdan.
Ograničenje mora dospjeti od sučelja do maske tokena u tokenizatoru. Odabrane oznake koje API odbaci stvaraju lažnu kontrolu, dok neograničeni stringovi odgađaju pravopisne greške do izvršenja. Vjeran ugovor prihvata samo zvaničnih 35 identifikatora, odbija duplikate i prazan niz definira kao automatsku detekciju.
5. Kako čitati veliki dobitak na privatnom skupu D_Test
Tabela 1 rada upoređuje YourMT3+ YPTF.MoE+Multi (noPS) s fazama treniranja MuScriptora na istom privatnom skupu D_Test. Završni veliki model pri CFG=1 izvještava Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 i Multi 48.2. YourMT3+ izvještava 32.52, 45.54, 17.79, 41.4 i 21.9. Razmak je znatno velik i podržava tvrdnju da su autorovi veći podaci, model i recept naknadnog treniranja osjetno poboljšali performanse unutar njihove distribucije stvarnih mikseva i protokola anotacije.
| Isti privatni D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 zahtijeva da instrument, visina tona, onset i offset zajedno zadovole pravilo podudaranja, pa se ne može zamijeniti rezultatom koji provjerava manje polja. MIROS je na natjecanju 2025 AMT Challenge postigao 0.5998 na drugačijem skupu od 76 sintetičkih odlomaka od otprilike dvadeset sekundi, uz metriku program + visina tona + onset Multi Onset F1. MuScriptor nije sudjelovao u tom testu po istom protokolu. Rangiranje 48.2 uz 0.5998 upoređivalo bi različite nazivnike i različite definicije događaja.
D_Test sadrži 372 višeinstrumentalna djela izvučena iz internog materijala, s filtriranjem po naslovu koje treba smanjiti curenje između treniranja i testiranja. Filtriranje po naslovu korisno je, ali nije ravno javnoj, reproducibilnoj reviziji deduplikacije. Zvuk, anotacije, izbori verzija i pravila čišćenja preklapanja nisu dostupni. Glavni rezultat stoga mora ostati označen kao nalaz na privatnom skupu koji su prijavili autori.
6. Unakrsno-domenske tabele i ablacija preklapajućih nota otkrivaju zone neuspjeha
Osam vanjskih skupova podataka pokazuje neujednačeniju sliku. Naspram YourMT3+, MuScriptor pobjeđuje u Frame F1 na 7/8 skupova i u Multi F1 na 6/8, ali u Onset F1 pobjeđuje na samo 4/8. Zaostaje u onsetu, okviru, offsetu i multiju za RWC-C; u offsetu, bubnjevima i multiju za RWC-R; te u onsetu i offsetu za Bach10. Jaka aktivnost održanih visina tona i ukupni sadržaj zapisa ne znače nadmoć nad svakim tranzijentom, porodicom instrumenata ili distribucijom snimaka.
Tokenizator ima konkretno reprezentacijsko ograničenje: istovremene preklapajuće note istog instrumenta i iste visine ne mogu se obje čisto prikazati. Rad za glavnu evaluaciju na D_Test uklanja kraće preklapanje. Bez tog uklanjanja Onset F1 pada s 60.4 na 51.8, Offset s 49.0 na 41.9, a Multi s 48.2 na 42.0. Ponovljene klavirske note iste visine pod pedalom, unisoni gudača i slojevite gitare mogu naići na ovaj sudar.
Ablacija skale modela pripada zasebnom grafikonu, odvojenom od završnog poređenja. Tabela 4 rada trenira samo na D_Real s instrumentnim uslovljavanjem. Multi F1 raste s 35.2 na 38.2, 39.7 i 40.5 kroz oznake 60M, 100M, 300M i 1.3B. To pokazuje da korist od skale u tom postavu i dalje raste, ali ne uključuje završne faze sintetičkog predtreniranja i pojačanog učenja i nije direktni benchmark javnih malih, srednjih i velikih datoteka.
| Oznaka skale iz rada | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
Slušna provjera treba se koncentrirati na guste unisone, zajedničke tranzijente bubnjeva i basa, izobličene gitare, horove, rijetke boje tona i snažnu reverberaciju. Zbirni rezultati mogu ostati dobri dok zapis dobije kratke fragmente, curenje među tragovima, prerezana održanja ili više kanala za jedan instrument. Prosjeci opisuju ponašanje populacije; ne zamjenjuju pregled piano-roll prikaza ni resintetiziranu reprodukciju.
7. Što Type-1 MIDI s više tragova zadržava — a što upisivač drži fiksnim
Trenutni upisivač proizvodi Type-1 MIDI: metapodaci zauzimaju vlastiti trag, a svaki instrumentni trag nosi ime, program, kanal te događaje note-on i note-off. Bubnjevi slijede konvenciju General MIDI kanala 10. U poređenju sa spljoštavanjem svega u Type-0, ovakva se struktura lakše utišava, pušta solo i uređuje u DAW-u, a zanošenje instrumenata čini vidljivijim.
Izlaz ne obnavlja izvedenu dinamiku. Javni kod zapisuje velocity note kao 100. Polje velocityja u MIDI-ju samo zadovoljava format datoteke; nije dokaz da je model iz snimka zaključio izražaj. Bubnjevi daju samo onsete. Model također ne zaključuje mapu tempa pjesme, mjernu oznaku ni ritmičku mrežu. Upisivač koristi fiksni tempo-događaj od 120 BPM da bi sekunde događaja preslikao u tickove. „Fiksirano na 120 BPM“ nikada se ne smije prikazivati kao „detektirano 120 BPM“.
Kontinuirano tempiranje može se približno zadržati, dok notirane vrijednosti koje prikazuje softver za partituru zavise od tog fiksnog tempa i kasnije kvantizacije. Rubato, swing, odlomci slobodnog vremena i promjene tempa zahtijevaju zasebnu analizu ritma i strukture. Izvodivi događaji, tragovi koji se mogu uređivati i notacija spremna za objavu tri su različita sloja; akordni rasporedi, vezane note, rad pedalom, enharmonski zapis, ponavljanja i izražaj i dalje zahtijevaju muzičke odluke.
Kada se dugi zvuk obrađuje kao preklapajući odsječci, vlasništvo nad onsetom mora se dodijeliti u globalnim sekundama, dok se note koje ostaju otvorene preko granice prenose naprijed. Spajanje MIDI datoteka odsječaka može udvostručiti granične udare, prerezati održanja ili odbaciti imena tragova, programe i kanal bubnjeva. Prihvatanje treba provjeriti nema li visećih nota, jesu li metapodaci tragova očuvani i izostaje li sistematsko zanošenje tempiranja na spojevima odsječaka.
8. Informacije o licenci
Kod MuScriptora koristi licencu MIT. Velike težine koriste CC BY-NC 4.0 i distribuiraju se kroz stranicu Hugging Face s ograničenim pristupom. Pristup zahtijeva prijavljeni račun, prihvatanje uvjeta stranice i potvrdu da korisnik ima potrebna prava na muziku koja se transkribira.
Kod i težine imaju odvojene licence. Pristup datotekama težina ne mijenja njihov uvjet NonCommercial; prikvačena kartica modela i tekst licence primarne su reference za dozvoljenu upotrebu.
9. Zaključak i primarni izvori
Vrijednost MuScriptor-large konkretna je: to je najveći javni član porodice s 1.366B parametara, cilja stvarne cjelovite mikseve, podržava tvrdu bijelu listu instrumenata, proizvodi Type-1 MIDI s više tragova koji se može uređivati i ima veliki, od autora prijavljen dobitak nad YourMT3+ na privatnom D_Test. Njegove su granice jednako konkretne: glavni podaci nisu javni, vanjske metrike ne donose potpunu pobjedu na svim poljima, preklapajuće note iste visine sudaraju se u tokenizatoru, velocity i prava mapa tempa nedostaju, a težine su licencirane za nekomercijalnu upotrebu.
Oznaka „MuScriptor checkpoint najvišeg kvaliteta“ potkrijepljena je. Oznaka „nezavisno potvrđeni univerzalni audio-u-MIDI SOTA“ nije. Ta se procjena može promijeniti kada javna reprodukcija uporedi MuScriptor-large, YourMT3+ i MIROS na istim snimcima, definicijama događaja, tolerancijama podudaranja i politici preklapanja.
- Rad o MuScriptoru: metoda, izvori treniranja, tabele 1–4 i ablacija preklapajućih nota
- Prikvačeni izvorni commit: zaključivanje, tokenizator, upisivač Type-1 MIDI-ja i ponašanje demoa
- Prikvačena revizija MuScriptor-large: datoteke, kartica modela i licenca
- 2025 AMT Challenge: MIROS na drugačijem skupu podataka i protokolu Multi Onset F1