Modell
MuScriptor-large: faktisk måling og grenser for 1,366 milliarder parametere komplett blanding til multi-track MIDI
Automatisk musikktranskripsjon
Automatisk musikktranskripsjon
AUTOMATISK MUSIKKTRANSKRIPSJON
MuScriptor-large er den største offentlige MuScriptor-checkpointen og modellkortets flaggskipvalg for best kvalitet. Den konverterer 16 kHz monolyd til segmenter på fem sekunder, representerer dem som mel-egenskaper med 512 bins og bruker en 48-lags decoder-only Transformer til å generere hendelser for tonehøyde, onset, offset, instrument og trommer. Den offentlige checkpointen inneholder nøyaktig 1,366,399,488 F32-parametere, i en safetensors-fil på 5,465,642,136 byte.
Å være størst i en familie er ikke den samme påstanden som universelt state of the art. Artikkelen rapporterer en stor gevinst over YourMT3+ på sitt private D_Test og publiserer også resultater på åtte eksterne datasett, der MuScriptor ikke vinner hver metrikk. D_Real, D_RL og D_Test er ikke offentlige, og MIROS er ikke sammenlignet med samme lyd, metrikk og etterbehandlingsprotokoll. Den forsvarlige konklusjonen er snevrere: MuScriptor-large er blant de sterkeste nye kandidatene med åpne vekter for generell flerinstrument-AMT, støttet av ledende resultater rapportert av forfatterne selv.
MuScriptor publiserer small-, medium- og large-checkpoints. Depotets metadata oppgir nøyaktige parameterantall på 102,968,832, 307,030,528 og 1,366,399,488. Large er omtrent 4.45 ganger så stor som medium og beskrives uttrykkelig som flaggskipet, utgivelsen med best kvalitet. Artikkelens skala-ablasjon bruker etikettene 60M, 100M, 300M og 1.3B; disse eksperimentetikettene må ikke settes i stedet for de nøyaktige parameterantallene til de tre offentlige checkpointene.
Ved revisjon 8809fdfbed2affa7ade94a7059e746e3880720e7 inneholder vektdepotet en model.safetensors på 5,465,642,136 byte, i tillegg til et lite sett konfigurasjonsfiler. Kilden er festet separat til commit 302343e8992bdfc619f77f1988168374ed5d675d. Til sammen binder disse identifikatorene arkitekturen, tokenizeren, standardvalgene for inferens og vektene. En etikett som sier «large» er ikke tilstrekkelig dersom en implementasjon stille kan laste medium eller følge en bevegelig hovedgren.
F32-lagring betyr ikke at hver operasjon må bruke F32, og det beviser heller ikke at et uoffisielt lavbit-derivat er kvalitetsmessig likt. Utgivelsen inneholder ingen kvalitetsstudie under samme protokoll for en alternativ kvantisert checkpoint. En kvalitetsførste vei kan derfor kreve den eksakte large-identiteten og feile tydelig når den ikke kan lastes, i stedet for å skifte til et mindre nivå.
Inndata konverteres til 16 kHz mono. Korttids-Fourier-transformen bruker et vindu på 2,048 punkter og et hopp på 160 sampler, noe som gir 100 rammer per sekund, og projiserer dem deretter inn i 512 mel-bins. Et segment på fem sekunder inneholder dermed omtrent 500 akustiske rammer. Disse egenskapene mates inn i en decoder-only Transformer med bredde 1,536, 24 oppmerksomhetshoder og 48 lag. Modellen deler ikke først miksen opp i et fast sett stemmer med en uavhengig transkribent for hver; tids-, instrument- og notehendelser genereres i en felles sekvens.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xmel-representasjon av et lydsegment på fem sekundercvalgfri instrumentbetingelse; et tomt sett betyr automatisk deteksjonynet token for en tids-, instrument-, tonehøyde- eller avslutningshendelseDen autoregressive faktoriseringen lar tidligere genererte instrumenter og akkorder påvirke senere valg, noe som er nyttig for kontekst på tvers av instrumenter i en fullmiks. Den forplanter også feil. Et feil tidsskifte kan forskyve senere noter, en manglende note-off kan etterlate en hengende note, og et avvik i instrument-tokenet kan plassere riktige tonehøyder på feil spor.
Det gjeldende offisielle eksemplet bruker batch-størrelse 1, beam-størrelse 1, cfg_coef=1 og prelude forcing. Beam-størrelse 1 er en deterministisk argmax-vei. En bredere beam beholder flere prefikser og bruker mer minne; uten en kontrollert ablasjon kan beam 4 ikke uten videre omdøpes til «maksimal kvalitet».
Classifier-free guidance skjerper en betingelse ved å kombinere betingede og ubetingede logits: ℓ=ℓu+s(ℓc−ℓu). Artikkelens endelige tabell rapporterer Multi F1 på 48.2 ved CFG=1 og 47.8 ved CFG=2. Den offentlige standarden forblir derfor 1, i stedet for å anta at et høyere guidance-tall er bedre.
Artikkelen deler treningsmaterialet i tre lag. D_Synth inneholder omtrent 1.45 millioner MIDI-filer fra Lakh MIDI og en kommersiell dataleverandør, gjengitt gjennom mer enn 250 SoundFonts. Transponering, tempo, velocity, instrumentrandomisering og detuning utsetter det samme symbolske materialet for et bredere klangområde. Syntetisk gjengivelse gir eksakte hendelsesgrenser, men kan ikke fullt ut gjenskape mikrofonlekkasje, mastering, utøverstøy eller den lange halen i ekte produksjon.
D_Real inneholder rundt 170,000 interne opptak, til sammen omtrent 11,000 timer. Noteetikettene deres kommer fra lyd-symbolsk alignment i stedet for manuell annotering på samplenivå. Ekte mikser utvider produksjonsfordelingen, samtidig som de tilfører tittelmatching, versjonsforskjeller, plugin-latens og alignmentfeil. D_RL velger deretter 300 høykvalitetstranskripsjoner gjennomgått av mennesker for GRPO/REINFORCE-lignende ettertrening. De tre stadiene dekker henholdsvis dekning, domene-skift og sekvenspreferanse, men de ekte dataene og belønningsdatasettet er ikke offentlige.
Veiledet læring minimerer negativ log-sannsynlighet på token-nivå, mens ettertreningen bruker en belønning satt sammen av mål for onset, offset, ramme, trommer og flerinstrument. Optimalisering på sekvensnivå kan straffe strukturelle feil som uavhengig token-klassifisering overser. Fordi det gjennomgåtte belønningssettet bare har 300 spor, trenger dekningen av sjeldne instrumenter, ekstreme tempi og ikke-vestlige tradisjoner fortsatt offentlig ekstern evaluering.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTsekvens-kryssentropi under veiledet treningR(y)kombinert belønning for en fullført transkripsjonD_RL300 gjennomgåtte transkripsjoner, ikke et offentlig benchmarkMuScriptor avbilder 128 General MIDI-programmer til MT3_FULL_PLUS-instrumentgrupper. Modellen lærer 36 grupper, mens den offentlige demoen eksponerer 35 valgbare navn: blant dem akustiske og elektriske pianoer, tre gitargrupper, akustisk og elektrisk bass, strykere, messingblåsere, treblåsere, synthesizere, stemme og trommer. Forskjellen gjenspeiler en grense mellom intern representasjon og valgbart grensesnitt; 35 grensesnittvalg bør ikke rapporteres som det fulle antallet lærte kategorier.
Med et tomt instrumentfelt kan modellen oppdage enhver støttet gruppe. Så snart ett eller flere navn er valgt, hardmasker dekoderen alle andre instrument-tokens. Dette er en streng hviteliste, ikke en myk preferanse. Den kan redusere instrumentlekkasje når ensemblet er kjent, men den kan også slette en ekte stemme brukeren ikke fikk med seg. Piano, bass og trommer kan være en god begrensning for en kjent trio; automatisk deteksjon er tryggere når arrangementet er usikkert.
Begrensningen må reise fra grensesnittet til tokenizerens token-maske. Valgte chips som forkastes av et API, skaper en falsk kontroll, mens ubegrensede strenger utsetter stavefeil til kjøring. En troverdig kontrakt aksepterer bare de 35 offisielle identifikatorene, avviser duplikater og definerer en tom array som automatisk deteksjon.
Artikkelens tabell 1 sammenligner YourMT3+ YPTF.MoE+Multi (noPS) med MuScriptors treningsstadier på samme private D_Test. Den endelige large-modellen ved CFG=1 rapporterer Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 og Multi 48.2. YourMT3+ rapporterer 32.52, 45.54, 17.79, 41.4 og 21.9. Gapet er betydelig og støtter påstanden om at forfatternes større data, modell og ettertreningsoppskrift ga en reell forbedring av ytelsen under deres fullmiks-fordeling og annoteringsprotokoll.
| Samme private D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 krever at instrument, tonehøyde, onset og offset tilfredsstiller matchingsregelen samtidig, så den kan ikke brukes om hverandre med en score som sjekker færre felt. MIROS scoret 0.5998 i 2025 AMT Challenge på et annet sett med 76 syntetiske utdrag på rundt tjue sekunder og en program + pitch + onset Multi Onset F1. MuScriptor deltok ikke i den testen under samme protokoll. Å rangere 48.2 ved siden av 0.5998 ville sammenlignet ulike nevnere og ulike hendelsesdefinisjoner.
D_Test inneholder 372 flerinstrumentverk hentet fra internt materiale, med tittelfiltrering ment å redusere lekkasje mellom trening og test. Tittelfiltrering er nyttig, men tilsvarer ikke et offentlig, reproduserbart dedupliseringsrevisjon. Lyden, annoteringene, versjonsvalgene og reglene for overlapprydding er utilgjengelige. Overskriftsresultatet må derfor forbli merket som et forfatterrapportert resultat på et privat sett.
De åtte eksterne datasettene viser et mer ujevnt bilde. Mot YourMT3+ vinner MuScriptor Frame F1 på 7/8 datasett og Multi F1 på 6/8, men vinner Onset F1 på bare 4/8. Den ligger etter på onset, frame, offset og multi for RWC-C; på offset, drums og multi for RWC-R; og på onset og offset for Bach10. Sterk vedvarende tonehøydeaktivitet og godt samlet sporinnhold innebærer ikke dominans på hver transient, instrumentfamilie eller opptaksfordeling.
Tokenizeren har en konkret representasjonsgrense: samtidige overlappende noter med samme instrument og tonehøyde kan ikke begge representeres rent. Artikkelen fjerner den kortere overlappen i hovedevalueringen på D_Test. Uten den fjerningen faller Onset F1 fra 60.4 til 51.8, Offset fra 49.0 til 41.9 og Multi fra 48.2 til 42.0. Gjentatte pianonoter i samme tonehøyde under pedal, strykerunisono og lagdelte gitarer kan alle støte på denne kollisjonen.
Ablasjonen av modellskala hører hjemme i et eget diagram, adskilt fra den endelige sammenligningen. Artikkelens tabell 4 trener bare på D_Real med instrumentbetingelse. Multi F1 stiger fra 35.2 til 38.2, 39.7 og 40.5 over etikettene 60M, 100M, 300M og 1.3B. Det viser fortsatt skalagevinst under dette oppsettet, men inkluderer ikke de endelige stadiene med syntetisk forhåndstrening og forsterkning, og er ikke et direkte benchmark av de offentlige small-, medium- og large-filene.
| Artikkelens skalaetikett | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
Den lyttende gjennomgangen bør konsentrere seg om tette unisonoer, delte transienter mellom trommer og bass, forvrengte gitarer, kor, sjeldne klanger og kraftig romklang. Samlede scorer kan forbli gode mens et spor utvikler korte fragmenter, lekkasje på tvers av spor, avkuttede sustain eller flere kanaler for ett instrument. Gjennomsnitt beskriver populasjonsatferd; de erstatter ikke inspeksjon av piano-roll og resyntetisert avspilling.
Den nåværende writeren produserer Type-1 MIDI: metadata ligger på sitt eget spor, og hvert instrumentspor bærer et navn, program, kanal samt note-on- og note-off-hendelser. Trommer følger General MIDI-konvensjonen for kanal 10. Sammenlignet med å flate alt ut til Type-0 er denne strukturen enklere å mute, solo og redigere i en DAW, og den gjør instrumentavvik mer synlige.
Utdata gjenskaper ikke spilt dynamikk. Den offentlige koden skriver note-velocity som 100. Et velocity-felt i MIDI-filen tilfredsstiller bare filformatet; det er ikke bevis på at modellen har utledet uttrykk fra opptaket. Trommer gir bare onsets. Modellen utleder heller ikke sangens tempokart, taktart eller rytmenett. Writeren bruker en fast tempohendelse på 120 BPM for å avbilde hendelsesekunder til ticks. «Fast på 120 BPM» må aldri presenteres som «detektert 120 BPM».
Kontinuerlig timing kan tilnærmet bevares, mens de noterte verdiene notasjonsprogramvaren viser, avhenger av det faste tempoet og senere kvantisering. Rubato, swing, passasjer i fritt tempo og tempoendringer krever en egen analyse av puls og struktur. Spillbare hendelser, redigerbare spor og publikasjonsklar notasjon er tre ulike lag; stemming, bindetegn, pedalbruk, enharmonisk staving, gjentakelser og uttrykk krever fortsatt musikalske avgjørelser.
Når lang lyd behandles som overlappende segmenter, må onset-eierskap tilordnes i globale sekunder, mens noter som forblir åpne over en grense, føres videre. Å sette sammen segment-MIDI-filer kan duplisere angrep på grensene, kutte sustain eller forkaste spornavn, programmer og trommekanalen. Ved aksept bør man sjekke for hengende noter, bevarte spormetadata og fravær av systematisk tidsdrift over segmentskjøtene.
MuScriptor-koden bruker MIT-lisensen. De store vektene bruker CC BY-NC 4.0 og distribueres gjennom en portalbeskyttet Hugging Face-side. Tilgang krever en innlogget konto, aksept av sidens vilkår og en bekreftelse på at brukeren har de nødvendige rettighetene til musikken som transkriberes.
Koden og vektene har separate lisenser. Tilgang til vektfilene endrer ikke deres NonCommercial-betingelse; det festede modellkortet og lisensteksten er de primære referansene for tillatt bruk.
Verdien til MuScriptor-large er konkret: den er det største offentlige familiemedlemmet med 1.366B parametere, retter seg mot ekte fullmikser, støtter en hard instrumenthviteliste, produserer redigerbar Type-1 MIDI med flere spor, og har en stor forfatterrapportert gevinst over YourMT3+ på det private D_Test. Grensene er like konkrete: overskriftsdataene er ikke offentlige, de eksterne metrikkene er ingen fulltreffer, overlappende noter i samme tonehøyde kolliderer i tokenizeren, velocity og et ekte tempokart mangler, og vektene er lisensiert for ikke-kommersiell bruk.
«MuScriptor-checkpointen med høyest kvalitet» er støttet. «Uavhengig bekreftet universell lyd-til-MIDI-SOTA» er det ikke. Den vurderingen kan endres når en offentlig reproduksjon sammenligner MuScriptor-large, YourMT3+ og MIROS på samme opptak, hendelsesdefinisjoner, matchingstoleranser og overlapp-policy.